PEP8: fix E127: continuation line over-indented for visual indent
[samba.git] / python / samba / upgrade.py
index 817981edcd56a94864e0bfaef23c7b556d4ad3a4..8406770afeab7df264e0c107b630d9534a3e4f9d 100644 (file)
@@ -26,7 +26,8 @@ import pwd
 
 from samba import Ldb, registry
 from samba.param import LoadParm
-from samba.provision import provision, FILL_FULL, ProvisioningError, setsysvolacl
+from samba.provision import provision, ProvisioningError, setsysvolacl
+from samba.provision.common import FILL_FULL
 from samba.samba3 import passdb
 from samba.samba3 import param as s3param
 from samba.dcerpc import lsa, samr, security
@@ -90,7 +91,7 @@ def import_sam_policy(samdb, policy, logger):
 
     try:
         samdb.modify(m)
-    except ldb.LdbError, e:
+    except ldb.LdbError as e:
         logger.warn("Could not set account policy, (%s)", str(e))
 
 
@@ -123,7 +124,7 @@ def add_posix_attrs(logger, samdb, sid, name, nisdomain, xid_type, home=None,
             str(nisdomain), ldb.FLAG_MOD_REPLACE, 'msSFU30NisDomain')
 
         samdb.modify(m)
-    except ldb.LdbError, e:
+    except ldb.LdbError as e:
         logger.warn(
             'Could not add posix attrs for AD entry for sid=%s, (%s)',
             str(sid), str(e))
@@ -153,7 +154,7 @@ def add_ad_posix_idmap_entry(samdb, sid, xid, xid_type, logger):
                 "posixGroup", ldb.FLAG_MOD_ADD, 'objectClass')
 
         samdb.modify(m)
-    except ldb.LdbError, e:
+    except ldb.LdbError as e:
         logger.warn(
             'Could not modify AD idmap entry for sid=%s, id=%s, type=%s (%s)',
             str(sid), str(xid), xid_type, str(e))
@@ -184,7 +185,7 @@ def add_idmap_entry(idmapdb, sid, xid, xid_type, logger):
             m['type'] = ldb.MessageElement(
                 xid_type, ldb.FLAG_MOD_REPLACE, 'type')
             idmapdb.modify(m)
-        except ldb.LdbError, e:
+        except ldb.LdbError as e:
             logger.warn(
                 'Could not modify idmap entry for sid=%s, id=%s, type=%s (%s)',
                 str(sid), str(xid), xid_type, str(e))
@@ -196,7 +197,7 @@ def add_idmap_entry(idmapdb, sid, xid, xid_type, logger):
                         "objectSid": ndr_pack(sid),
                         "type": xid_type,
                         "xidNumber": str(xid)})
-        except ldb.LdbError, e:
+        except ldb.LdbError as e:
             logger.warn(
                 'Could not add idmap entry for sid=%s, id=%s, type=%s (%s)',
                 str(sid), str(xid), xid_type, str(e))
@@ -212,7 +213,7 @@ def import_idmap(idmapdb, samba3, logger):
 
     try:
         samba3_idmap = samba3.get_idmap_db()
-    except IOError, e:
+    except IOError as e:
         logger.warn('Cannot open idmap database, Ignoring: %s', str(e))
         return
 
@@ -254,7 +255,8 @@ def add_group_from_mapping_entry(samdb, groupmap, logger):
         msg = samdb.search(
             base='<SID=%s>' % str(groupmap.sid), scope=ldb.SCOPE_BASE)
         found = True
-    except ldb.LdbError, (ecode, emsg):
+    except ldb.LdbError as e1:
+        (ecode, emsg) = e1.args
         if ecode == ldb.ERR_NO_SUCH_OBJECT:
             found = False
         else:
@@ -262,7 +264,7 @@ def add_group_from_mapping_entry(samdb, groupmap, logger):
 
     if found:
         logger.warn('Group already exists sid=%s, groupname=%s existing_groupname=%s, Ignoring.',
-                            str(groupmap.sid), groupmap.nt_name, msg[0]['sAMAccountName'][0])
+                    str(groupmap.sid), groupmap.nt_name, msg[0]['sAMAccountName'][0])
     else:
         if groupmap.sid_name_use == lsa.SID_NAME_WKN_GRP:
             # In a lot of Samba3 databases, aliases are marked as well known groups
@@ -271,8 +273,10 @@ def add_group_from_mapping_entry(samdb, groupmap, logger):
                 return
 
         m = ldb.Message()
-        m.dn = ldb.Dn(samdb, "CN=%s,CN=Users,%s" % (groupmap.nt_name, samdb.get_default_basedn()))
-        m['cn'] = ldb.MessageElement(groupmap.nt_name, ldb.FLAG_MOD_ADD, 'cn')
+        # We avoid using the format string to avoid needing to escape the CN values
+        m.dn = ldb.Dn(samdb, "CN=X,CN=Users")
+        m.dn.set_component(0, "CN", groupmap.nt_name)
+        m.dn.add_base(samdb.get_default_basedn())
         m['objectClass'] = ldb.MessageElement('group', ldb.FLAG_MOD_ADD, 'objectClass')
         m['objectSid'] = ldb.MessageElement(ndr_pack(groupmap.sid), ldb.FLAG_MOD_ADD,
             'objectSid')
@@ -290,7 +294,7 @@ def add_group_from_mapping_entry(samdb, groupmap, logger):
 
         try:
             samdb.add(m, controls=["relax:0"])
-        except ldb.LdbError, e:
+        except ldb.LdbError as e:
             logger.warn('Could not add group name=%s (%s)', groupmap.nt_name, str(e))
 
 
@@ -309,7 +313,8 @@ def add_users_to_group(samdb, group, members, logger):
 
         try:
             samdb.modify(m)
-        except ldb.LdbError, (ecode, emsg):
+        except ldb.LdbError as e:
+            (ecode, emsg) = e.args
             if ecode == ldb.ERR_ENTRY_ALREADY_EXISTS:
                 logger.debug("skipped re-adding member '%s' to group '%s': %s", member_sid, group.sid, emsg)
             elif ecode == ldb.ERR_NO_SUCH_OBJECT:
@@ -370,140 +375,6 @@ def import_wins(samba4_winsdb, samba3_winsdb):
                        "maxVersion": str(version_id)})
 
 
-def enable_samba3sam(samdb, ldapurl):
-    """Enable Samba 3 LDAP URL database.
-
-    :param samdb: SAM Database.
-    :param ldapurl: Samba 3 LDAP URL
-    """
-    samdb.modify_ldif("""
-dn: @MODULES
-changetype: modify
-replace: @LIST
-@LIST: samldb,operational,objectguid,rdn_name,samba3sam
-""")
-
-    samdb.add({"dn": "@MAP=samba3sam", "@MAP_URL": ldapurl})
-
-
-smbconf_keep = [
-    "dos charset",
-    "unix charset",
-    "display charset",
-    "comment",
-    "path",
-    "directory",
-    "workgroup",
-    "realm",
-    "netbios name",
-    "netbios aliases",
-    "netbios scope",
-    "server string",
-    "interfaces",
-    "bind interfaces only",
-    "security",
-    "auth methods",
-    "encrypt passwords",
-    "null passwords",
-    "obey pam restrictions",
-    "password server",
-    "smb passwd file",
-    "private dir",
-    "passwd chat",
-    "password level",
-    "lanman auth",
-    "ntlm auth",
-    "client NTLMv2 auth",
-    "client lanman auth",
-    "client plaintext auth",
-    "read only",
-    "hosts allow",
-    "hosts deny",
-    "log level",
-    "debuglevel",
-    "log file",
-    "smb ports",
-    "large readwrite",
-    "max protocol",
-    "min protocol",
-    "unicode",
-    "read raw",
-    "write raw",
-    "disable netbios",
-    "nt status support",
-    "max mux",
-    "max xmit",
-    "name resolve order",
-    "max wins ttl",
-    "min wins ttl",
-    "time server",
-    "unix extensions",
-    "use spnego",
-    "server signing",
-    "client signing",
-    "max connections",
-    "paranoid server security",
-    "socket options",
-    "strict sync",
-    "max print jobs",
-    "printable",
-    "print ok",
-    "printer name",
-    "printer",
-    "map system",
-    "map hidden",
-    "map archive",
-    "preferred master",
-    "prefered master",
-    "local master",
-    "browseable",
-    "browsable",
-    "wins server",
-    "wins support",
-    "csc policy",
-    "strict locking",
-    "preload",
-    "auto services",
-    "lock dir",
-    "lock directory",
-    "pid directory",
-    "socket address",
-    "copy",
-    "include",
-    "available",
-    "volume",
-    "fstype",
-    "panic action",
-    "msdfs root",
-    "host msdfs",
-    "winbind separator"]
-
-
-def upgrade_smbconf(oldconf, mark):
-    """Remove configuration variables not present in Samba4
-
-    :param oldconf: Old configuration structure
-    :param mark: Whether removed configuration variables should be
-        kept in the new configuration as "samba3:<name>"
-    """
-    data = oldconf.data()
-    newconf = LoadParm()
-
-    for s in data:
-        for p in data[s]:
-            keep = False
-            for k in smbconf_keep:
-                if smbconf_keep[k] == p:
-                    keep = True
-                    break
-
-            if keep:
-                newconf.set(s, p, oldconf.get(s, p))
-            elif mark:
-                newconf.set(s, "samba3:" + p, oldconf.get(s, p))
-
-    return newconf
-
 SAMBA3_PREDEF_NAMES = {
         'HKLM': registry.HKEY_LOCAL_MACHINE,
 }
@@ -539,8 +410,8 @@ def get_posix_attr_from_ldap_backend(logger, ldb_object, base_dn, user, attr):
         msg = ldb_object.search(base_dn, scope=ldb.SCOPE_SUBTREE,
                         expression=("(&(objectClass=posixAccount)(uid=%s))"
                         % (user)), attrs=[attr])
-    except ldb.LdbError, e:
-        raise ProvisioningError("Failed to retrieve attribute %s for user %s, the error is: %s", attr, user, e)
+    except ldb.LdbError as e:
+        raise ProvisioningError("Failed to retrieve attribute %s for user %s, the error is: %s" % (attr, user, e))
     else:
         if msg.count <= 1:
             # This will raise KeyError (which is what we want) if there isn't a entry for this user
@@ -571,7 +442,7 @@ def upgrade_from_samba3(samba3, logger, targetdir, session_info=None,
     # secrets db
     try:
         secrets_db = samba3.get_secrets_db()
-    except IOError, e:
+    except IOError as e:
         raise ProvisioningError("Could not open '%s', the Samba3 secrets database: %s.  Perhaps you specified the incorrect smb.conf, --testparm or --dbdir option?" % (samba3.privatedir_path("secrets.tdb"), str(e)))
 
     if not domainname:
@@ -649,7 +520,7 @@ def upgrade_from_samba3(samba3, logger, targetdir, session_info=None,
             try:
                 members = s3db.enum_aliasmem(group.sid)
                 groupmembers[str(group.sid)] = members
-            except passdb.error, e:
+            except passdb.error as e:
                 logger.warn("Ignoring group '%s' %s listed but then not found: %s",
                             group.nt_name, group.sid, e)
                 continue
@@ -657,7 +528,7 @@ def upgrade_from_samba3(samba3, logger, targetdir, session_info=None,
             try:
                 members = s3db.enum_group_members(group.sid)
                 groupmembers[str(group.sid)] = members
-            except passdb.error, e:
+            except passdb.error as e:
                 logger.warn("Ignoring group '%s' %s listed but then not found: %s",
                             group.nt_name, group.sid, e)
                 continue
@@ -671,7 +542,7 @@ def upgrade_from_samba3(samba3, logger, targetdir, session_info=None,
             try:
                 members = s3db.enum_aliasmem(group.sid)
                 groupmembers[str(group.sid)] = members
-            except passdb.error, e:
+            except passdb.error as e:
                 logger.warn("Ignoring group '%s' %s listed but then not found: %s",
                             group.nt_name, group.sid, e)
                 continue
@@ -755,7 +626,7 @@ Please fix this account before attempting to upgrade again
                         groupmembers[str(group)].append(user.user_sid)
                 else:
                     groupmembers[str(group)] = [user.user_sid];
-        except passdb.error, e:
+        except passdb.error as e:
             logger.warn("Ignoring group memberships of '%s' %s: %s",
                         username, user.user_sid, e)
 
@@ -798,8 +669,8 @@ Please fix this account before attempting to upgrade again
         for url in urls.split():
             try:
                 ldb_object = Ldb(url, credentials=creds)
-            except ldb.LdbError, e:
-                raise ProvisiongError("Could not open ldb connection to %s, the error message is: %s" % (url, e))
+            except ldb.LdbError as e:
+                raise ProvisioningError("Could not open ldb connection to %s, the error message is: %s" % (url, e))
             else:
                 break
     logger.info("Exporting posix attributes")
@@ -841,7 +712,7 @@ Please fix this account before attempting to upgrade again
     samba3_winsdb = None
     try:
         samba3_winsdb = samba3.get_wins_db()
-    except IOError, e:
+    except IOError as e:
         logger.warn('Cannot open wins database, Ignoring: %s', str(e))
 
     if not (serverrole == "ROLE_DOMAIN_BDC" or serverrole == "ROLE_DOMAIN_PDC"):
@@ -856,9 +727,9 @@ Please fix this account before attempting to upgrade again
         adminpass = None
 
     # Do full provision
-    result = provision(logger, session_info, None,
+    result = provision(logger, session_info,
                        targetdir=targetdir, realm=realm, domain=domainname,
-                       domainsid=str(domainsid), next_rid=next_rid,
+                       domainsid=domainsid, next_rid=next_rid,
                        dc_rid=machinerid, adminpass = adminpass,
                        dom_for_fun_level=dsdb.DS_DOMAIN_FUNCTION_2003,
                        hostname=netbiosname.lower(), machinepass=machinepass,
@@ -910,42 +781,32 @@ Please fix this account before attempting to upgrade again
         result.samdb.transaction_cancel()
         raise
 
-    logger.info("Commiting 'add groups' transaction to disk")
+    logger.info("Committing 'add groups' transaction to disk")
     result.samdb.transaction_commit()
 
     logger.info("Adding users")
-    # Start a new transaction (should speed this up a little, due to index churn)
-    result.samdb.transaction_start()
 
-    try:
-        # Export users to samba4 backend
-        logger.info("Importing users")
-        for username in userdata:
-            if username.lower() == 'administrator':
-                if userdata[username].user_sid != dom_sid(str(domainsid) + "-500"):
-                    logger.error("User 'Administrator' in your existing directory has SID %s, expected it to be %s" % (userdata[username].user_sid, dom_sid(str(domainsid) + "-500")))
-                    raise ProvisioningError("User 'Administrator' in your existing directory does not have SID ending in -500")
-            if username.lower() == 'root':
-                if userdata[username].user_sid == dom_sid(str(domainsid) + "-500"):
-                    logger.warn('User root has been replaced by Administrator')
-                else:
-                    logger.warn('User root has been kept in the directory, it should be removed in favour of the Administrator user')
+    # Export users to samba4 backend
+    logger.info("Importing users")
+    for username in userdata:
+        if username.lower() == 'administrator':
+            if userdata[username].user_sid != dom_sid(str(domainsid) + "-500"):
+                logger.error("User 'Administrator' in your existing directory has SID %s, expected it to be %s" % (userdata[username].user_sid, dom_sid(str(domainsid) + "-500")))
+                raise ProvisioningError("User 'Administrator' in your existing directory does not have SID ending in -500")
+        if username.lower() == 'root':
+            if userdata[username].user_sid == dom_sid(str(domainsid) + "-500"):
+                logger.warn('User root has been replaced by Administrator')
+            else:
+                logger.warn('User root has been kept in the directory, it should be removed in favour of the Administrator user')
 
-            s4_passdb.add_sam_account(userdata[username])
-            if username in uids:
-                add_ad_posix_idmap_entry(result.samdb, userdata[username].user_sid, uids[username], "ID_TYPE_UID", logger)
-                if (username in homes) and (homes[username] is not None) and \
-                   (username in shells) and (shells[username] is not None) and \
-                   (username in pgids) and (pgids[username] is not None):
-                    add_posix_attrs(samdb=result.samdb, sid=userdata[username].user_sid, name=username, nisdomain=domainname.lower(), xid_type="ID_TYPE_UID", home=homes[username], shell=shells[username], pgid=pgids[username], logger=logger)
+        s4_passdb.add_sam_account(userdata[username])
+        if username in uids:
+            add_ad_posix_idmap_entry(result.samdb, userdata[username].user_sid, uids[username], "ID_TYPE_UID", logger)
+            if (username in homes) and (homes[username] is not None) and \
+               (username in shells) and (shells[username] is not None) and \
+               (username in pgids) and (pgids[username] is not None):
+                add_posix_attrs(samdb=result.samdb, sid=userdata[username].user_sid, name=username, nisdomain=domainname.lower(), xid_type="ID_TYPE_UID", home=homes[username], shell=shells[username], pgid=pgids[username], logger=logger)
 
-    except:
-        # We need this, so that we do not give even more errors due to not cancelling the transaction
-        result.samdb.transaction_cancel()
-        raise
-
-    logger.info("Commiting 'add users' transaction to disk")
-    result.samdb.transaction_commit()
 
     logger.info("Adding users to groups")
     # Start a new transaction (should speed this up a little, due to index churn)
@@ -961,7 +822,7 @@ Please fix this account before attempting to upgrade again
         result.samdb.transaction_cancel()
         raise
 
-    logger.info("Commiting 'add users to groups' transaction to disk")
+    logger.info("Committing 'add users to groups' transaction to disk")
     result.samdb.transaction_commit()
 
     # Set password for administrator