Fix the build, add filtered subunit runner.
[ab/samba.git/.git] / source4 / scripting / python / samba / __init__.py
1 #!/usr/bin/python
2
3 # Unix SMB/CIFS implementation.
4 # Copyright (C) Jelmer Vernooij <jelmer@samba.org> 2007-2008
5 #
6 # Based on the original in EJS:
7 # Copyright (C) Andrew Tridgell <tridge@samba.org> 2005
8 #
9 # This program is free software; you can redistribute it and/or modify
10 # it under the terms of the GNU General Public License as published by
11 # the Free Software Foundation; either version 3 of the License, or
12 # (at your option) any later version.
13 #
14 # This program is distributed in the hope that it will be useful,
15 # but WITHOUT ANY WARRANTY; without even the implied warranty of
16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17 # GNU General Public License for more details.
18 #
19 # You should have received a copy of the GNU General Public License
20 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
21 #
22
23 """Samba 4."""
24
25 __docformat__ = "restructuredText"
26
27 import os
28
29 def _in_source_tree():
30     """Check whether the script is being run from the source dir. """
31     return os.path.exists("%s/../../../selftest/skip" % os.path.dirname(__file__))
32
33
34 # When running, in-tree, make sure bin/python is in the PYTHONPATH
35 if _in_source_tree():
36     import sys
37     srcdir = "%s/../../.." % os.path.dirname(__file__)
38     sys.path.append("%s/bin/python" % srcdir)
39     default_ldb_modules_dir = "%s/bin/modules/ldb" % srcdir
40 else:
41     default_ldb_modules_dir = None
42
43
44 import ldb
45 import glue
46
47 class Ldb(ldb.Ldb):
48     """Simple Samba-specific LDB subclass that takes care
49     of setting up the modules dir, credentials pointers, etc.
50
51     Please note that this is intended to be for all Samba LDB files,
52     not necessarily the Sam database. For Sam-specific helper
53     functions see samdb.py.
54     """
55     def __init__(self, url=None, lp=None, modules_dir=None, session_info=None,
56                  credentials=None, flags=0, options=None):
57         """Opens a Samba Ldb file.
58
59         :param url: Optional LDB URL to open
60         :param lp: Optional loadparm object
61         :param modules_dir: Optional modules directory
62         :param session_info: Optional session information
63         :param credentials: Optional credentials, defaults to anonymous.
64         :param flags: Optional LDB flags
65         :param options: Additional options (optional)
66
67         This is different from a regular Ldb file in that the Samba-specific
68         modules-dir is used by default and that credentials and session_info
69         can be passed through (required by some modules).
70         """
71
72         if modules_dir is not None:
73             self.set_modules_dir(modules_dir)
74         elif default_ldb_modules_dir is not None:
75             self.set_modules_dir(default_ldb_modules_dir)
76         elif lp is not None:
77             self.set_modules_dir(os.path.join(lp.get("modules dir"), "ldb"))
78
79         if session_info is not None:
80             self.set_session_info(session_info)
81
82         if credentials is not None:
83             self.set_credentials(credentials)
84
85         if lp is not None:
86             self.set_loadparm(lp)
87
88         # This must be done before we load the schema, as these handlers for
89         # objectSid and objectGUID etc must take precedence over the 'binary
90         # attribute' declaration in the schema
91         glue.ldb_register_samba_handlers(self)
92
93         # TODO set debug
94         def msg(l,text):
95             print text
96         #self.set_debug(msg)
97
98         glue.ldb_set_utf8_casefold(self)
99
100         # Allow admins to force non-sync ldb for all databases
101         if lp is not None:
102             nosync_p = lp.get("nosync", "ldb")
103             if nosync_p is not None and nosync_p == True:
104                 flags |= FLG_NOSYNC
105
106         self.set_create_perms()
107
108         if url is not None:
109             self.connect(url, flags, options)
110
111     def set_session_info(self, session_info):
112         glue.ldb_set_session_info(self, session_info)
113
114     def set_credentials(self, credentials):
115         glue.ldb_set_credentials(self, credentials)
116
117     def set_loadparm(self, lp_ctx):
118         glue.ldb_set_loadparm(self, lp_ctx)
119
120     def set_create_perms(self, perms=0600):
121         # we usually want Samba databases to be private. If we later find we
122         # need one public, we will have to change this here
123         super(Ldb, self).set_create_perms(perms)
124
125     def searchone(self, attribute, basedn=None, expression=None,
126                   scope=ldb.SCOPE_BASE):
127         """Search for one attribute as a string.
128
129         :param basedn: BaseDN for the search.
130         :param attribute: Name of the attribute
131         :param expression: Optional search expression.
132         :param scope: Search scope (defaults to base).
133         :return: Value of attribute as a string or None if it wasn't found.
134         """
135         res = self.search(basedn, scope, expression, [attribute])
136         if len(res) != 1 or res[0][attribute] is None:
137             return None
138         values = set(res[0][attribute])
139         assert len(values) == 1
140         return self.schema_format_value(attribute, values.pop())
141
142     def erase_users_computers(self, dn):
143         """Erases user and computer objects from our AD. This is needed since the 'samldb' module denies the deletion of primary groups. Therefore all groups shouldn't be primary somewhere anymore."""
144
145         try:
146             res = self.search(base=dn, scope=ldb.SCOPE_SUBTREE, attrs=[],
147                       expression="(|(objectclass=user)(objectclass=computer))")
148         except ldb.LdbError, (errno, _):
149             if errno == ldb.ERR_NO_SUCH_OBJECT:
150                 # Ignore no such object errors
151                 return
152             else:
153                 raise
154
155         try:
156             for msg in res:
157                 self.delete(msg.dn)
158         except ldb.LdbError, (errno, _):
159             if errno != ldb.ERR_NO_SUCH_OBJECT:
160                 # Ignore no such object errors
161                 raise
162
163     def erase_except_schema_controlled(self):
164         """Erase this ldb, removing all records, except those that are controlled by Samba4's schema."""
165
166         basedn = ""
167
168         # Try to delete user/computer accounts to allow deletion of groups
169         self.erase_users_computers(basedn)
170
171         # Delete the 'visible' records, and the invisble 'deleted' records (if this DB supports it)
172         for msg in self.search(basedn, ldb.SCOPE_SUBTREE,
173                                "(&(|(objectclass=*)(distinguishedName=*))(!(distinguishedName=@BASEINFO)))",
174                                [], controls=["show_deleted:0"]):
175             try:
176                 self.delete(msg.dn)
177             except ldb.LdbError, (errno, _):
178                 if errno != ldb.ERR_NO_SUCH_OBJECT:
179                     # Ignore no such object errors
180                     raise
181
182         res = self.search(basedn, ldb.SCOPE_SUBTREE,
183                           "(&(|(objectclass=*)(distinguishedName=*))(!(distinguishedName=@BASEINFO)))",
184                           [], controls=["show_deleted:0"])
185         assert len(res) == 0
186
187         # delete the specials
188         for attr in ["@SUBCLASSES", "@MODULES",
189                      "@OPTIONS", "@PARTITION", "@KLUDGEACL"]:
190             try:
191                 self.delete(attr)
192             except ldb.LdbError, (errno, _):
193                 if errno != ldb.ERR_NO_SUCH_OBJECT:
194                     # Ignore missing dn errors
195                     raise
196
197     def erase(self):
198         """Erase this ldb, removing all records."""
199
200         self.erase_except_schema_controlled()
201
202         # delete the specials
203         for attr in ["@INDEXLIST", "@ATTRIBUTES"]:
204             try:
205                 self.delete(attr)
206             except ldb.LdbError, (errno, _):
207                 if errno != ldb.ERR_NO_SUCH_OBJECT:
208                     # Ignore missing dn errors
209                     raise
210
211     def erase_partitions(self):
212         """Erase an ldb, removing all records."""
213
214         def erase_recursive(self, dn):
215             try:
216                 res = self.search(base=dn, scope=ldb.SCOPE_ONELEVEL, attrs=[],
217                                   controls=["show_deleted:0"])
218             except ldb.LdbError, (errno, _):
219                 if errno == ldb.ERR_NO_SUCH_OBJECT:
220                     # Ignore no such object errors
221                     return
222
223             for msg in res:
224                 erase_recursive(self, msg.dn)
225
226             try:
227                 self.delete(dn)
228             except ldb.LdbError, (errno, _):
229                 if errno != ldb.ERR_NO_SUCH_OBJECT:
230                     # Ignore no such object errors
231                     raise
232
233         res = self.search("", ldb.SCOPE_BASE, "(objectClass=*)",
234                          ["namingContexts"])
235         assert len(res) == 1
236         if not "namingContexts" in res[0]:
237             return
238         for basedn in res[0]["namingContexts"]:
239             # Try to delete user/computer accounts to allow deletion of groups
240             self.erase_users_computers(basedn)
241             # Try and erase from the bottom-up in the tree
242             erase_recursive(self, basedn)
243
244     def load_ldif_file_add(self, ldif_path):
245         """Load a LDIF file.
246
247         :param ldif_path: Path to LDIF file.
248         """
249         self.add_ldif(open(ldif_path, 'r').read())
250
251     def add_ldif(self, ldif, controls=None):
252         """Add data based on a LDIF string.
253
254         :param ldif: LDIF text.
255         """
256         for changetype, msg in self.parse_ldif(ldif):
257             assert changetype == ldb.CHANGETYPE_NONE
258             self.add(msg,controls)
259
260     def modify_ldif(self, ldif, controls=None):
261         """Modify database based on a LDIF string.
262
263         :param ldif: LDIF text.
264         """
265         for changetype, msg in self.parse_ldif(ldif):
266             if (changetype == ldb.CHANGETYPE_ADD):
267                 self.add(msg, controls)
268             else:
269                 self.modify(msg, controls)
270
271     def set_domain_sid(self, sid):
272         """Change the domain SID used by this LDB.
273
274         :param sid: The new domain sid to use.
275         """
276         glue.samdb_set_domain_sid(self, sid)
277
278     def domain_sid(self):
279         """Read the domain SID used by this LDB.
280
281         """
282         glue.samdb_get_domain_sid(self)
283
284     def set_schema_from_ldif(self, pf, df):
285         glue.dsdb_set_schema_from_ldif(self, pf, df)
286
287     def set_schema_from_ldb(self, ldb):
288         glue.dsdb_set_schema_from_ldb(self, ldb)
289
290     def write_prefixes_from_schema(self):
291         glue.dsdb_write_prefixes_from_schema_to_ldb(self)
292
293     def convert_schema_to_openldap(self, target, mapping):
294         return glue.dsdb_convert_schema_to_openldap(self, target, mapping)
295
296     def set_invocation_id(self, invocation_id):
297         """Set the invocation id for this SamDB handle.
298
299         :param invocation_id: GUID of the invocation id.
300         """
301         glue.dsdb_set_ntds_invocation_id(self, invocation_id)
302
303     def get_invocation_id(self):
304         "Get the invocation_id id"
305         return glue.samdb_ntds_invocation_id(self)
306
307     def get_ntds_GUID(self):
308         "Get the NTDS objectGUID"
309         return glue.samdb_ntds_objectGUID(self)
310
311     def server_site_name(self):
312         "Get the server site name"
313         return glue.samdb_server_site_name(self)
314
315     def set_opaque_integer(self, name, value):
316         """Set an integer as an opaque (a flag or other value) value on the database
317
318         :param name: The name for the opaque value
319         :param value: The integer value
320         """
321         glue.dsdb_set_opaque_integer(self, name, value)
322
323
324 def substitute_var(text, values):
325     """substitute strings of the form ${NAME} in str, replacing
326     with substitutions from subobj.
327
328     :param text: Text in which to subsitute.
329     :param values: Dictionary with keys and values.
330     """
331
332     for (name, value) in values.items():
333         assert isinstance(name, str), "%r is not a string" % name
334         assert isinstance(value, str), "Value %r for %s is not a string" % (value, name)
335         text = text.replace("${%s}" % name, value)
336
337     return text
338
339
340 def check_all_substituted(text):
341     """Make sure that all substitution variables in a string have been replaced.
342     If not, raise an exception.
343
344     :param text: The text to search for substitution variables
345     """
346     if not "${" in text:
347         return
348
349     var_start = text.find("${")
350     var_end = text.find("}", var_start)
351
352     raise Exception("Not all variables substituted: %s" % text[var_start:var_end+1])
353
354
355 def read_and_sub_file(file, subst_vars):
356     """Read a file and sub in variables found in it
357
358     :param file: File to be read (typically from setup directory)
359      param subst_vars: Optional variables to subsitute in the file.
360     """
361     data = open(file, 'r').read()
362     if subst_vars is not None:
363         data = substitute_var(data, subst_vars)
364         check_all_substituted(data)
365     return data
366
367
368 def setup_file(template, fname, subst_vars=None):
369     """Setup a file in the private dir.
370
371     :param template: Path of the template file.
372     :param fname: Path of the file to create.
373     :param subst_vars: Substitution variables.
374     """
375     f = fname
376
377     if os.path.exists(f):
378         os.unlink(f)
379
380     data = read_and_sub_file(template, subst_vars)
381     open(f, 'w').write(data)
382
383
384 def valid_netbios_name(name):
385     """Check whether a name is valid as a NetBIOS name. """
386     # See crh's book (1.4.1.1)
387     if len(name) > 15:
388         return False
389     for x in name:
390         if not x.isalnum() and not x in " !#$%&'()-.@^_{}~":
391             return False
392     return True
393
394
395 version = glue.version
396
397 # "userAccountControl" flags
398 UF_NORMAL_ACCOUNT = glue.UF_NORMAL_ACCOUNT
399 UF_TEMP_DUPLICATE_ACCOUNT = glue.UF_TEMP_DUPLICATE_ACCOUNT
400 UF_SERVER_TRUST_ACCOUNT = glue.UF_SERVER_TRUST_ACCOUNT
401 UF_WORKSTATION_TRUST_ACCOUNT = glue.UF_WORKSTATION_TRUST_ACCOUNT
402 UF_INTERDOMAIN_TRUST_ACCOUNT = glue.UF_INTERDOMAIN_TRUST_ACCOUNT
403 UF_PASSWD_NOTREQD = glue.UF_PASSWD_NOTREQD
404 UF_ACCOUNTDISABLE = glue.UF_ACCOUNTDISABLE
405
406 # "groupType" flags
407 GTYPE_SECURITY_BUILTIN_LOCAL_GROUP = glue.GTYPE_SECURITY_BUILTIN_LOCAL_GROUP
408 GTYPE_SECURITY_GLOBAL_GROUP = glue.GTYPE_SECURITY_GLOBAL_GROUP
409 GTYPE_SECURITY_DOMAIN_LOCAL_GROUP = glue.GTYPE_SECURITY_DOMAIN_LOCAL_GROUP
410 GTYPE_SECURITY_UNIVERSAL_GROUP = glue.GTYPE_SECURITY_UNIVERSAL_GROUP
411 GTYPE_DISTRIBUTION_GLOBAL_GROUP = glue.GTYPE_DISTRIBUTION_GLOBAL_GROUP
412 GTYPE_DISTRIBUTION_DOMAIN_LOCAL_GROUP = glue.GTYPE_DISTRIBUTION_DOMAIN_LOCAL_GROUP
413 GTYPE_DISTRIBUTION_UNIVERSAL_GROUP = glue.GTYPE_DISTRIBUTION_UNIVERSAL_GROUP
414
415 # "sAMAccountType" flags
416 ATYPE_NORMAL_ACCOUNT = glue.ATYPE_NORMAL_ACCOUNT
417 ATYPE_WORKSTATION_TRUST = glue.ATYPE_WORKSTATION_TRUST
418 ATYPE_INTERDOMAIN_TRUST = glue.ATYPE_INTERDOMAIN_TRUST
419 ATYPE_SECURITY_GLOBAL_GROUP = glue.ATYPE_SECURITY_GLOBAL_GROUP
420 ATYPE_SECURITY_LOCAL_GROUP = glue.ATYPE_SECURITY_LOCAL_GROUP
421 ATYPE_SECURITY_UNIVERSAL_GROUP = glue.ATYPE_SECURITY_UNIVERSAL_GROUP
422 ATYPE_DISTRIBUTION_GLOBAL_GROUP = glue.ATYPE_DISTRIBUTION_GLOBAL_GROUP
423 ATYPE_DISTRIBUTION_LOCAL_GROUP = glue.ATYPE_DISTRIBUTION_LOCAL_GROUP
424 ATYPE_DISTRIBUTION_UNIVERSAL_GROUP = glue.ATYPE_DISTRIBUTION_UNIVERSAL_GROUP
425
426 # "domainFunctionality", "forestFunctionality" flags in the rootDSE */
427 DS_DOMAIN_FUNCTION_2000 = glue.DS_DOMAIN_FUNCTION_2000
428 DS_DOMAIN_FUNCTION_2003_MIXED = glue.DS_DOMAIN_FUNCTION_2003_MIXED
429 DS_DOMAIN_FUNCTION_2003 = glue.DS_DOMAIN_FUNCTION_2003
430 DS_DOMAIN_FUNCTION_2008 = glue.DS_DOMAIN_FUNCTION_2008
431 DS_DOMAIN_FUNCTION_2008_R2 = glue.DS_DOMAIN_FUNCTION_2008_R2
432
433 # "domainControllerFunctionality" flags in the rootDSE */
434 DS_DC_FUNCTION_2000 = glue.DS_DC_FUNCTION_2000
435 DS_DC_FUNCTION_2003 = glue.DS_DC_FUNCTION_2003
436 DS_DC_FUNCTION_2008 = glue.DS_DC_FUNCTION_2008
437 DS_DC_FUNCTION_2008_R2 = glue.DS_DC_FUNCTION_2008_R2
438
439 #LDAP_SERVER_SD_FLAGS_OID flags
440 SECINFO_OWNER = glue.SECINFO_OWNER
441 SECINFO_GROUP = glue.SECINFO_GROUP
442 SECINFO_DACL  = glue.SECINFO_DACL
443 SECINFO_SACL  = glue.SECINFO_SACL
444