06df7e3067cf9df5fb9a4842e9effe500bd18246
[nivanova/samba-autobuild/.git] / python / samba / ms_schema.py
1 # create schema.ldif (as a string) from WSPP documentation
2 #
3 # based on minschema.py and minschema_wspp
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 3 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
17
18 from __future__ import print_function
19 """Generate LDIF from WSPP documentation."""
20
21 import re
22 import base64
23 import uuid
24 from samba.compat import string_types
25
26 bitFields = {}
27
28 # ADTS: 2.2.9
29 # bit positions as labeled in the docs
30 bitFields["searchflags"] = {
31     'fATTINDEX': 31,         # IX
32     'fPDNTATTINDEX': 30,     # PI
33     'fANR': 29,  # AR
34     'fPRESERVEONDELETE': 28,         # PR
35     'fCOPY': 27,     # CP
36     'fTUPLEINDEX': 26,       # TP
37     'fSUBTREEATTINDEX': 25,  # ST
38     'fCONFIDENTIAL': 24,     # CF
39     'fCONFIDENTAIL': 24, # typo
40     'fNEVERVALUEAUDIT': 23,  # NV
41     'fRODCAttribute': 22,    # RO
42
43
44     # missing in ADTS but required by LDIF
45     'fRODCFilteredAttribute': 22,    # RO
46     'fRODCFILTEREDATTRIBUTE': 22, # case
47     'fEXTENDEDLINKTRACKING': 21,  # XL
48     'fBASEONLY': 20,  # BO
49     'fPARTITIONSECRET': 19,  # SE
50 }
51
52 # ADTS: 2.2.10
53 bitFields["systemflags"] = {
54     'FLAG_ATTR_NOT_REPLICATED': 31, 'FLAG_CR_NTDS_NC': 31,     # NR
55     'FLAG_ATTR_REQ_PARTIAL_SET_MEMBER': 30, 'FLAG_CR_NTDS_DOMAIN': 30,     # PS
56     'FLAG_ATTR_IS_CONSTRUCTED': 29, 'FLAG_CR_NTDS_NOT_GC_REPLICATED': 29,     # CS
57     'FLAG_ATTR_IS_OPERATIONAL': 28,     # OP
58     'FLAG_SCHEMA_BASE_OBJECT': 27,     # BS
59     'FLAG_ATTR_IS_RDN': 26,     # RD
60     'FLAG_DISALLOW_MOVE_ON_DELETE': 6,     # DE
61     'FLAG_DOMAIN_DISALLOW_MOVE': 5,     # DM
62     'FLAG_DOMAIN_DISALLOW_RENAME': 4,     # DR
63     'FLAG_CONFIG_ALLOW_LIMITED_MOVE': 3,     # AL
64     'FLAG_CONFIG_ALLOW_MOVE': 2,     # AM
65     'FLAG_CONFIG_ALLOW_RENAME': 1,     # AR
66     'FLAG_DISALLOW_DELETE': 0     # DD
67 }
68
69 # ADTS: 2.2.11
70 bitFields["schemaflagsex"] = {
71     'FLAG_ATTR_IS_CRITICAL': 31
72 }
73
74 # ADTS: 3.1.1.2.2.2
75 oMObjectClassBER = {
76     '1.3.12.2.1011.28.0.702' : base64.b64encode(b'\x2B\x0C\x02\x87\x73\x1C\x00\x85\x3E').decode('utf8'),
77     '1.2.840.113556.1.1.1.12': base64.b64encode(b'\x2A\x86\x48\x86\xF7\x14\x01\x01\x01\x0C').decode('utf8'),
78     '2.6.6.1.2.5.11.29'      : base64.b64encode(b'\x56\x06\x01\x02\x05\x0B\x1D').decode('utf8'),
79     '1.2.840.113556.1.1.1.11': base64.b64encode(b'\x2A\x86\x48\x86\xF7\x14\x01\x01\x01\x0B').decode('utf8'),
80     '1.3.12.2.1011.28.0.714' : base64.b64encode(b'\x2B\x0C\x02\x87\x73\x1C\x00\x85\x4A').decode('utf8'),
81     '1.3.12.2.1011.28.0.732' : base64.b64encode(b'\x2B\x0C\x02\x87\x73\x1C\x00\x85\x5C').decode('utf8'),
82     '1.2.840.113556.1.1.1.6' : base64.b64encode(b'\x2A\x86\x48\x86\xF7\x14\x01\x01\x01\x06').decode('utf8')
83 }
84
85 # separated by commas in docs, and must be broken up
86 multivalued_attrs = set(["auxiliaryclass","maycontain","mustcontain","posssuperiors",
87                          "systemauxiliaryclass","systemmaycontain","systemmustcontain",
88                          "systemposssuperiors"])
89
90 def __read_folded_line(f, buffer):
91     """ reads a line from an LDIF file, unfolding it"""
92     line = buffer
93
94     while True:
95         l = f.readline()
96
97         if l[:1] == " ":
98             # continued line
99
100             # cannot fold an empty line
101             assert(line != "" and line != "\n")
102
103             # preserves '\n '
104             line = line + l
105         else:
106             # non-continued line
107             if line == "":
108                 line = l
109
110                 if l == "":
111                     # eof, definitely won't be folded
112                     break
113             else:
114                 # marks end of a folded line
115                 # line contains the now unfolded line
116                 # buffer contains the start of the next possibly folded line
117                 buffer = l
118                 break
119
120     return (line, buffer)
121
122
123 def __read_raw_entries(f):
124     """reads an LDIF entry, only unfolding lines"""
125     import sys
126
127     # will not match options after the attribute type
128     attr_type_re = re.compile("^([A-Za-z]+[A-Za-z0-9-]*):")
129
130     buffer = ""
131
132     while True:
133         entry = []
134
135         while True:
136             (l, buffer) = __read_folded_line(f, buffer)
137
138             if l[:1] == "#":
139                 continue
140
141             if l == "\n" or l == "":
142                 break
143
144             m = attr_type_re.match(l)
145
146             if m:
147                 if l[-1:] == "\n":
148                     l = l[:-1]
149
150                 entry.append(l)
151             else:
152                 print("Invalid line: %s" % l, end=' ', file=sys.stderr)
153                 sys.exit(1)
154
155         if len(entry):
156             yield entry
157
158         if l == "":
159             break
160
161
162 def fix_dn(dn):
163     """fix a string DN to use ${SCHEMADN}"""
164
165     # folding?
166     if dn.find("<RootDomainDN>") != -1:
167         dn = dn.replace("\n ", "")
168         dn = dn.replace(" ", "")
169         return dn.replace("CN=Schema,CN=Configuration,<RootDomainDN>", "${SCHEMADN}")
170     elif dn.endswith("DC=X"):
171         return dn.replace("CN=Schema,CN=Configuration,DC=X", "${SCHEMADN}")
172     elif dn.endswith("CN=X"):
173         return dn.replace("CN=Schema,CN=Configuration,CN=X", "${SCHEMADN}")
174     else:
175         return dn
176
177 def __convert_bitfield(key, value):
178     """Evaluate the OR expression in 'value'"""
179     assert(isinstance(value, string_types))
180
181     value = value.replace("\n ", "")
182     value = value.replace(" ", "")
183
184     try:
185         # some attributes already have numeric values
186         o = int(value)
187     except ValueError:
188         o = 0
189         flags = value.split("|")
190         for f in flags:
191             bitpos = bitFields[key][f]
192             o = o | (1 << (31 - bitpos))
193
194     return str(o)
195
196 def __write_ldif_one(entry):
197     """Write out entry as LDIF"""
198     out = []
199
200     for l in entry:
201         if isinstance(l[1], string_types):
202             vl = [l[1]]
203         else:
204             vl = l[1]
205
206         if l[2]:
207             out.append("%s:: %s" % (l[0], l[1]))
208             continue
209
210         for v in vl:
211             out.append("%s: %s" % (l[0], v))
212
213
214     return "\n".join(out)
215
216 def __transform_entry(entry, objectClass):
217     """Perform transformations required to convert the LDIF-like schema
218        file entries to LDIF, including Samba-specific stuff."""
219
220     entry = [l.split(":", 1) for l in entry]
221
222     cn = ""
223     skip_dn = skip_objectclass = skip_admin_description = skip_admin_display_name = False
224
225     for l in entry:
226         if l[1].startswith(': '):
227             l.append(True)
228             l[1] = l[1][2:]
229         else:
230             l.append(False)
231
232         key = l[0].lower()
233         l[1] = l[1].lstrip()
234         l[1] = l[1].rstrip()
235
236         if not cn and key == "cn":
237             cn = l[1]
238
239         if key in multivalued_attrs:
240             # unlike LDIF, these are comma-separated
241             l[1] = l[1].replace("\n ", "")
242             l[1] = l[1].replace(" ", "")
243
244             l[1] = l[1].split(",")
245
246         if key in bitFields:
247             l[1] = __convert_bitfield(key, l[1])
248
249         if key == "omobjectclass":
250             if not l[2]:
251                 l[1] = oMObjectClassBER[l[1].strip()]
252                 l[2] = True
253
254         if isinstance(l[1], string_types):
255             l[1] = fix_dn(l[1])
256
257         if key == 'dn':
258             skip_dn = True
259             dn = l[1]
260
261         if key == 'objectclass':
262             skip_objectclass = True
263         elif key == 'admindisplayname':
264             skip_admin_display_name = True
265         elif key == 'admindescription':
266             skip_admin_description = True
267
268     assert(cn)
269
270     header = []
271     if not skip_dn:
272         header.append(["dn", "CN=%s,${SCHEMADN}" % cn, False])
273     else:
274         header.append(["dn", dn, False])
275
276     if not skip_objectclass:
277         header.append(["objectClass", ["top", objectClass], False])
278     if not skip_admin_description:
279         header.append(["adminDescription", cn, False])
280     if not skip_admin_display_name:
281         header.append(["adminDisplayName", cn, False])
282
283     header.append(["objectGUID", str(uuid.uuid4()), False])
284
285     entry = header + [x for x in entry if x[0].lower() not in set(['dn', 'changetype', 'objectcategory'])]
286
287     return entry
288
289 def __parse_schema_file(filename, objectClass):
290     """Load and transform a schema file."""
291
292     out = []
293
294     f = open(filename, "rU")
295     for entry in __read_raw_entries(f):
296         out.append(__write_ldif_one(__transform_entry(entry, objectClass)))
297
298     return "\n\n".join(out)
299
300
301 def read_ms_schema(attr_file, classes_file, dump_attributes = True, dump_classes = True, debug = False):
302     """Read WSPP documentation-derived schema files."""
303
304     attr_ldif = ""
305     classes_ldif = ""
306
307     if dump_attributes:
308         attr_ldif =  __parse_schema_file(attr_file, "attributeSchema")
309     if dump_classes:
310         classes_ldif = __parse_schema_file(classes_file, "classSchema")
311
312     return attr_ldif + "\n\n" + classes_ldif + "\n\n"
313
314 if __name__ == '__main__':
315     import sys
316
317     try:
318         attr_file = sys.argv[1]
319         classes_file = sys.argv[2]
320     except IndexError:
321         print("Usage: %s attr-file.txt classes-file.txt" % (sys.argv[0]), file=sys.stderr)
322         sys.exit(1)
323
324     print(read_ms_schema(attr_file, classes_file))