build: fixed heimdal include lists
[nivanova/samba-autobuild/.git] / buildtools / wafsamba / wafsamba.py
1 # a waf tool to add autoconf-like macros to the configure section
2 # and for SAMBA_ macros for building libraries, binaries etc
3
4 import Build, os, Logs, sys, Configure, Options, string, Task, Utils, optparse
5 from Configure import conf
6 from Logs import debug
7 from TaskGen import extension
8
9 # bring in the other samba modules
10 from samba_utils import *
11 # should be enabled from the above?
12 from samba_autoconf import *
13 from samba_patterns import *
14 from samba_pidl import *
15 from samba_asn1 import *
16 from samba_autoproto import *
17
18 LIB_PATH="shared"
19
20
21 #################################################################
22 # create the samba build environment
23 @conf
24 def SAMBA_BUILD_ENV(conf):
25     libpath="%s/%s" % (conf.blddir, LIB_PATH)
26     conf.env['BUILD_DIRECTORY'] = conf.blddir
27     if not os.path.exists(libpath):
28         os.mkdir(libpath)
29
30 ################################################################
31 # add an init_function to the list for a subsystem
32 def ADD_INIT_FUNCTION(bld, subsystem, init_function):
33     if init_function is None:
34         return
35     bld.ASSERT(subsystem is not None, "You must specify a subsystem for init_function '%s'" % init_function)
36     cache = LOCAL_CACHE(bld, 'INIT_FUNCTIONS')
37     if not subsystem in cache:
38         cache[subsystem] = ''
39     cache[subsystem] += '%s,' % init_function
40 Build.BuildContext.ADD_INIT_FUNCTION = ADD_INIT_FUNCTION
41
42 ################################################################
43 # recursively build the dependency list for a target
44 def FULL_DEPENDENCIES(bld, cache, target, chain, path):
45     if not target in cache:
46         return {}
47     deps = cache[target].copy()
48     for t in cache[target]:
49         bld.ASSERT(t not in chain, "Circular dependency for %s: %s->%s" % (t, path, t));
50         c2 = chain.copy()
51         c2[t] = True
52         dict_concat(deps, FULL_DEPENDENCIES(bld, cache, t, c2, "%s->%s" % (path, t)))
53     return deps
54
55 ############################################################
56 # check our build dependencies for circular dependencies
57 def CHECK_TARGET_DEPENDENCY(bld, target):
58     cache = LOCAL_CACHE(bld, 'LIB_DEPS')
59     return FULL_DEPENDENCIES(bld, cache, target, { target:True }, target)
60
61 ############################################################
62 # check that all dependencies have been declared
63 def CHECK_DEPENDENCIES(bld):
64     cache = LOCAL_CACHE(bld, 'LIB_DEPS')
65     target_cache = LOCAL_CACHE(bld, 'TARGET_TYPE')
66     debug('deps: Checking dependencies')
67     for t in cache:
68         deps = CHECK_TARGET_DEPENDENCY(bld, t)
69         for d in deps:
70             #if not d in target_cache:
71             #    print "WARNING: Dependency '%s' of target '%s' not declared" % (d, t)
72             ASSERT(bld, d in target_cache,
73                    "Dependency '%s' of target '%s' not declared" % (d, t))
74     debug("deps: Dependencies checked for %u targets" % len(target_cache))
75 Build.BuildContext.CHECK_DEPENDENCIES = CHECK_DEPENDENCIES
76
77
78 ############################################################
79 # pre-declare a target as being of a particular type
80 def PREDECLARE(bld, target, type):
81     cache = LOCAL_CACHE(bld, 'PREDECLARED_TARGET')
82     target_cache = LOCAL_CACHE(bld, 'TARGET_TYPE')
83     ASSERT(bld, not target in target_cache, "Target '%s' is already declared" % target)
84     ASSERT(bld, not target in cache, "Target '%s' already predeclared" % target)
85     cache[target] = type
86 Build.BuildContext.PREDECLARE = PREDECLARE
87
88
89
90 ################################################################
91 # add to the dependency list. Return a new dependency list with
92 # any circular dependencies removed
93 # returns a tuple containing (systemdeps, localdeps, add_objects)
94 def ADD_DEPENDENCIES(bld, name, deps):
95     debug('deps: Calculating dependencies for %s' % name)
96     lib_deps = LOCAL_CACHE(bld, 'LIB_DEPS')
97     if not name in lib_deps:
98         lib_deps[name] = {}
99     list = to_list(deps)
100     list2 = []
101     for d in list:
102         lib_deps[name][d] = True;
103         try:
104             CHECK_TARGET_DEPENDENCY(bld, name)
105             list2.append(d)
106         except AssertionError:
107             sys.stderr.write("Removing dependency %s from target %s\n" % (d, name))
108             del(lib_deps[name][d])
109
110     target_cache = LOCAL_CACHE(bld, 'TARGET_TYPE')
111
112     # extract out the system dependencies
113     sysdeps = []
114     localdeps = []
115     add_objects = []
116     cache = LOCAL_CACHE(bld, 'EMPTY_TARGETS')
117     predeclare = LOCAL_CACHE(bld, 'PREDECLARED_TARGET')
118     for d in list2:
119         recurse = False
120         # strip out any dependencies on empty libraries
121         if d in cache:
122             debug("deps: Removing empty dependency '%s' from '%s'" % (d, name))
123             continue
124         type = None
125
126         if d in target_cache:
127             type = target_cache[d]
128         elif d in predeclare:
129             type = predeclare[d]
130         else:
131             type = 'SUBSYSTEM'
132             LOCAL_CACHE_SET(bld, 'ASSUMED_TARGET', d, type)
133
134         if type == 'SYSLIB':
135             sysdeps.append(d)
136         elif type == 'LIBRARY':
137             localdeps.append(d)
138         elif type == 'SUBSYSTEM':
139             add_objects.append(d)
140             recurse = True
141         elif type == 'MODULE':
142             add_objects.append(d)
143             recurse = True
144         elif type == 'PYTHON':
145             pass
146         elif type == 'ASN1':
147             pass
148         elif type == 'BINARY':
149             pass
150         else:
151             ASSERT(bld, False, "Unknown target type '%s' for dependency %s" % (
152                     type, d))
153
154         # for some types we have to build the list recursively
155         if recurse and (d in lib_deps):
156             rec_deps = ' '.join(lib_deps[d].keys())
157             (rec_sysdeps, rec_localdeps, rec_add_objects) = ADD_DEPENDENCIES(bld, d, rec_deps)
158             sysdeps.extend(to_list(rec_sysdeps))
159             localdeps.extend(to_list(rec_localdeps))
160             add_objects.extend(to_list(rec_add_objects))
161
162     debug('deps: Dependencies for %s: sysdeps: %u  localdeps: %u  add_objects=%u' % (
163             name, len(sysdeps), len(localdeps), len(add_objects)))
164     return (' '.join(sysdeps), ' '.join(localdeps), ' '.join(add_objects))
165
166
167 #################################################################
168 # return a include list for a set of library dependencies
169 def SAMBA_LIBRARY_INCLUDE_LIST(bld, deps):
170     ret = bld.curdir + ' '
171     cache = LOCAL_CACHE(bld, 'INCLUDE_LIST')
172     for l in to_list(deps):
173         if l in cache:
174             ret = ret + cache[l] + ' '
175     if 'EXTRA_INCLUDES' in bld.env:
176         ret += ' ' + ' '.join(bld.env['EXTRA_INCLUDES'])
177     return ret
178 Build.BuildContext.SAMBA_LIBRARY_INCLUDE_LIST = SAMBA_LIBRARY_INCLUDE_LIST
179
180 #################################################################
181 # define a Samba library
182 def SAMBA_LIBRARY(bld, libname, source,
183                   deps='',
184                   public_deps='',
185                   includes='.',
186                   public_headers=None,
187                   vnum=None,
188                   cflags='',
189                   output_type=None,
190                   realname=None,
191                   autoproto=None,
192                   group='main',
193                   depends_on=''):
194     if not SET_TARGET_TYPE(bld, libname, 'LIBRARY'):
195         return
196
197     # remember empty libraries, so we can strip the dependencies
198     if (source == '') or (source == []):
199         LOCAL_CACHE_SET(bld, 'EMPTY_TARGETS', libname, True)
200         return
201
202     (sysdeps, localdeps, add_objects) = ADD_DEPENDENCIES(bld, libname, deps)
203
204     ilist = includes + ' ' + bld.SAMBA_LIBRARY_INCLUDE_LIST(deps)
205     ilist = bld.NORMPATH(ilist)
206
207     # this print below should show that we're runnig this code
208     bld.SET_BUILD_GROUP(group)   # <- here
209     bld(
210         features = 'cc cshlib',
211         source = source,
212         target=libname,
213         uselib_local = localdeps,
214         uselib = sysdeps,
215         add_objects = add_objects,
216         ccflags = CURRENT_CFLAGS(bld, cflags),
217         includes=ilist + ' . #',
218         depends_on=depends_on,
219         vnum=vnum)
220
221     # I have to set it each time? I expect it to be still
222     # set from the few lines above
223
224     # put a link to the library in bin/shared
225     soext=""
226     if vnum is not None:
227         soext = '.' + vnum.split('.')[0]
228
229     t = bld(
230         source = 'lib%s.so' % libname,
231         rule = 'ln -sf ../${SRC}%s %s/lib%s.so%s' % (soext, LIB_PATH, libname, soext),
232 #        rule = 'ln -sf ../%s.so%s %s/lib%s.so%s' % (libname, soext, LIB_PATH, libname, soext),
233         shell = True,
234         after = 'cc_link',
235         always = True,
236         name = 'fff' + libname,
237         )
238     #print t.rule
239     LOCAL_CACHE_SET(bld, 'INCLUDE_LIST', libname, ilist)
240
241 Build.BuildContext.SAMBA_LIBRARY = SAMBA_LIBRARY
242
243 #################################################################
244 # define a Samba binary
245 def SAMBA_BINARY(bld, binname, source,
246                  deps='',
247                  includes='',
248                  public_headers=None,
249                  modules=None,
250                  installdir=None,
251                  ldflags=None,
252                  cflags='',
253                  autoproto=None,
254                  use_hostcc=None,
255                  compiler=None,
256                  group='main',
257                  manpages=None):
258     ilist = includes + ' ' + bld.SAMBA_LIBRARY_INCLUDE_LIST(deps)
259     ilist = bld.NORMPATH(ilist)
260
261     if not SET_TARGET_TYPE(bld, binname, 'BINARY'):
262         return
263
264     (sysdeps, localdeps, add_objects) = ADD_DEPENDENCIES(bld, binname, deps)
265
266     cache = LOCAL_CACHE(bld, 'INIT_FUNCTIONS')
267     if modules is not None:
268         for m in to_list(modules):
269             bld.ASSERT(m in cache,
270                        "No init_function defined for module '%s' in binary '%s'" % (m, binname))
271             cflags += ' -DSTATIC_%s_MODULES="%s"' % (m, cache[m])
272
273     bld.SET_BUILD_GROUP(group)
274     bld(
275         features = 'cc cprogram',
276         source = source,
277         target = binname,
278         uselib_local = localdeps,
279         uselib = sysdeps,
280         includes = ilist + ' . #',
281         ccflags = CURRENT_CFLAGS(bld, cflags),
282         add_objects = add_objects,
283         top=True)
284
285     if not Options.is_install:
286         bld(
287             source = binname,
288             rule = 'rm -f %s && cp ${SRC} .' % (binname),
289             shell = True,
290             after = 'cc_link',
291             always = True,
292             ext_in = '.bin',
293             name = binname + ".copy",
294             depends_on = binname
295             )
296 Build.BuildContext.SAMBA_BINARY = SAMBA_BINARY
297
298
299 #################################################################
300 # define a Samba python module
301 def SAMBA_PYTHON(bld, name, source,
302                  deps='',
303                  public_deps='',
304                  realname=''):
305
306     if not SET_TARGET_TYPE(bld, name, 'PYTHON'):
307         return
308
309     (sysdeps, localdeps, add_objects) = ADD_DEPENDENCIES(bld, name, deps)
310
311     return
312 Build.BuildContext.SAMBA_PYTHON = SAMBA_PYTHON
313
314 #################################################################
315 # define a Samba ET target
316 def SAMBA_ERRTABLE(bld, name, source,
317                options='',
318                directory=''):
319 #    print "Skipping ERRTABLE rule for %s with source=%s" % (name, source)
320 #    return
321     if not SET_TARGET_TYPE(bld, name, 'ET'):
322         return
323     bld.SET_BUILD_GROUP('build_source')
324     bld(
325         features = 'cc',
326         source   = source,
327         target   = name,
328         includes = '# #source4/heimdal_build #source4 #lib/replace'
329     )
330 Build.BuildContext.SAMBA_ERRTABLE = SAMBA_ERRTABLE
331
332 #################################################################
333 # define a Samba module.
334 def SAMBA_MODULE(bld, modname, source,
335                  deps='',
336                  includes='.',
337                  subsystem=None,
338                  init_function=None,
339                  autoproto=None,
340                  aliases=None,
341                  cflags='',
342                  output_type=None):
343
344     if not SET_TARGET_TYPE(bld, modname, 'MODULE'):
345         return
346
347     # remember empty modules, so we can strip the dependencies
348     if (source == '') or (source == []):
349         LOCAL_CACHE_SET(bld, 'EMPTY_TARGETS', modname, True)
350         return
351
352     (sysdeps, localdeps, add_objects) = ADD_DEPENDENCIES(bld, modname, deps)
353
354     ilist = includes + ' ' + bld.SAMBA_LIBRARY_INCLUDE_LIST(deps)
355     ilist = bld.NORMPATH(ilist)
356     bld.SET_BUILD_GROUP('main')
357     bld(
358         features = 'cc',
359         source = source,
360         target=modname,
361         ccflags = CURRENT_CFLAGS(bld, cflags),
362         includes=ilist + ' . #')
363 Build.BuildContext.SAMBA_MODULE = SAMBA_MODULE
364
365
366 #################################################################
367 # define a Samba subsystem
368 def SAMBA_SUBSYSTEM(bld, modname, source,
369                     deps='',
370                     public_deps='',
371                     includes='.',
372                     public_headers=None,
373                     cflags='',
374                     group='main',
375                     config_option=None,
376                     init_function_sentinal=None,
377                     heimdal_autoproto=None,
378                     heimdal_autoproto_private=None,
379                     autoproto=None,
380                     depends_on=''):
381
382     if not SET_TARGET_TYPE(bld, modname, 'SUBSYSTEM'):
383         return
384
385     # if the caller specifies a config_option, then we create a blank
386     # subsystem if that configuration option was found at configure time
387     if (config_option is not None) and bld.CONFIG_SET(config_option):
388             source = ''
389
390     # remember empty subsystems, so we can strip the dependencies
391     if (source == '') or (source == []):
392         LOCAL_CACHE_SET(bld, 'EMPTY_TARGETS', modname, True)
393         return
394
395     (sysdeps, localdeps, add_objects) = ADD_DEPENDENCIES(bld, modname, deps)
396
397     ilist = includes + ' ' + bld.SAMBA_LIBRARY_INCLUDE_LIST(deps)
398     ilist = bld.NORMPATH(ilist)
399     bld.SET_BUILD_GROUP(group)
400     t = bld(
401         features = 'cc',
402         source = source,
403         target=modname,
404         ccflags = CURRENT_CFLAGS(bld, cflags),
405         includes=ilist + ' . #',
406         depends_on=depends_on)
407     LOCAL_CACHE_SET(bld, 'INCLUDE_LIST', modname, ilist)
408
409     if heimdal_autoproto is not None:
410         bld.HEIMDAL_AUTOPROTO(heimdal_autoproto, source)
411     if heimdal_autoproto_private is not None:
412         bld.HEIMDAL_AUTOPROTO_PRIVATE(heimdal_autoproto_private, source)
413     if autoproto is not None:
414         bld.SAMBA_AUTOPROTO(autoproto, source)
415     return t
416
417 Build.BuildContext.SAMBA_SUBSYSTEM = SAMBA_SUBSYSTEM
418
419
420 ###############################################################
421 # add a new set of build rules from a subdirectory
422 # the @runonce decorator ensures we don't end up
423 # with duplicate rules
424 def BUILD_SUBDIR(bld, dir):
425     path = os.path.normpath(bld.curdir + '/' + dir)
426     cache = LOCAL_CACHE(bld, 'SUBDIR_LIST')
427     if path in cache: return
428     cache[path] = True
429     debug("build: Processing subdirectory %s" % dir)
430     bld.add_subdirs(dir)
431
432 Build.BuildContext.BUILD_SUBDIR = BUILD_SUBDIR
433
434
435 ##########################################################
436 # add a new top level command to waf
437 def ADD_COMMAND(opt, name, function):
438     Utils.g_module.__dict__[name] = function
439     opt.name = function
440 Options.Handler.ADD_COMMAND = ADD_COMMAND
441
442 ###########################################################
443 # setup build groups used to ensure that the different build
444 # phases happen consecutively
445 @runonce
446 def SETUP_BUILD_GROUPS(bld):
447     bld.p_ln = bld.srcnode # we do want to see all targets!
448     bld.env['USING_BUILD_GROUPS'] = True
449     bld.add_group('setup')
450     bld.add_group('base_libraries')
451     bld.add_group('build_compilers')
452     bld.add_group('build_source')
453     bld.add_group('prototypes')
454     bld.add_group('main')
455     bld.add_group('final')
456 Build.BuildContext.SETUP_BUILD_GROUPS = SETUP_BUILD_GROUPS
457
458
459 ###########################################################
460 # set the current build group
461 def SET_BUILD_GROUP(bld, group):
462     if not 'USING_BUILD_GROUPS' in bld.env:
463         return
464     bld.set_group(group)
465 Build.BuildContext.SET_BUILD_GROUP = SET_BUILD_GROUP
466