Skip running a C program during cross compilation
[samba.git] / buildtools / wafsamba / wscript
index 82011a8da1bc0348a91ba08c274eaa577ededee7..93af81f1eca58c701779f904ba11c495a4b35bc1 100644 (file)
@@ -5,9 +5,13 @@
 import os, sys
 from waflib import Configure, Logs, Options, Utils, Context, Errors
 import wafsamba
-from samba_utils import os_path_relpath
+from samba_utils import symlink
 from optparse import SUPPRESS_HELP
 
+phs = os.environ.get("PYTHONHASHSEED", None)
+if phs != "1":
+    raise Errors.WafError('''PYTHONHASHSEED=1 missing! Don't use waf directly, use ./configure and make!''')
+
 # this forces configure to be re-run if any of the configure
 # sections of the build scripts change. We have to check
 # for this in sys.argv as options have not yet been parsed when
@@ -30,11 +34,37 @@ def options(opt):
     gr = opt.option_group('library handling options')
 
     gr.add_option('--bundled-libraries',
-                   help=("comma separated list of bundled libraries. May include !LIBNAME to disable bundling a library. Can be 'NONE' or 'ALL' [auto]"),
+                   help=(f'''comma separated list of bundled libraries.
+
+{Context.g_module.APPNAME} includes copies of externally maintained
+system libraries (such as popt, cmokca) as well as Samba-maintained
+libraries that can be found on the system already (such as talloc,
+tdb).
+
+This option, most useful for packagers, controls if each library
+should be forced to be obtained from inside Samba (bundled), forced to
+be obtained from the system (bundling disabled, ensuing that
+dependency errors are not silently missed) or if that choice should be
+automatic (best for end users).
+
+May include !LIBNAME to disable bundling a library.
+
+Can be 'NONE' or 'ALL' [auto]'''),
                    action="store", dest='BUNDLED_LIBS', default='')
 
     gr.add_option('--private-libraries',
-                   help=("comma separated list of normally public libraries to build instead as private libraries. May include !LIBNAME to disable making a library private. Can be 'NONE' or 'ALL' [auto]"),
+                   help=(f'''comma separated list of normally public libraries to build instead as private libraries.
+
+By default {Context.g_module.APPNAME} will publish a number of public
+libraries for use by other software.  For Samba this would include
+libwbclient, libsmbclient and others.
+
+This allows that to be disabled, to ensure that other software does
+not use these libraries and they are placed in a private filesystem
+prefix.
+
+May include !LIBNAME to disable making a library private in order to
+limit the effect of 'ALL' '''),
                    action="store", dest='PRIVATE_LIBS', default='')
 
     extension_default = default_value('PRIVATE_EXTENSION_DEFAULT')
@@ -48,12 +78,33 @@ def options(opt):
                    action="store", dest='PRIVATE_EXTENSION_EXCEPTION', default=extension_exception)
 
     builtin_default = default_value('BUILTIN_LIBRARIES_DEFAULT')
-    gr.add_option('--builtin-libraries',
-                   help=("command separated list of libraries to build directly into binaries [%s]" % builtin_default),
-                   action="store", dest='BUILTIN_LIBRARIES', default=builtin_default)
+    gr.add_option('--builtin-libraries', help=(
+f'''comma separated list of libraries to build directly into binaries.
+
+By default {Context.g_module.APPNAME} will build a large number of
+shared libraries, to reduce binary size.  This overrides this
+behaviour and essentially statically links the specified libraries into
+each binary [{builtin_default}]'''),
+                  action="store",
+                  dest='BUILTIN_LIBRARIES', default=builtin_default)
 
     gr.add_option('--minimum-library-version',
-                   help=("list of minimum system library versions (LIBNAME1:version,LIBNAME2:version)"),
+                   help=(
+f'''list of minimum system library versions for otherwise bundled
+libraries.
+
+{Context.g_module.APPNAME} by default requires that, in order to match
+what is tested in our continuous integration (CI) test-suite, that the
+versions of libraries that we include match that found on the system,
+before we will select not to 'bundle'.
+
+This option, possibly useful for packagers, allows that specified
+version to be overridden (say, if it is absolutely known that a the
+newer version included in this tarball has no relevant changes).
+
+Use this with extreme care
+
+(LIBNAME1:version,LIBNAME2:version)'''),
                    action="store", dest='MINIMUM_LIBRARY_VERSION', default='')
 
     gr.add_option('--disable-rpath',
@@ -66,7 +117,13 @@ def options(opt):
                    help=("Disable use of rpath for private library path in installed files"),
                    action="store_true", dest='disable_rpath_private_install', default=False)
     gr.add_option('--nonshared-binary',
-                   help=("Disable use of shared libs for the listed binaries"),
+                   help=(
+f'''Disable use of shared libaries internal to {Context.g_module.APPNAME} for the listed binaries.
+
+The resulting binaries are 'statically linked' with regard to components provided by
+{Context.g_module.APPNAME}, but remain dynamically linked to (eg) libc.so and libgnutls.so
+
+Currently the only tested value is 'smbtorture,smbd/smbd' for Samba'''),
                    action="store", dest='NONSHARED_BINARIES', default='')
     gr.add_option('--disable-symbol-versions',
                    help=("Disable use of the --version-script linker option"),
@@ -91,7 +148,7 @@ def options(opt):
     gr = opt.option_group('developer options')
 
     gr.add_option('-C',
-                   help='enable configure cacheing',
+                   help='enable configure caching',
                    action='store_true', dest='enable_configure_cache')
     gr.add_option('--enable-auto-reconfigure',
                    help='enable automatic reconfigure on build',
@@ -102,13 +159,16 @@ def options(opt):
     gr.add_option('--enable-developer',
                    help=("Turn on developer warnings and debugging"),
                    action="store_true", dest='developer', default=False)
-    def picky_developer_callback(option, opt_str, value, parser):
-        parser.values.developer = True
-        parser.values.picky_developer = True
-    gr.add_option('--picky-developer',
-                   help=("Treat all warnings as errors (enable -Werror)"),
-                   action="callback", callback=picky_developer_callback,
-                   dest='picky_developer', default=False)
+    gr.add_option('--pidl-developer',
+                   help=("annotate PIDL-generated code for developers"),
+                   action="store_true", dest='pidl_developer', default=False)
+    gr.add_option('--disable-warnings-as-errors',
+                   help=("Do not treat all warnings as errors (disable -Werror)"),
+                   action="store_true", dest='disable_warnings_as_errors', default=False)
+    opt.add_option('--enable-coverage',
+                   help=("enable options necessary for code coverage "
+                         "reporting on selftest (default=no)"),
+                   action="store_true", dest='enable_coverage', default=False)
     gr.add_option('--fatal-errors',
                    help=("Stop compilation on first error (enable -Wfatal-errors)"),
                    action="store_true", dest='fatal_errors', default=False)
@@ -124,6 +184,29 @@ def options(opt):
     gr.add_option('--address-sanitizer',
                    help=("Enable address sanitizer compile and linker flags"),
                    action="store_true", dest='address_sanitizer', default=False)
+    gr.add_option('--undefined-sanitizer',
+        help=("Enable undefined behaviour sanitizer compile and linker flags"),
+        action="store_true",
+        dest='undefined_sanitizer',
+        default=False)
+    gr.add_option('--memory-sanitizer',
+        help=("Enable memory behaviour sanitizer compile and linker flags"),
+        action="store_true",
+        dest='memory_sanitizer',
+        default=False)
+    gr.add_option('--enable-libfuzzer',
+                  help=("Build fuzzing binaries (use ADDITIONAL_CFLAGS to specify compiler options for libFuzzer or use CC=honggfuzz/hfuzz-cc)"),
+                  action="store_true", dest='enable_libfuzzer', default=False)
+    gr.add_option('--enable-afl-fuzzer',
+                  help=("Build fuzzing binaries AFL-style (typically use with CC=afl-gcc)"),
+                  action="store_true", dest='enable_afl_fuzzer', default=False)
+
+    # Fuzz targets may need additional LDFLAGS that we can't use on
+    # internal binaries like asn1_compile
+
+    gr.add_option('--fuzz-target-ldflags',
+                  help=("Linker flags to be used when building fuzz targets"),
+                  action="store", dest='FUZZ_TARGET_LDFLAGS', default='')
 
     gr.add_option('--abi-check',
                   help=("Check ABI signatures for libraries"),
@@ -203,12 +286,6 @@ def options(opt):
                     help='do not generate python modules',
                     action='store_true', dest='disable_python', default=False)
 
-    opt.add_option('--extra-python', type=str,
-                    help=("build selected libraries for the specified "
-                          "additional version of Python "
-                          "(example: --extra-python=/usr/bin/python3)"),
-                    metavar="PYTHON", dest='EXTRA_PYTHON', default=None)
-
 
 @Utils.run_once
 def configure(conf):
@@ -254,6 +331,8 @@ def configure(conf):
 
     conf.env.PRIVATE_EXTENSION = Options.options.PRIVATE_EXTENSION
     conf.env.PRIVATE_EXTENSION_EXCEPTION = Options.options.PRIVATE_EXTENSION_EXCEPTION.split(',')
+    conf.env.PRIVATE_VERSION = "%s_%s_%s" % (Context.g_module.APPNAME,
+        Context.g_module.VERSION, conf.env.PRIVATE_EXTENSION)
 
     conf.env.CROSS_COMPILE = Options.options.CROSS_COMPILE
     conf.env.CROSS_EXECUTE = Options.options.CROSS_EXECUTE
@@ -266,12 +345,6 @@ def configure(conf):
 
     conf.env.disable_python = Options.options.disable_python
 
-    conf.env.EXTRA_PYTHON = Options.options.EXTRA_PYTHON
-
-    if (conf.env.disable_python and conf.env.EXTRA_PYTHON):
-        Logs.error('ERROR: cannot specify both --disable-python and --extra-python.')
-        sys.exit(1)
-
     if (conf.env.AUTOCONF_HOST and
         conf.env.AUTOCONF_BUILD and
         conf.env.AUTOCONF_BUILD != conf.env.AUTOCONF_HOST):
@@ -290,6 +363,13 @@ def configure(conf):
     except:
         conf.env.ABI_CHECK = False
 
+    conf.env.enable_coverage = Options.options.enable_coverage
+    if conf.env.enable_coverage:
+        conf.ADD_LDFLAGS('-lgcov', testflags=True)
+        conf.ADD_CFLAGS('--coverage', testflags=True)
+        # disable abi check for coverage, otherwise ld will fail
+        conf.env.ABI_CHECK = False
+
     conf.env.GIT_LOCAL_CHANGES = Options.options.GIT_LOCAL_CHANGES
 
     conf.CHECK_UNAME()
@@ -298,7 +378,7 @@ def configure(conf):
     conf.CHECK_CODE('printf("hello world")',
                     define='HAVE_SIMPLE_C_PROG',
                     mandatory=True,
-                    execute=True,
+                    execute=not conf.env.CROSS_COMPILE,
                     headers='stdio.h',
                     msg='Checking simple C program')
 
@@ -315,7 +395,9 @@ def configure(conf):
             break
 
     # check which compiler/linker flags are needed for rpath support
-    if not conf.CHECK_LDFLAGS(['-Wl,-rpath,.']) and conf.CHECK_LDFLAGS(['-Wl,-R,.']):
+    if conf.CHECK_LDFLAGS(['-Wl,-rpath,.']):
+        conf.env['RPATH_ST'] = '-Wl,-rpath,%s'
+    elif conf.CHECK_LDFLAGS(['-Wl,-R,.']):
         conf.env['RPATH_ST'] = '-Wl,-R,%s'
 
     # check for rpath
@@ -373,7 +455,26 @@ def configure(conf):
             strict=True,
             msg='Checking for library constructor support')
 
-        # check HAVE_DESTRUCTOR_ATTRIBUTE
+    # check HAVE_PRAGMA_INIT alternatively
+    if not conf.env.HAVE_CONSTRUCTOR_ATTRIBUTE:
+           conf.CHECK_CODE('''
+                #pragma init (test_init)
+
+                void test_init(void)
+                {
+                    return;
+                }
+
+                int main(void) {
+                    return 0;
+                }
+                ''',
+                'HAVE_PRAGMA_INIT',
+                addmain=False,
+                strict=True,
+                msg='Checking for pragma init support')
+
+    # check HAVE_DESTRUCTOR_ATTRIBUTE
     conf.CHECK_CODE('''
             void test_destructor_attribute(void) __attribute__ ((destructor));
 
@@ -391,6 +492,25 @@ def configure(conf):
             strict=True,
             msg='Checking for library destructor support')
 
+    # check HAVE_PRAGMA_FINI alternatively
+    if not conf.env.HAVE_DESTRUCTOR_ATTRIBUTE:
+           conf.CHECK_CODE('''
+                #pragma fini (test_fini)
+
+                void test_fini(void)
+                {
+                    return;
+                }
+
+                int main(void) {
+                    return 0;
+                }
+                ''',
+                'HAVE_PRAGMA_FINI',
+                addmain=False,
+                strict=True,
+                msg='Checking for pragma fini support')
+
     conf.CHECK_CODE('''
             void test_attribute(void) __attribute__ (());
 
@@ -408,6 +528,10 @@ def configure(conf):
             strict=True,
             msg='Checking for __attribute__')
 
+    # Solaris by defauls uses draft versions of some functions unless you set _POSIX_PTHREAD_SEMANTICS
+    if sys.platform.startswith('sunos'):
+        conf.DEFINE('_POSIX_PTHREAD_SEMANTICS', 1)
+
     if sys.platform.startswith('aix'):
         conf.DEFINE('_ALL_SOURCE', 1, add_to_cflags=True)
         # Might not be needed if ALL_SOURCE is defined
@@ -449,7 +573,7 @@ def configure(conf):
     # See memset_s() details here:
     # https://en.cppreference.com/w/c/string/byte/memset
     #
-    if conf.CHECK_CFLAGS(['-D__STDC_WANT_LIB_EXT1__=1'] + conf.env.WERROR_CFLAGS):
+    if conf.CHECK_CFLAGS(['-D__STDC_WANT_LIB_EXT1__=1']):
         conf.ADD_CFLAGS('-D__STDC_WANT_LIB_EXT1__=1')
 
     # on Tru64 certain features are only available with _OSF_SOURCE set to 1
@@ -479,7 +603,10 @@ struct foo bar = { .y = 'X', .x = 1 };
     conf.CHECK_HEADERS('strings.h inttypes.h stdint.h unistd.h minix/config.h', add_headers=True)
     conf.CHECK_HEADERS('ctype.h', add_headers=True)
 
-    if sys.platform != 'darwin':
+    if sys.platform == 'darwin':
+        conf.DEFINE('_DARWIN_C_SOURCE', 1, add_to_cflags=True)
+        conf.DEFINE('_DARWIN_UNLIMITED_GETGROUPS', 1, add_to_cflags=True)
+    else:
         conf.CHECK_HEADERS('standards.h', add_headers=True)
 
     conf.CHECK_HEADERS('stdbool.h stdint.h stdarg.h vararg.h', add_headers=True)
@@ -588,6 +715,20 @@ struct foo bar = { .y = 'X', .x = 1 };
                     eprintf("bla", "bar")
                     ''', define='HAVE__VA_ARGS__MACRO')
 
+    conf.env.enable_fuzzing = False
+
+    conf.env.enable_libfuzzer = Options.options.enable_libfuzzer
+    conf.env.enable_afl_fuzzer = Options.options.enable_afl_fuzzer
+    if conf.env.enable_libfuzzer or conf.env.enable_afl_fuzzer:
+        conf.env.enable_fuzzing = True
+        conf.DEFINE('FUZZING_BUILD_MODE_UNSAFE_FOR_PRODUCTION', 1)
+        conf.env.FUZZ_TARGET_LDFLAGS = Options.options.FUZZ_TARGET_LDFLAGS
+
+    # Create a symlink of the compile db for clangd
+    symlink(os.path.join(conf.bldnode.abspath(), 'default/compile_commands.json'),
+            os.path.join(conf.srcnode.abspath(), 'compile_commands.json'),
+            force=True)
+
     conf.SAMBA_BUILD_ENV()
 
 
@@ -595,7 +736,7 @@ def build(bld):
     # give a more useful message if the source directory has moved
     curdir = bld.path.abspath()
     srcdir = bld.srcnode.abspath()
-    relpath = os_path_relpath(curdir, srcdir)
+    relpath = os.path.relpath(curdir, srcdir)
     if relpath.find('../') != -1:
         Logs.error('bld.path %s is not a child of %s' % (curdir, srcdir))
         raise Errors.WafError('''The top source directory has moved. Please run distclean and reconfigure''')