selftest: Show filename or script we had trouble reading
[samba.git] / selftest / selftest.pl
index 462517271bf69983366e1b50eccaa9791bb2ad20..f35b063b016094d841296650dabcaf0e05aacabe 100755 (executable)
 # You should have received a copy of the GNU General Public License
 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
 
-=pod
-
-=head1 NAME
-
-selftest - Samba test runner
-
-=head1 SYNOPSIS
-
-selftest --help
-
-selftest [--srcdir=DIR] [--bindir=DIR] [--target=samba|samba3|win] [--socket-wrapper] [--quick] [--exclude=FILE] [--include=FILE] [--one] [--prefix=prefix] [--testlist=FILE] [TESTS]
-
-=head1 DESCRIPTION
-
-A simple test runner. TESTS is a regular expression with tests to run.
-
-=head1 OPTIONS
-
-=over 4
-
-=item I<--help>
-
-Show list of available options.
-
-=item I<--srcdir=DIR>
-
-Source directory.
-
-=item I<--bindir=DIR>
-
-Built binaries directory.
-
-=item I<--prefix=DIR>
-
-Change directory to run tests in. Default is 'st'.
-
-=item I<--target samba|samba3|win>
-
-Specify test target against which to run. Default is 'samba4'.
-
-=item I<--quick>
-
-Run only a limited number of tests. Intended to run in about 30 seconds on 
-moderately recent systems.
-               
-=item I<--socket-wrapper>
-
-Use socket wrapper library for communication with server. Only works 
-when the server is running locally.
-
-Will prevent TCP and UDP ports being opened on the local host but 
-(transparently) redirects these calls to use unix domain sockets.
-
-=item I<--exclude>
-
-Specify a file containing a list of tests that should be skipped. Possible 
-candidates are tests that segfault the server, flip or don't end. 
-
-=item I<--include>
-
-Specify a file containing a list of tests that should be run. Same format 
-as the --exclude flag.
-
-Not includes specified means all tests will be run.
-
-=item I<--one>
-
-Abort as soon as one test fails.
-
-=item I<--testlist>
-
-Load a list of tests from the specified location.
-
-=back
-
-=head1 ENVIRONMENT
-
-=over 4
-
-=item I<SMBD_VALGRIND>
-
-=item I<TORTURE_MAXTIME>
-
-=item I<VALGRIND>
-
-=item I<TLS_ENABLED>
-
-=item I<srcdir>
-
-=back
-
-=head1 LICENSE
-
-selftest is licensed under the GNU General Public License L<http://www.gnu.org/licenses/gpl.html>.
-
-=head1 AUTHOR
-
-Jelmer Vernooij
-
-=cut
-
 use strict;
 
 use FindBin qw($RealBin $Script);
@@ -143,16 +42,19 @@ my $opt_quick = 0;
 my $opt_socket_wrapper = 0;
 my $opt_socket_wrapper_pcap = undef;
 my $opt_socket_wrapper_keep_pcap = undef;
+my $opt_random_order = 0;
 my $opt_one = 0;
 my @opt_exclude = ();
 my @opt_include = ();
-my $opt_verbose = 0;
 my $opt_testenv = 0;
 my $opt_list = 0;
 my $ldap = undef;
 my $opt_resetup_env = undef;
 my $opt_binary_mapping = "";
 my $opt_load_list = undef;
+my $opt_libnss_wrapper_so_path = "";
+my $opt_libsocket_wrapper_so_path = "";
+my $opt_libuid_wrapper_so_path = "";
 my @testlists = ();
 
 my $srcdir = ".";
@@ -162,14 +64,6 @@ my $prefix = "./st";
 my @includes = ();
 my @excludes = ();
 
-sub pipe_handler {
-       my $sig = shift @_;
-       print STDERR "Exiting early because of SIGPIPE.\n";
-       exit(1);
-}
-
-$SIG{PIPE} = \&pipe_handler;
-
 sub find_in_list($$)
 {
        my ($list, $fullname) = @_;
@@ -302,6 +196,11 @@ Paths:
  --srcdir=DIR               source directory [.]
  --bindir=DIR               binaries directory [./bin]
 
+Preload cwrap:
+ --nss_wrapper_so_path=FILE the nss_wrapper library to preload
+ --socket_wrapper_so_path=FILE the socket_wrapper library to preload
+ --uid_wrapper_so_path=FILE the uid_wrapper library to preload
+
 Target Specific:
  --socket-wrapper-pcap      save traffic to pcap directories
  --socket-wrapper-keep-pcap keep all pcap files, not just those for tests that 
@@ -314,7 +213,6 @@ Samba4 Specific:
 Behaviour:
  --quick                    run quick overall test
  --one                      abort when the first test fails
- --verbose                  be verbose
  --testenv                  run a shell in the requested test environment
  --list                     list available tests
 ";
@@ -334,14 +232,17 @@ my $result = GetOptions (
                'include=s' => \@opt_include,
                'srcdir=s' => \$srcdir,
                'bindir=s' => \$bindir,
-               'verbose' => \$opt_verbose,
                'testenv' => \$opt_testenv,
                'list' => \$opt_list,
                'ldap:s' => \$ldap,
                'resetup-environment' => \$opt_resetup_env,
                'testlist=s' => \@testlists,
+               'random-order' => \$opt_random_order,
                'load-list=s' => \$opt_load_list,
-                'binary-mapping=s' => \$opt_binary_mapping
+               'binary-mapping=s' => \$opt_binary_mapping,
+               'nss_wrapper_so_path=s' => \$opt_libnss_wrapper_so_path,
+               'socket_wrapper_so_path=s' => \$opt_libsocket_wrapper_so_path,
+               'uid_wrapper_so_path=s' => \$opt_libuid_wrapper_so_path
            );
 
 exit(1) if (not $result);
@@ -358,7 +259,7 @@ my @tests = @ARGV;
 # quick hack to disable rpc validation when using valgrind - its way too slow
 unless (defined($ENV{VALGRIND})) {
        $ENV{VALIDATE} = "validate";
-       $ENV{MALLOC_CHECK_} = 2;
+       $ENV{MALLOC_CHECK_} = 3;
 }
 
 # make all our python scripts unbuffered
@@ -437,6 +338,44 @@ if ($opt_socket_wrapper_pcap) {
        $opt_socket_wrapper = 1;
 }
 
+my $ld_preload = $ENV{LD_PRELOAD};
+
+if ($opt_libnss_wrapper_so_path) {
+       if ($ld_preload) {
+               $ld_preload = "$ld_preload:$opt_libnss_wrapper_so_path";
+       } else {
+               $ld_preload = "$opt_libnss_wrapper_so_path";
+       }
+}
+
+if ($opt_libsocket_wrapper_so_path) {
+       if ($ld_preload) {
+               $ld_preload = "$ld_preload:$opt_libsocket_wrapper_so_path";
+       } else {
+               $ld_preload = "$opt_libsocket_wrapper_so_path";
+       }
+}
+
+if ($opt_libuid_wrapper_so_path) {
+       if ($ld_preload) {
+               $ld_preload = "$ld_preload:$opt_libuid_wrapper_so_path";
+       } else {
+               $ld_preload = "$opt_libuid_wrapper_so_path";
+       }
+}
+
+$ENV{LD_PRELOAD} = $ld_preload;
+print "LD_PRELOAD=$ENV{LD_PRELOAD}\n";
+
+# Enable uid_wrapper globally
+$ENV{UID_WRAPPER} = 1;
+
+# Disable RTLD_DEEPBIND hack for Samba bind dlz module
+#
+# This is needed in order to allow the ldb_*ldap module
+# to work with a preloaded socket wrapper.
+$ENV{LDB_MODULES_DISABLE_DEEPBIND} = 1;
+
 my $socket_wrapper_dir;
 if ($opt_socket_wrapper) {
        $socket_wrapper_dir = SocketWrapper::setup_dir("$prefix_abs/w", $opt_socket_wrapper_pcap);
@@ -472,53 +411,16 @@ if (defined($ENV{SMBD_MAXTIME}) and $ENV{SMBD_MAXTIME} ne "") {
 
 unless ($opt_list) {
        if ($opt_target eq "samba") {
-               if ($opt_socket_wrapper and `$bindir/smbd -b | grep SOCKET_WRAPPER` eq "") {
-                       die("You must include --enable-socket-wrapper when compiling Samba in order to execute 'make test'.  Exiting....");
-               }
                $testenv_default = "dc";
                require target::Samba;
                $target = new Samba($bindir, \%binary_mapping, $ldap, $srcdir, $server_maxtime);
        } elsif ($opt_target eq "samba3") {
-               if ($opt_socket_wrapper and `$bindir/smbd -b | grep SOCKET_WRAPPER` eq "") {
-                       die("You must include --enable-socket-wrapper when compiling Samba in order to execute 'make test'.  Exiting....");
-               }
                $testenv_default = "member";
                require target::Samba3;
                $target = new Samba3($bindir, \%binary_mapping, $srcdir_abs, $server_maxtime);
-       } elsif ($opt_target eq "win") {
-               die("Windows tests will not run with socket wrapper enabled.") 
-                       if ($opt_socket_wrapper);
-               $testenv_default = "dc";
-               require target::Windows;
-               $target = new Windows();
        }
 }
 
-#
-# Start a Virtual Distributed Ethernet Switch
-# Returns the pid of the switch.
-#
-sub start_vde_switch($)
-{
-       my ($path) = @_;
-
-       system("vde_switch --pidfile $path/vde.pid --sock $path/vde.sock --daemon");
-
-       open(PID, "$path/vde.pid");
-       <PID> =~ /([0-9]+)/;
-       my $pid = $1;
-       close(PID);
-
-       return $pid;
-}
-
-# Stop a Virtual Distributed Ethernet Switch
-sub stop_vde_switch($)
-{
-       my ($pid) = @_;
-       kill 9, $pid;
-}
-
 sub read_test_regexes($)
 {
        my ($name) = @_;
@@ -635,6 +537,7 @@ sub write_clientconf($$$)
        resolv:host file = $prefix_abs/dns_host_file
 #We don't want to run 'speed' tests for very long
         torture:timelimit = 1
+        winbind separator = /
 ";
        close(CF);
 }
@@ -679,7 +582,7 @@ sub read_testlist($)
                        print;
                }
        }
-       close(IN) or die("Error creating recipe");
+       close(IN) or die("Error creating recipe from $filename");
        return @ret;
 }
 
@@ -695,11 +598,6 @@ if ($opt_socket_wrapper) {
 } else {
        $ENV{SELFTEST_INTERFACES} = "";
 }
-if ($opt_verbose) {
-       $ENV{SELFTEST_VERBOSE} = "1";
-} else {
-       $ENV{SELFTEST_VERBOSE} = "";
-}
 if ($opt_quick) {
        $ENV{SELFTEST_QUICK} = "1";
 } else {
@@ -809,30 +707,41 @@ my @exported_envvars = (
        # domain controller stuff
        "DC_SERVER",
        "DC_SERVER_IP",
+       "DC_SERVER_IPV6",
        "DC_NETBIOSNAME",
        "DC_NETBIOSALIAS",
 
        # domain member
        "MEMBER_SERVER",
        "MEMBER_SERVER_IP",
+       "MEMBER_SERVER_IPV6",
        "MEMBER_NETBIOSNAME",
        "MEMBER_NETBIOSALIAS",
 
        # rpc proxy controller stuff
        "RPC_PROXY_SERVER",
        "RPC_PROXY_SERVER_IP",
+       "RPC_PROXY_SERVER_IPV6",
        "RPC_PROXY_NETBIOSNAME",
        "RPC_PROXY_NETBIOSALIAS",
 
        # domain controller stuff for Vampired DC
        "VAMPIRE_DC_SERVER",
        "VAMPIRE_DC_SERVER_IP",
+       "VAMPIRE_DC_SERVER_IPV6",
        "VAMPIRE_DC_NETBIOSNAME",
        "VAMPIRE_DC_NETBIOSALIAS",
 
+       "PROMOTED_DC_SERVER",
+       "PROMOTED_DC_SERVER_IP",
+       "PROMOTED_DC_SERVER_IPV6",
+       "PROMOTED_DC_NETBIOSNAME",
+       "PROMOTED_DC_NETBIOSALIAS",
+
        # server stuff
        "SERVER",
        "SERVER_IP",
+       "SERVER_IPV6",
        "NETBIOSNAME",
        "NETBIOSALIAS",
 
@@ -845,18 +754,38 @@ my @exported_envvars = (
 
        # misc stuff
        "KRB5_CONFIG",
-       "WINBINDD_SOCKET_DIR",
+       "SELFTEST_WINBINDD_SOCKET_DIR",
        "WINBINDD_PRIV_PIPE_DIR",
        "NMBD_SOCKET_DIR",
-       "LOCAL_PATH"
+       "LOCAL_PATH",
+
+        # nss_wrapper
+        "NSS_WRAPPER_PASSWD",
+        "NSS_WRAPPER_GROUP",
+
+        # UID/GID for rfc2307 mapping tests
+        "UID_RFC2307TEST",
+        "GID_RFC2307TEST"
 );
 
-$SIG{INT} = $SIG{QUIT} = $SIG{TERM} = sub { 
+sub sighandler($)
+{
        my $signame = shift;
+
+       $SIG{INT} = $SIG{QUIT} = $SIG{TERM} = 'DEFAULT';
+       $SIG{PIPE} = 'IGNORE';
+
+       open(STDOUT, ">&STDERR") or die "can't dup STDOUT to STDERR: $!";
+
+       print "$0: PID[$$]: Got SIG${signame} teardown environments.\n";
        teardown_env($_) foreach(keys %running_envs);
-       die("Received signal $signame");
+       system("pstree -p $$");
+       print "$0: PID[$$]: Exiting...\n";
+       exit(1);
 };
 
+$SIG{INT} = $SIG{QUIT} = $SIG{TERM} = $SIG{PIPE} = \&sighandler;
+
 sub setup_env($$)
 {
        my ($name, $prefix) = @_;
@@ -888,7 +817,7 @@ sub setup_env($$)
                        $testenv_vars->{target} = $target;
                }
                if (not defined($testenv_vars)) {
-                       warn("$opt_target can't provide environment '$envname'");
+                       warn("$opt_target can't start up known environment '$envname'");
                }
        }
 
@@ -952,6 +881,7 @@ sub teardown_env($)
 {
        my ($envname) = @_;
        return if ($envname eq "none");
+       print STDERR "teardown_env($envname)\n";
        my $env = get_running_env($envname);
        $env->{target}->teardown_env($env);
        delete $running_envs{$envname};
@@ -959,6 +889,13 @@ sub teardown_env($)
 
 # This 'global' file needs to be empty when we start
 unlink("$prefix_abs/dns_host_file");
+unlink("$prefix_abs/hosts");
+
+if ($opt_random_order) {
+       require List::Util;
+       my @newtodo = List::Util::shuffle(@todo);
+       @todo = @newtodo;
+}
 
 if ($opt_testenv) {
        my $testenv_name = $ENV{SELFTEST_TESTENV};
@@ -966,15 +903,16 @@ if ($opt_testenv) {
 
        my $testenv_vars = setup_env($testenv_name, $prefix);
 
-       die("Unable to setup environment $testenv_name") unless ($testenv_vars);
+       if (not $testenv_vars or $testenv_vars eq "UNKNOWN") {
+               die("Unable to setup environment $testenv_name");
+       }
 
        $ENV{PIDDIR} = $testenv_vars->{PIDDIR};
        $ENV{ENVNAME} = $testenv_name;
 
        my $envvarstr = exported_envvars_str($testenv_vars);
 
-       my $term = ($ENV{TERMINAL} or "xterm -e");
-       system("$term 'echo -e \"
+       my @term_args = ("echo -e \"
 Welcome to the Samba4 Test environment '$testenv_name'
 
 This matches the client environment used in make test
@@ -985,7 +923,17 @@ TORTURE_OPTIONS=\$TORTURE_OPTIONS
 SMB_CONF_PATH=\$SMB_CONF_PATH
 
 $envvarstr
-\" && LD_LIBRARY_PATH=$ENV{LD_LIBRARY_PATH} bash'");
+\" && LD_LIBRARY_PATH=$ENV{LD_LIBRARY_PATH} bash");
+       my @term = ();
+       if ($ENV{TERMINAL}) {
+           @term = ($ENV{TERMINAL});
+       } else {
+           @term = ("xterm", "-e");
+           unshift(@term_args, ("bash", "-c"));
+       }
+
+       system(@term, @term_args);
+
        teardown_env($testenv_name);
 } elsif ($opt_list) {
        foreach (@todo) {
@@ -1005,7 +953,7 @@ $envvarstr
                if ($? == -1) {
                        die("Unable to run $cmd: $!");
                } elsif ($? & 127) {
-                       die(snprintf("%s died with signal %d, %s coredump\n", $cmd, ($? & 127),  ($? & 128) ? 'with' : 'without'));
+                       die(sprintf("%s died with signal %d, %s coredump\n", $cmd, ($? & 127),  ($? & 128) ? 'with' : 'without'));
                }
 
                my $exitcode = $? >> 8;