s4-test: fixed make test without having done make install
[ira/wip.git] / selftest / selftest.pl
1 #!/usr/bin/perl
2 # Bootstrap Samba and run a number of tests against it.
3 # Copyright (C) 2005-2009 Jelmer Vernooij <jelmer@samba.org>
4 # Copyright (C) 2007-2009 Stefan Metzmacher <metze@samba.org>
5
6 # This program is free software; you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 3 of the License, or
9 # (at your option) any later version.
10
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15
16 # You should have received a copy of the GNU General Public License
17 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
18
19 =pod
20
21 =head1 NAME
22
23 selftest - Samba test runner
24
25 =head1 SYNOPSIS
26
27 selftest --help
28
29 selftest [--srcdir=DIR] [--builddir=DIR] [--exeext=EXT][--target=samba4|samba3|win|kvm] [--socket-wrapper] [--quick] [--exclude=FILE] [--include=FILE] [--one] [--prefix=prefix] [--testlist=FILE] [TESTS]
30
31 =head1 DESCRIPTION
32
33 A simple test runner. TESTS is a regular expression with tests to run.
34
35 =head1 OPTIONS
36
37 =over 4
38
39 =item I<--help>
40
41 Show list of available options.
42
43 =item I<--srcdir=DIR>
44
45 Source directory.
46
47 =item I<--builddir=DIR>
48
49 Build directory.
50
51 =item I<--exeext=EXT>
52
53 Executable extention
54
55 =item I<--prefix=DIR>
56
57 Change directory to run tests in. Default is 'st'.
58
59 =item I<--target samba4|samba3|win|kvm>
60
61 Specify test target against which to run. Default is 'samba4'.
62
63 =item I<--quick>
64
65 Run only a limited number of tests. Intended to run in about 30 seconds on 
66 moderately recent systems.
67                 
68 =item I<--socket-wrapper>
69
70 Use socket wrapper library for communication with server. Only works 
71 when the server is running locally.
72
73 Will prevent TCP and UDP ports being opened on the local host but 
74 (transparently) redirects these calls to use unix domain sockets.
75
76 =item I<--exclude>
77
78 Specify a file containing a list of tests that should be skipped. Possible 
79 candidates are tests that segfault the server, flip or don't end. 
80
81 =item I<--include>
82
83 Specify a file containing a list of tests that should be run. Same format 
84 as the --exclude flag.
85
86 Not includes specified means all tests will be run.
87
88 =item I<--one>
89
90 Abort as soon as one test fails.
91
92 =item I<--testlist>
93
94 Load a list of tests from the specified location.
95
96 =back
97
98 =head1 ENVIRONMENT
99
100 =over 4
101
102 =item I<SMBD_VALGRIND>
103
104 =item I<TORTURE_MAXTIME>
105
106 =item I<VALGRIND>
107
108 =item I<TLS_ENABLED>
109
110 =item I<srcdir>
111
112 =back
113
114 =head1 LICENSE
115
116 selftest is licensed under the GNU General Public License L<http://www.gnu.org/licenses/gpl.html>.
117
118 =head1 AUTHOR
119
120 Jelmer Vernooij
121
122 =cut
123
124 use strict;
125
126 use FindBin qw($RealBin $Script);
127 use File::Spec;
128 use Getopt::Long;
129 use POSIX;
130 use Cwd qw(abs_path);
131 use lib "$RealBin";
132 use Subunit qw(parse_results);
133 use Subunit::Filter;
134 use SocketWrapper;
135
136 my $opt_help = 0;
137 my $opt_target = "samba4";
138 my $opt_quick = 0;
139 my $opt_socket_wrapper = 0;
140 my $opt_socket_wrapper_pcap = undef;
141 my $opt_socket_wrapper_keep_pcap = undef;
142 my $opt_one = 0;
143 my @opt_exclude = ();
144 my @opt_include = ();
145 my $opt_verbose = 0;
146 my $opt_image = undef;
147 my $opt_testenv = 0;
148 my $ldap = undef;
149 my $opt_analyse_cmd = undef;
150 my $opt_resetup_env = undef;
151 my $opt_bindir = undef;
152 my $opt_no_lazy_setup = undef;
153 my @testlists = ();
154
155 my $srcdir = ".";
156 my $builddir = ".";
157 my $exeext = "";
158 my $prefix = "./st";
159
160 my @includes = ();
161 my @excludes = ();
162
163 sub find_in_list($$)
164 {
165         my ($list, $fullname) = @_;
166
167         foreach (@$list) {
168                 if ($fullname =~ /$$_[0]/) {
169                          return ($$_[1]) if ($$_[1]);
170                          return "";
171                 }
172         }
173
174         return undef;
175 }
176
177 sub skip($)
178 {
179         my ($name) = @_;
180
181         return find_in_list(\@excludes, $name);
182 }
183
184 sub getlog_env($);
185
186 sub setup_pcap($)
187 {
188         my ($name) = @_;
189
190         return unless ($opt_socket_wrapper_pcap);
191         return unless defined($ENV{SOCKET_WRAPPER_PCAP_DIR});
192
193         my $fname = $name;
194         $fname =~ s%[^abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\-]%_%g;
195
196         my $pcap_file = "$ENV{SOCKET_WRAPPER_PCAP_DIR}/$fname.pcap";
197
198         SocketWrapper::setup_pcap($pcap_file);
199
200         return $pcap_file;
201 }
202
203 sub cleanup_pcap($$)
204 {
205         my ($pcap_file, $exitcode) = @_;
206
207         return unless ($opt_socket_wrapper_pcap);
208         return if ($opt_socket_wrapper_keep_pcap);
209         return unless ($exitcode == 0);
210         return unless defined($pcap_file);
211
212         unlink($pcap_file);
213 }
214
215 sub run_testsuite($$$$$)
216 {
217         my ($envname, $name, $cmd, $i, $totalsuites) = @_;
218         my $pcap_file = setup_pcap($name);
219
220         Subunit::start_testsuite($name);
221         Subunit::report_time(time());
222
223         open(RESULTS, "$cmd 2>&1|");
224         my $statistics = {
225                 TESTS_UNEXPECTED_OK => 0,
226                 TESTS_EXPECTED_OK => 0,
227                 TESTS_UNEXPECTED_FAIL => 0,
228                 TESTS_EXPECTED_FAIL => 0,
229                 TESTS_ERROR => 0,
230                 TESTS_SKIP => 0,
231         };
232
233         my $msg_ops = new Subunit::Filter("$name\.", []);
234
235         parse_results($msg_ops, $statistics, *RESULTS);
236
237         my $ret = 0;
238
239         unless (close(RESULTS)) {
240                 if ($!) {
241                         Subunit::end_testsuite($name, "error", "Unable to run $cmd: $!");
242                         return 0;
243                 } else {
244                         $ret = $?;
245                 }
246         } 
247
248         if ($ret & 127) {
249                 Subunit::end_testsuite($name, "error", sprintf("Testsuite died with signal %d, %s coredump", ($ret & 127), ($ret & 128) ? "with": "without"));
250                 return 0;
251         }
252         my $envlog = getlog_env($envname);
253         if ($envlog ne "") {
254                 print "envlog: $envlog\n";
255         }
256
257         print "command: $cmd\n";
258
259         my $exitcode = $ret >> 8;
260
261         Subunit::report_time(time());
262         if ($exitcode == 0) {
263                 Subunit::end_testsuite($name, "success");
264         } else {
265                 Subunit::end_testsuite($name, "failure", "Exit code was $exitcode");
266         }
267
268         cleanup_pcap($pcap_file, $exitcode);
269
270         if (not $opt_socket_wrapper_keep_pcap and defined($pcap_file)) {
271                 print "PCAP FILE: $pcap_file\n";
272         }
273
274         if ($exitcode != 0) {
275                 exit(1) if ($opt_one);
276         }
277
278         return $exitcode;
279 }
280
281 sub ShowHelp()
282 {
283         print "Samba test runner
284 Copyright (C) Jelmer Vernooij <jelmer\@samba.org>
285 Copyright (C) Stefan Metzmacher <metze\@samba.org>
286
287 Usage: $Script [OPTIONS] TESTNAME-REGEX
288
289 Generic options:
290  --help                     this help page
291  --target=samba[34]|win|kvm Samba version to target
292  --testlist=FILE            file to read available tests from
293
294 Paths:
295  --prefix=DIR               prefix to run tests in [st]
296  --srcdir=DIR               source directory [.]
297  --builddir=DIR             output directory [.]
298  --exeext=EXT               executable extention []
299
300 Target Specific:
301  --socket-wrapper-pcap      save traffic to pcap directories
302  --socket-wrapper-keep-pcap keep all pcap files, not just those for tests that 
303                             failed
304  --socket-wrapper           enable socket wrapper
305  --bindir=PATH              path to target binaries
306
307 Samba4 Specific:
308  --ldap=openldap|fedora-ds  back samba onto specified ldap server
309
310 Kvm Specific:
311  --image=PATH               path to KVM image
312
313 Behaviour:
314  --quick                    run quick overall test
315  --one                      abort when the first test fails
316  --verbose                  be verbose
317  --analyse-cmd CMD          command to run after each test
318 ";
319         exit(0);
320 }
321
322 my $result = GetOptions (
323                 'help|h|?' => \$opt_help,
324                 'target=s' => \$opt_target,
325                 'prefix=s' => \$prefix,
326                 'socket-wrapper' => \$opt_socket_wrapper,
327                 'socket-wrapper-pcap' => \$opt_socket_wrapper_pcap,
328                 'socket-wrapper-keep-pcap' => \$opt_socket_wrapper_keep_pcap,
329                 'quick' => \$opt_quick,
330                 'one' => \$opt_one,
331                 'exclude=s' => \@opt_exclude,
332                 'include=s' => \@opt_include,
333                 'srcdir=s' => \$srcdir,
334                 'builddir=s' => \$builddir,
335                 'exeext=s' => \$exeext,
336                 'verbose' => \$opt_verbose,
337                 'testenv' => \$opt_testenv,
338                 'ldap:s' => \$ldap,
339                 'analyse-cmd=s' => \$opt_analyse_cmd,
340                 'no-lazy-setup' => \$opt_no_lazy_setup,
341                 'resetup-environment' => \$opt_resetup_env,
342                 'bindir:s' => \$opt_bindir,
343                 'image=s' => \$opt_image,
344                 'testlist=s' => \@testlists
345             );
346
347 exit(1) if (not $result);
348
349 ShowHelp() if ($opt_help);
350
351 # we want unbuffered output
352 $| = 1;
353
354 my @tests = @ARGV;
355
356 # quick hack to disable rpc validation when using valgrind - its way too slow
357 unless (defined($ENV{VALGRIND})) {
358         $ENV{VALIDATE} = "validate";
359         $ENV{MALLOC_CHECK_} = 2;
360 }
361
362 # make all our python scripts unbuffered
363 $ENV{PYTHONUNBUFFERED} = 1;
364
365 my $bindir = ($opt_bindir or "$builddir/bin");
366 my $bindir_abs = abs_path($bindir);
367
368 # Backwards compatibility:
369 if (defined($ENV{TEST_LDAP}) and $ENV{TEST_LDAP} eq "yes") {
370         if (defined($ENV{FEDORA_DS_ROOT})) {
371                 $ldap = "fedora-ds";
372         } else {
373                 $ldap = "openldap";
374         }
375 }
376
377 my $torture_maxtime = ($ENV{TORTURE_MAXTIME} or 1200);
378 if ($ldap) {
379         # LDAP is slow
380         $torture_maxtime *= 2;
381 }
382
383 $prefix =~ s+//+/+;
384 $prefix =~ s+/./+/+;
385 $prefix =~ s+/$++;
386
387 die("using an empty prefix isn't allowed") unless $prefix ne "";
388
389 #Ensure we have the test prefix around
390 mkdir($prefix, 0777) unless -d $prefix;
391
392 my $prefix_abs = abs_path($prefix);
393 my $srcdir_abs = abs_path($srcdir);
394 my $builddir_abs = abs_path($builddir);
395
396 die("using an empty absolute prefix isn't allowed") unless $prefix_abs ne "";
397 die("using '/' as absolute prefix isn't allowed") unless $prefix_abs ne "/";
398
399 $ENV{PREFIX} = $prefix;
400 $ENV{KRB5CCNAME} = "$prefix/krb5ticket";
401 $ENV{PREFIX_ABS} = $prefix_abs;
402 $ENV{SRCDIR} = $srcdir;
403 $ENV{SRCDIR_ABS} = $srcdir_abs;
404 $ENV{BUILDDIR} = $builddir;
405 $ENV{BUILDDIR_ABS} = $builddir_abs;
406 $ENV{EXEEXT} = $exeext;
407
408 my $tls_enabled = not $opt_quick;
409 $ENV{TLS_ENABLED} = ($tls_enabled?"yes":"no");
410 $ENV{LDB_MODULES_PATH} = "$bindir_abs/modules/ldb";
411 $ENV{LD_SAMBA_MODULE_PATH} = "$bindir_abs/modules";
412 sub prefix_pathvar($$)
413 {
414         my ($name, $newpath) = @_;
415         if (defined($ENV{$name})) {
416                 $ENV{$name} = "$newpath:$ENV{$name}";
417         } else {
418                 $ENV{$name} = $newpath;
419         }
420 }
421 prefix_pathvar("PKG_CONFIG_PATH", "$bindir_abs/pkgconfig");
422 prefix_pathvar("PYTHONPATH", "$bindir_abs/python");
423
424 if ($opt_socket_wrapper_keep_pcap) {
425         # Socket wrapper keep pcap implies socket wrapper pcap
426         $opt_socket_wrapper_pcap = 1;
427 }
428
429 if ($opt_socket_wrapper_pcap) {
430         # Socket wrapper pcap implies socket wrapper
431         $opt_socket_wrapper = 1;
432 }
433
434 my $socket_wrapper_dir;
435 if ($opt_socket_wrapper) {
436         $socket_wrapper_dir = SocketWrapper::setup_dir("$prefix/w", $opt_socket_wrapper_pcap);
437         print "SOCKET_WRAPPER_DIR=$socket_wrapper_dir\n";
438 } else {
439          unless ($< == 0) { 
440                  print "WARNING: Not using socket wrapper, but also not running as root. Will not be able to listen on proper ports\n";
441          }
442 }
443
444 my $target;
445 my $testenv_default = "none";
446
447 if ($opt_target eq "samba4") {
448         $testenv_default = "member";
449         require target::Samba4;
450         $target = new Samba4($bindir, $ldap, "$srcdir/setup", $exeext);
451 } elsif ($opt_target eq "samba3") {
452         if ($opt_socket_wrapper and `$bindir/smbd -b | grep SOCKET_WRAPPER` eq "") {
453                 die("You must include --enable-socket-wrapper when compiling Samba in order to execute 'make test'.  Exiting....");
454         }
455         $testenv_default = "member";
456         require target::Samba3;
457         $target = new Samba3($bindir);
458 } elsif ($opt_target eq "win") {
459         die("Windows tests will not run with socket wrapper enabled.") 
460                 if ($opt_socket_wrapper);
461         $testenv_default = "dc";
462         require target::Windows;
463         $target = new Windows();
464 } elsif ($opt_target eq "kvm") {
465         die("Kvm tests will not run with socket wrapper enabled.") 
466                 if ($opt_socket_wrapper);
467         require target::Kvm;
468         die("No image specified") unless ($opt_image);
469         $target = new Kvm($opt_image, undef);
470 }
471
472 #
473 # Start a Virtual Distributed Ethernet Switch
474 # Returns the pid of the switch.
475 #
476 sub start_vde_switch($)
477 {
478         my ($path) = @_;
479
480         system("vde_switch --pidfile $path/vde.pid --sock $path/vde.sock --daemon");
481
482         open(PID, "$path/vde.pid");
483         <PID> =~ /([0-9]+)/;
484         my $pid = $1;
485         close(PID);
486
487         return $pid;
488 }
489
490 # Stop a Virtual Distributed Ethernet Switch
491 sub stop_vde_switch($)
492 {
493         my ($pid) = @_;
494         kill 9, $pid;
495 }
496
497 sub read_test_regexes($)
498 {
499         my ($name) = @_;
500         my @ret = ();
501         open(LF, "<$name") or die("unable to read $name: $!");
502         while (<LF>) { 
503                 chomp; 
504                 next if (/^#/);
505                 if (/^(.*?)([ \t]+)\#([\t ]*)(.*?)$/) {
506                         push (@ret, [$1, $4]);
507                 } else {
508                         s/^(.*?)([ \t]+)\#([\t ]*)(.*?)$//;
509                         push (@ret, [$_, undef]); 
510                 }
511         }
512         close(LF);
513         return @ret;
514 }
515
516 foreach (@opt_exclude) {
517         push (@excludes, read_test_regexes($_));
518 }
519
520 foreach (@opt_include) {
521         push (@includes, read_test_regexes($_));
522 }
523
524 my $interfaces = join(',', ("127.0.0.6/8", 
525                             "127.0.0.7/8",
526                             "127.0.0.8/8",
527                             "127.0.0.9/8",
528                             "127.0.0.10/8",
529                             "127.0.0.11/8"));
530
531 my $conffile = "$prefix_abs/client/client.conf";
532 $ENV{SMB_CONF_PATH} = $conffile;
533
534 sub write_clientconf($$)
535 {
536         my ($conffile, $vars) = @_;
537
538         mkdir("$prefix/client", 0777) unless -d "$prefix/client";
539         
540         if ( -d "$prefix/client/private" ) {
541                 unlink <$prefix/client/private/*>;
542         } else {
543                 mkdir("$prefix/client/private", 0777);
544         }
545
546         if ( -d "$prefix/client/lockdir" ) {
547                 unlink <$prefix/client/lockdir/*>;
548         } else {
549                 mkdir("$prefix/client/lockdir", 0777);
550         }
551
552         if ( -d "$prefix_abs/client/ncalrpcdir" ) {
553                 unlink <$prefix/client/ncalrpcdir/*>;
554         } else {
555                 mkdir("$prefix/client/ncalrpcdir", 0777);
556         }
557
558         open(CF, ">$conffile");
559         print CF "[global]\n";
560         if (defined($ENV{VALGRIND})) {
561                 print CF "\ticonv:native = true\n";
562         } else {
563                 print CF "\ticonv:native = false\n";
564         }
565         print CF "\tnetbios name = client\n";
566         if (defined($vars->{DOMAIN})) {
567                 print CF "\tworkgroup = $vars->{DOMAIN}\n";
568         }
569         if (defined($vars->{REALM})) {
570                 print CF "\trealm = $vars->{REALM}\n";
571         }
572         if ($opt_socket_wrapper) {
573                 print CF "\tinterfaces = $interfaces\n";
574         }
575         print CF "
576         private dir = $prefix_abs/client/private
577         lock dir = $prefix_abs/client/lockdir
578         ncalrpc dir = $prefix_abs/client/ncalrpcdir
579         name resolve order = bcast
580         panic action = $RealBin/gdb_backtrace \%PID\% \%PROG\%
581         max xmit = 32K
582         notify:inotify = false
583         ldb:nosync = true
584         system:anonymous = true
585         client lanman auth = Yes
586         torture:basedir = $prefix_abs/client
587 #We don't want to pass our self-tests if the PAC code is wrong
588         gensec:require_pac = true
589         modules dir = $ENV{LD_SAMBA_MODULE_PATH}
590         setup directory = ./setup
591 ";
592         close(CF);
593 }
594
595 my @todo = ();
596
597 my $testsdir = "$srcdir/selftest";
598
599 my %required_envs = ();
600
601 sub should_run_test($)
602 {
603         my $name = shift;
604         if ($#tests == -1) {
605                 return 1;
606         }
607         for (my $i=0; $i <= $#tests; $i++) {
608                 if ($name =~ /$tests[$i]/i) {
609                         return 1;
610                 }
611         }
612         return 0;
613 }
614
615 sub read_testlist($)
616 {
617         my ($filename) = @_;
618
619         my @ret = ();
620         open(IN, $filename) or die("Unable to open $filename: $!");
621
622         while (<IN>) {
623                 if ($_ eq "-- TEST --\n") {
624                         my $name = <IN>;
625                         $name =~ s/\n//g;
626                         my $env = <IN>;
627                         $env =~ s/\n//g;
628                         my $cmdline = <IN>;
629                         $cmdline =~ s/\n//g;
630                         if (should_run_test($name) == 1) {
631                                 $required_envs{$env} = 1;
632                                 push (@ret, [$name, $env, $cmdline]);
633                         }
634                 } else {
635                         print;
636                 }
637         }
638         close(IN) or die("Error creating recipe");
639         return @ret;
640 }
641
642 if ($#testlists == -1) {
643         die("No testlists specified");
644 }
645
646 $ENV{SELFTEST_PREFIX} = "$prefix_abs";
647 if ($opt_socket_wrapper) {
648         $ENV{SELFTEST_INTERFACES} = $interfaces;
649 } else {
650         $ENV{SELFTEST_INTERFACES} = "";
651 }
652 if ($opt_verbose) {
653         $ENV{SELFTEST_VERBOSE} = "1";
654 } else {
655         $ENV{SELFTEST_VERBOSE} = "";
656 }
657 if ($opt_quick) {
658         $ENV{SELFTEST_QUICK} = "1";
659 } else {
660         $ENV{SELFTEST_QUICK} = "";
661 }
662 $ENV{SELFTEST_TARGET} = $opt_target;
663 $ENV{SELFTEST_MAXTIME} = $torture_maxtime;
664
665 my @available = ();
666 foreach my $fn (@testlists) {
667         foreach (read_testlist($fn)) {
668                 my $name = $$_[0];
669                 next if (@includes and not defined(find_in_list(\@includes, $name)));
670                 push (@available, $_);
671         }
672 }
673
674 Subunit::testsuite_count($#available+1);
675 Subunit::report_time(time());
676
677 foreach (@available) {
678         my $name = $$_[0];
679         my $skipreason = skip($name);
680         if (defined($skipreason)) {
681                 Subunit::skip_testsuite($name, $skipreason);
682         } else {
683                 push(@todo, $_); 
684         }
685 }
686
687 if ($#todo == -1) {
688         print STDERR "No tests to run\n";
689         exit(1);
690         }
691
692 my $suitestotal = $#todo + 1;
693 my $i = 0;
694 $| = 1;
695
696 my %running_envs = ();
697
698 sub get_running_env($)
699 {
700         my ($name) = @_;
701
702         my $envname = $name;
703
704         $envname =~ s/:.*//;
705
706         return $running_envs{$envname};
707 }
708
709 my @exported_envvars = (
710         # domain stuff
711         "DOMAIN",
712         "REALM",
713
714         # domain controller stuff
715         "DC_SERVER",
716         "DC_SERVER_IP",
717         "DC_NETBIOSNAME",
718         "DC_NETBIOSALIAS",
719
720         # server stuff
721         "SERVER",
722         "SERVER_IP",
723         "NETBIOSNAME",
724         "NETBIOSALIAS",
725
726         # user stuff
727         "USERNAME",
728         "PASSWORD",
729         "DC_USERNAME",
730         "DC_PASSWORD",
731
732         # misc stuff
733         "KRB5_CONFIG",
734         "WINBINDD_SOCKET_DIR",
735         "WINBINDD_PRIV_PIPE_DIR"
736 );
737
738 $SIG{INT} = $SIG{QUIT} = $SIG{TERM} = sub { 
739         my $signame = shift;
740         teardown_env($_) foreach(keys %running_envs);
741         die("Received signal $signame");
742 };
743
744 sub setup_env($)
745 {
746         my ($name) = @_;
747
748         my $testenv_vars = undef;
749
750         my $envname = $name;
751         my $option = $name;
752
753         $envname =~ s/:.*//;
754         $option =~ s/^[^:]*//;
755         $option =~ s/^://;
756
757         $option = "client" if $option eq "";
758
759         if ($envname eq "none") {
760                 $testenv_vars = {};
761         } elsif (defined(get_running_env($envname))) {
762                 $testenv_vars = get_running_env($envname);
763                 if (not $target->check_env($testenv_vars)) {
764                         $testenv_vars = undef;
765                 }
766         } else {
767                 $testenv_vars = $target->setup_env($envname, $prefix);
768         }
769
770         return undef unless defined($testenv_vars);
771
772         $running_envs{$envname} = $testenv_vars;
773
774         if ($option eq "local") {
775                 SocketWrapper::set_default_iface($testenv_vars->{SOCKET_WRAPPER_DEFAULT_IFACE});
776                 $ENV{SMB_CONF_PATH} = $testenv_vars->{SERVERCONFFILE};
777         } elsif ($option eq "client") {
778                 SocketWrapper::set_default_iface(6);
779                 write_clientconf($conffile, $testenv_vars);
780                 $ENV{SMB_CONF_PATH} = $conffile;
781         } else {
782                 die("Unknown option[$option] for envname[$envname]");
783         }
784
785         foreach (@exported_envvars) {
786                 if (defined($testenv_vars->{$_})) {
787                         $ENV{$_} = $testenv_vars->{$_};
788                 } else {
789                         delete $ENV{$_};
790                 }
791         }
792
793         return $testenv_vars;
794 }
795
796 sub exported_envvars_str($)
797 {
798         my ($testenv_vars) = @_;
799         my $out = "";
800
801         foreach (@exported_envvars) {
802                 next unless defined($testenv_vars->{$_});
803                 $out .= $_."=".$testenv_vars->{$_}."\n";
804         }
805
806         return $out;
807 }
808
809 sub getlog_env($)
810 {
811         my ($envname) = @_;
812         return "" if ($envname eq "none");
813         return $target->getlog_env(get_running_env($envname));
814 }
815
816 sub check_env($)
817 {
818         my ($envname) = @_;
819         return 1 if ($envname eq "none");
820         return $target->check_env(get_running_env($envname));
821 }
822
823 sub teardown_env($)
824 {
825         my ($envname) = @_;
826         return if ($envname eq "none");
827         $target->teardown_env(get_running_env($envname));
828         delete $running_envs{$envname};
829 }
830
831 if ($opt_no_lazy_setup) {
832         setup_env($_) foreach (keys %required_envs);
833 }
834
835 if ($opt_testenv) {
836         my $testenv_name = $ENV{SELFTEST_TESTENV};
837         $testenv_name = $testenv_default unless defined($testenv_name);
838
839         my $testenv_vars = setup_env($testenv_name);
840
841         $ENV{PIDDIR} = $testenv_vars->{PIDDIR};
842
843         my $envvarstr = exported_envvars_str($testenv_vars);
844
845         my $term = ($ENV{TERMINAL} or "xterm");
846         system("$term -e 'echo -e \"
847 Welcome to the Samba4 Test environment '$testenv_name'
848
849 This matches the client environment used in make test
850 server is pid `cat \$PIDDIR/samba.pid`
851
852 Some useful environment variables:
853 TORTURE_OPTIONS=\$TORTURE_OPTIONS
854 SMB_CONF_PATH=\$SMB_CONF_PATH
855
856 $envvarstr
857 \" && LD_LIBRARY_PATH=$ENV{LD_LIBRARY_PATH} bash'");
858         teardown_env($testenv_name);
859 } else {
860         foreach (@todo) {
861                 $i++;
862                 my $cmd = $$_[2];
863                 $cmd =~ s/([\(\)])/\\$1/g;
864                 my $name = $$_[0];
865                 my $envname = $$_[1];
866                 
867                 my $envvars = setup_env($envname);
868                 if (not defined($envvars)) {
869                         Subunit::skip_testsuite($name, 
870                                 "unable to set up environment $envname");
871                         next;
872                 }
873
874                 run_testsuite($envname, $name, $cmd, $i, $suitestotal);
875
876                 if (defined($opt_analyse_cmd)) {
877                         system("$opt_analyse_cmd \"$name\"");
878                 }
879
880                 teardown_env($envname) if ($opt_resetup_env);
881         }
882 }
883
884 print "\n";
885
886 teardown_env($_) foreach (keys %running_envs);
887
888 $target->stop();
889
890 my $failed = 0;
891
892 # if there were any valgrind failures, show them
893 foreach (<$prefix/valgrind.log*>) {
894         next unless (-s $_);
895         print "VALGRIND FAILURE\n";
896         $failed++;
897         system("cat $_");
898 }
899 exit 0;