selftest/knownfail: samba*.smb2.oplock.stream1 doesn't work
[nivanova/samba-autobuild/.git] / selftest / selftest.py
1 #!/usr/bin/python -u
2 # Bootstrap Samba and run a number of tests against it.
3 # Copyright (C) 2005-2012 Jelmer Vernooij <jelmer@samba.org>
4 # Copyright (C) 2007-2009 Stefan Metzmacher <metze@samba.org>
5
6 # This program is free software; you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 3 of the License, or
9 # (at your option) any later version.
10
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15
16 # You should have received a copy of the GNU General Public License
17 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
18
19 import atexit
20 from cStringIO import StringIO
21 import os
22 import sys
23 import signal
24 import subprocess
25 import subunit
26 import traceback
27 import warnings
28
29 import optparse
30
31 sys.path.insert(0, os.path.dirname(os.path.dirname(__file__)))
32
33 from selftest import (
34     socket_wrapper,
35     subunithelper,
36     testlist,
37     )
38 from selftest.client import write_clientconf
39 from selftest.run import (
40     expand_command_list,
41     expand_command_run,
42     exported_envvars_str,
43     now,
44     run_testsuite_command,
45     )
46 from selftest.target import (
47     EnvironmentManager,
48     NoneTarget,
49     UnsupportedEnvironment,
50     )
51
52 includes = ()
53 excludes = ()
54
55 def read_excludes(fn):
56     excludes.extend(testlist.read_test_regexes(fn))
57
58 def read_includes(fn):
59     includes.extend(testlist.read_test_regexes(fn))
60
61 parser = optparse.OptionParser("TEST-REGEXES")
62 parser.add_option("--target", type="choice", choices=["samba", "samba3", "none"], default="samba", help="Samba version to target")
63 parser.add_option("--quick", help="run quick overall test", action="store_true", default=False)
64 parser.add_option("--list", help="list available tests", action="store_true", default=False)
65 parser.add_option("--socket-wrapper", help="enable socket wrapper", action="store_true", default=False)
66 parser.add_option("--socket-wrapper-pcap", help="save traffic to pcap directories", type="str")
67 parser.add_option("--socket-wrapper-keep-pcap", help="keep all pcap files, not just those for tests that failed", action="store_true", default=False)
68 parser.add_option("--one", help="abort when the first test fails", action="store_true", default=False)
69 parser.add_option("--exclude", action="callback", help="Add file to exclude files", callback=read_excludes)
70 parser.add_option("--include", action="callback", help="Add file to include files", callback=read_includes)
71 parser.add_option("--testenv", help="run a shell in the requested test environment", action="store_true", default=False)
72 parser.add_option("--resetup-environment", help="Re-setup environment", action="store_true", default=False)
73 parser.add_option("--binary-mapping", help="Map binaries to use", type=str)
74 parser.add_option("--load-list", help="Load list of tests to load from a file", type=str)
75 parser.add_option("--prefix", help="prefix to run tests in", type=str, default="./st")
76 parser.add_option("--srcdir", type=str, default=".", help="source directory")
77 parser.add_option("--bindir", type=str, default="./bin", help="binaries directory")
78 parser.add_option("--testlist", type=str, action="append", help="file to read available tests from")
79 parser.add_option("--ldap", help="back samba onto specified ldap server", choices=["openldap", "fedora-ds"], type="choice")
80
81 opts, args = parser.parse_args()
82
83 subunit_ops = subunithelper.SubunitOps(sys.stdout)
84
85 def handle_signal(sig, frame):
86     sys.stderr.write("Exiting early because of signal %s.\n" % sig)
87     sys.exit(1)
88
89 for sig in (signal.SIGINT, signal.SIGQUIT, signal.SIGTERm, signal.SIGPIPE):
90     signal.signal(sig, handle_signal)
91
92 def skip(name):
93     return testlist.find_in_list(excludes, name)
94
95 def setup_pcap(name):
96     if (not opts.socket_wrapper_pcap or
97         not os.environ.get("SOCKET_WRAPPER_PCAP_DIR")):
98         return
99
100     fname = "".join([x for x in name if x.isalnum() or x == '-'])
101
102     pcap_file = os.path.join(
103         os.environ["SOCKET_WRAPPER_PCAP_DIR"], "%s.pcap" % fname)
104
105     socket_wrapper.setup_pcap(pcap_file)
106     return pcap_file
107
108
109 def cleanup_pcap(pcap_file, exit_code):
110     if not opts.socket_wrapper_pcap:
111         return
112     if opts.socket_wrapper_keep_pcap:
113         return
114     if exitcode == 0:
115         return
116     if pcap_file is None:
117         return
118
119     os.unlink(pcap_file)
120
121
122 def run_testsuite(name, cmd, subunit_ops, env=None):
123     """Run a single testsuite.
124
125     :param env: Environment to run in
126     :param name: Name of the testsuite
127     :param cmd: Name of the (fully expanded) command to run
128     :return: exitcode of the command
129     """
130     pcap_file = setup_pcap(name)
131
132     exitcode = run_testsuite_command(name, cmd, subunit_ops, env)
133     if exitcode is None:
134         sys.exit(1)
135
136     cleanup_pcap(pcap_file, exitcode)
137
138     if not opts.socket_wrapper_keep_pcap and pcap_file is not None:
139         sys.stdout.write("PCAP FILE: %s\n" % pcap_file)
140
141     if exitcode != 0 and opts.one:
142         sys.exit(1)
143
144     return exitcode
145
146
147 if opts.list and opts.testenv:
148     sys.stderr.write("--list and --testenv are mutually exclusive\n")
149     sys.exit(1)
150
151 tests = args
152
153 # quick hack to disable rpc validation when using valgrind - it is way too slow
154 if not os.environ.get("VALGRIND"):
155     os.environ["VALIDATE"] = "validate"
156     os.environ["MALLOC_CHECK_"] = "2"
157
158 # make all our python scripts unbuffered
159 os.environ["PYTHONUNBUFFERED"] = "1"
160
161 bindir_abs = os.path.abspath(opts.bindir)
162
163 # Backwards compatibility:
164 if os.environ.get("TEST_LDAP") == "yes":
165     if os.environ.get("FEDORA_DS_ROOT"):
166         ldap = "fedora-ds"
167     else:
168         ldap = "openldap"
169
170 torture_maxtime = int(os.getenv("TORTURE_MAXTIME", "1200"))
171 if opts.ldap:
172     # LDAP is slow
173     torture_maxtime *= 2
174
175 prefix = os.path.normpath(opts.prefix)
176
177 # Ensure we have the test prefix around.
178 #
179 # We need restrictive permissions on this as some subdirectories in this tree
180 # will have wider permissions (ie 0777) and this would allow other users on the
181 # host to subvert the test process.
182 if not os.path.isdir(prefix):
183     os.mkdir(prefix, 0700)
184 else:
185     os.chmod(prefix, 0700)
186
187 prefix_abs = os.path.abspath(prefix)
188 tmpdir_abs = os.path.abspath(os.path.join(prefix_abs, "tmp"))
189 if not os.path.isdir(tmpdir_abs):
190     os.mkdir(tmpdir_abs, 0777)
191
192 srcdir_abs = os.path.abspath(opts.srcdir)
193
194 if prefix_abs == "/":
195     raise Exception("using '/' as absolute prefix is a bad idea")
196
197 os.environ["PREFIX"] = prefix
198 os.environ["KRB5CCNAME"] = os.path.join(prefix, "krb5ticket")
199 os.environ["PREFIX_ABS"] = prefix_abs
200 os.environ["SRCDIR"] = opts.srcdir
201 os.environ["SRCDIR_ABS"] = srcdir_abs
202 os.environ["BINDIR"] = bindir_abs
203
204 tls_enabled = not opts.quick
205 if tls_enabled:
206     os.environ["TLS_ENABLED"] = "yes"
207 else:
208     os.environ["TLS_ENABLED"] = "no"
209
210 def prefix_pathvar(name, newpath):
211     if name in os.environ:
212         os.environ[name] = "%s:%s" % (newpath, os.environ[name])
213     else:
214         os.environ[name] = newpath
215 prefix_pathvar("PKG_CONFIG_PATH", os.path.join(bindir_abs, "pkgconfig"))
216 prefix_pathvar("PYTHONPATH", os.path.join(bindir_abs, "python"))
217
218 if opts.socket_wrapper_keep_pcap:
219     # Socket wrapper keep pcap implies socket wrapper pcap
220     opts.socket_wrapper_pcap = True
221
222 if opts.socket_wrapper_pcap:
223     # Socket wrapper pcap implies socket wrapper
224     opts.socket_wrapper = True
225
226 if opts.socket_wrapper:
227     socket_wrapper_dir = socket_wrapper.setup_dir(os.path.join(prefix_abs, "w"), opts.socket_wrapper_pcap)
228     sys.stdout.write("SOCKET_WRAPPER_DIR=%s\n" % socket_wrapper_dir)
229 elif not opts.list:
230     if os.getuid() != 0:
231         warnings.warn("not using socket wrapper, but also not running as root. Will not be able to listen on proper ports")
232
233 testenv_default = "none"
234
235 if opts.binary_mapping:
236     binary_mapping = dict([l.split(":") for l in opts.binary_mapping.split(",")])
237     os.environ["BINARY_MAPPING"] = opts.binary_mapping
238 else:
239     binary_mapping = {}
240     os.environ["BINARY_MAPPING"] = ""
241
242 # After this many seconds, the server will self-terminate.  All tests
243 # must terminate in this time, and testenv will only stay alive this
244 # long
245
246 if os.environ.get("SMBD_MAXTIME", ""):
247     server_maxtime = int(os.environ["SMBD_MAXTIME"])
248 else:
249     server_maxtime = 7500
250
251
252 def has_socket_wrapper(bindir):
253     """Check if Samba has been built with socket wrapper support.
254     """
255     f = StringIO()
256     subprocess.check_call([os.path.join(bindir, "smbd"), "-b"], stdout=f)
257     for l in f.readlines():
258         if "SOCKET_WRAPPER" in l:
259             return True
260     return False
261
262
263 if not opts.list:
264     if opts.target == "samba":
265         if opts.socket_wrapper and not has_socket_wrapper(opts.bindir):
266             sys.stderr.write("You must include --enable-socket-wrapper when compiling Samba in order to execute 'make test'.  Exiting....\n")
267             sys.exit(1)
268         testenv_default = "dc"
269         from selftest.target.samba import Samba
270         target = Samba(opts.bindir, binary_mapping, ldap, opts.srcdir, server_maxtime)
271     elif opts.target == "samba3":
272         if opts.socket_wrapper and not has_socket_wrapper(opts.bindir):
273             sys.stderr.write("You must include --enable-socket-wrapper when compiling Samba in order to execute 'make test'.  Exiting....\n")
274             sys.exit(1)
275         testenv_default = "member"
276         from selftest.target.samba3 import Samba3
277         target = Samba3(opts.bindir, binary_mapping, srcdir_abs, server_maxtime)
278     elif opts.target == "none":
279         testenv_default = "none"
280         target = NoneTarget()
281
282     env_manager = EnvironmentManager(target)
283     atexit.register(env_manager.teardown_all)
284
285 interfaces = ",".join([
286     "127.0.0.11/8",
287     "127.0.0.12/8",
288     "127.0.0.13/8",
289     "127.0.0.14/8",
290     "127.0.0.15/8",
291     "127.0.0.16/8"])
292
293 clientdir = os.path.join(prefix_abs, "client")
294
295 conffile = os.path.join(clientdir, "client.conf")
296 os.environ["SMB_CONF_PATH"] = conffile
297
298 todo = []
299
300 if not opts.testlist:
301     sys.stderr.write("No testlists specified\n")
302     sys.exit(1)
303
304 os.environ["SELFTEST_PREFIX"] = prefix_abs
305 os.environ["SELFTEST_TMPDIR"] = tmpdir_abs
306 os.environ["TEST_DATA_PREFIX"] = tmpdir_abs
307 if opts.socket_wrapper:
308     os.environ["SELFTEST_INTERFACES"] = interfaces
309 else:
310     os.environ["SELFTEST_INTERFACES"] = ""
311 if opts.quick:
312     os.environ["SELFTEST_QUICK"] = "1"
313 else:
314     os.environ["SELFTEST_QUICK"] = ""
315 os.environ["SELFTEST_MAXTIME"] = str(torture_maxtime)
316
317
318 available = []
319 for fn in opts.testlist:
320     for testsuite in testlist.read_testlist_file(fn):
321         if not testlist.should_run_test(tests, testsuite):
322             continue
323         name = testsuite[0]
324         if (includes is not None and
325             testlist.find_in_list(includes, name) is not None):
326             continue
327         available.append(testsuite)
328
329 if opts.load_list:
330     restricted_mgr = testlist.RestrictedTestManager.from_path(opts.load_list)
331 else:
332     restricted_mgr = None
333
334 for testsuite in available:
335     name = testsuite[0]
336     skipreason = skip(name)
337     if restricted_mgr is not None:
338         match = restricted_mgr.should_run_testsuite(name)
339         if match == []:
340             continue
341     else:
342         match = None
343     if skipreason is not None:
344         if not opts.list:
345             subunit_ops.skip_testsuite(name, skipreason)
346     else:
347         todo.append(testsuite + (match,))
348
349 if restricted_mgr is not None:
350     for name in restricted_mgr.iter_unused():
351         sys.stdout.write("No test or testsuite found matching %s\n" % name)
352 if todo == []:
353     sys.stderr.write("No tests to run\n")
354     sys.exit(1)
355
356 suitestotal = len(todo)
357
358 if not opts.list:
359     subunit_ops.progress(suitestotal, subunit.PROGRESS_SET)
360     subunit_ops.time(now())
361
362 exported_envvars = [
363     # domain stuff
364     "DOMAIN",
365     "REALM",
366
367     # domain controller stuff
368     "DC_SERVER",
369     "DC_SERVER_IP",
370     "DC_NETBIOSNAME",
371     "DC_NETBIOSALIAS",
372
373     # domain member
374     "MEMBER_SERVER",
375     "MEMBER_SERVER_IP",
376     "MEMBER_NETBIOSNAME",
377     "MEMBER_NETBIOSALIAS",
378
379     # rpc proxy controller stuff
380     "RPC_PROXY_SERVER",
381     "RPC_PROXY_SERVER_IP",
382     "RPC_PROXY_NETBIOSNAME",
383     "RPC_PROXY_NETBIOSALIAS",
384
385     # domain controller stuff for Vampired DC
386     "VAMPIRE_DC_SERVER",
387     "VAMPIRE_DC_SERVER_IP",
388     "VAMPIRE_DC_NETBIOSNAME",
389     "VAMPIRE_DC_NETBIOSALIAS",
390
391     # server stuff
392     "SERVER",
393     "SERVER_IP",
394     "NETBIOSNAME",
395     "NETBIOSALIAS",
396
397     # user stuff
398     "USERNAME",
399     "USERID",
400     "PASSWORD",
401     "DC_USERNAME",
402     "DC_PASSWORD",
403
404     # misc stuff
405     "KRB5_CONFIG",
406     "WINBINDD_SOCKET_DIR",
407     "WINBINDD_PRIV_PIPE_DIR",
408     "NMBD_SOCKET_DIR",
409     "LOCAL_PATH"
410 ]
411
412 def switch_env(name, prefix):
413     if ":" in name:
414         (envname, option) = name.split(":", 1)
415     else:
416         envname = name
417         option = "client"
418
419     env = env_manager.setup_env(envname, prefix)
420
421     testenv_vars = env.get_vars()
422
423     if option == "local":
424         socket_wrapper.set_default_iface(testenv_vars["SOCKET_WRAPPER_DEFAULT_IFACE"])
425         os.environ["SMB_CONF_PATH"] = testenv_vars["SERVERCONFFILE"]
426     elif option == "client":
427         socket_wrapper.set_default_iface(11)
428         write_clientconf(conffile, clientdir, testenv_vars)
429         os.environ["SMB_CONF_PATH"] = conffile
430     else:
431         raise Exception("Unknown option[%s] for envname[%s]" % (option,
432             envname))
433
434     for name in exported_envvars:
435         if name in testenv_vars:
436             os.environ[name] = testenv_vars[name]
437         elif name in os.environ:
438             del os.environ[name]
439
440     return env
441
442 # This 'global' file needs to be empty when we start
443 dns_host_file_path = os.path.join(prefix_abs, "dns_host_file")
444 if os.path.exists(dns_host_file_path):
445     os.unlink(dns_host_file_path)
446
447 if opts.testenv:
448     testenv_name = os.environ.get("SELFTEST_TESTENV", testenv_default)
449
450     env = switch_env(testenv_name, prefix)
451     testenv_vars = env.get_vars()
452
453     os.environ["PIDDIR"] = testenv_vars["PIDDIR"]
454     os.environ["ENVNAME"] = testenv_name
455
456     envvarstr = exported_envvars_str(testenv_vars, exported_envvars)
457
458     term = os.environ.get("TERMINAL", "xterm -e")
459     cmd = """'echo -e "
460 Welcome to the Samba4 Test environment '%(testenv_name)'
461
462 This matches the client environment used in make test
463 server is pid `cat \$PIDDIR/samba.pid`
464
465 Some useful environment variables:
466 TORTURE_OPTIONS=\$TORTURE_OPTIONS
467 SMB_CONF_PATH=\$SMB_CONF_PATH
468
469 $envvarstr
470 \" && LD_LIBRARY_PATH=%(LD_LIBRARY_PATH)s $(SHELL)'""" % {
471         "testenv_name": testenv_name,
472         "LD_LIBRARY_PATH": os.environ["LD_LIBRARY_PATH"]}
473     subprocess.call(term + ' ' + cmd, shell=True)
474     env_manager.teardown_env(testenv_name)
475 elif opts.list:
476     for (name, envname, cmd, supports_loadfile, supports_idlist, subtests) in todo:
477         cmd = expand_command_list(cmd)
478         if cmd is None:
479             warnings.warn("Unable to list tests in %s" % name)
480             continue
481
482         exitcode = subprocess.call(cmd, shell=True)
483
484         if exitcode != 0:
485             sys.stderr.write("%s exited with exit code %s\n" % (cmd, exitcode))
486             sys.exit(1)
487 else:
488     for (name, envname, cmd, supports_loadfile, supports_idlist, subtests) in todo:
489         try:
490             env = switch_env(envname, prefix)
491         except UnsupportedEnvironment:
492             subunit_ops.start_testsuite(name)
493             subunit_ops.end_testsuite(name, "skip",
494                 "environment %s is unknown in this test backend - skipping" % envname)
495             continue
496         except Exception, e:
497             subunit_ops.start_testsuite(name)
498             traceback.print_exc()
499             subunit_ops.end_testsuite(name, "error",
500                 "unable to set up environment %s: %s" % (envname, e))
501             continue
502
503         cmd, tmpf = expand_command_run(cmd, supports_loadfile, supports_idlist,
504             subtests)
505
506         run_testsuite(name, cmd, subunit_ops, env=env)
507
508         if tmpf is not None:
509             os.remove(tmpf)
510
511         if opts.resetup_environment:
512             env_manager.teardown_env(envname)
513     env_manager.teardown_all()
514
515 sys.stdout.write("\n")
516
517 # if there were any valgrind failures, show them
518 for fn in os.listdir(prefix):
519     if fn.startswith("valgrind.log"):
520         sys.stdout.write("VALGRIND FAILURE\n")
521         f = open(os.path.join(prefix, fn), 'r')
522         try:
523             sys.stdout.write(f.read())
524         finally:
525             f.close()
526
527 sys.exit(0)