selftest: Use subunit internally, and a separate test output formatter.
[amitay/samba.git] / source4 / selftest / config.mk
1 TEST_FORMAT = plain
2
3 SELFTEST = $(LD_LIBPATH_OVERRIDE) PYTHON=$(PYTHON) \
4     $(PERL) $(selftestdir)/selftest.pl --prefix=${selftest_prefix} \
5     --builddir=$(builddir) --srcdir=$(srcdir) \
6     --expected-failures=$(srcdir)/selftest/knownfail \
7         --format=subunit \
8     --exclude=$(srcdir)/selftest/skip --testlist="./selftest/tests.sh|" \
9     $(TEST_OPTIONS) 
10
11 SELFTEST_NOSLOW_OPTS = --exclude=$(srcdir)/selftest/slow
12 SELFTEST_QUICK_OPTS = $(SELFTEST_NOSLOW_OPTS) --quick --include=$(srcdir)/selftest/quick
13 FORMAT_TEST_OUTPUT = $(PERL) $(selftestdir)/format-subunit.pl --format=$(TEST_FORMAT)
14
15 slowtest:: everything
16         $(SELFTEST) $(DEFAULT_TEST_OPTIONS) --immediate $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
17
18 test:: everything
19         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) --immediate \
20                 $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
21
22 kvmtest:: everything
23         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) --immediate \
24                 --target=kvm --image=$(KVM_IMAGE) | $(FORMAT_TEST_OUTPUT) --immediate 
25
26 kvmquicktest:: everything
27         $(SELFTEST) $(DEFAULT_TEST_OPTIONS) --immediate \
28                 $(SELFTEST_QUICK_OPTS) --target=kvm --image=$(KVM_IMAGE) | $(FORMAT_TEST_OUTPUT) | $(FORMAT_TEST_OUTPUT) --immediate 
29
30 testone:: everything
31         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) --one $(TESTS) | $(FORMAT_TEST_OUTPUT)
32
33 test-swrap:: everything
34         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --immediate $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
35
36 test-swrap-pcap:: everything
37         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper-pcap --immediate $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
38
39 test-swrap-keep-pcap:: everything
40         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper-keep-pcap --immediate $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
41
42 test-noswrap:: everything
43         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --immediate $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
44
45 quicktest:: all
46         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper --immediate $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
47
48 quicktestone:: all
49         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper --one $(TESTS) | $(FORMAT_TEST_OUTPUT)
50
51 testenv:: everything
52         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv | $(FORMAT_TEST_OUTPUT)
53
54 testenv-%:: everything
55         SELFTEST_TESTENV=$* $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv | $(FORMAT_TEST_OUTPUT)
56
57 test-%:: 
58         $(MAKE) test TESTS=$*
59
60 valgrindtest:: valgrindtest-all
61
62 valgrindtest-quick:: all
63         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
64         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
65         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --immediate --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
66
67 valgrindtest-all:: everything
68         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
69         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
70         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --immediate --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
71
72 valgrindtest-env:: everything
73         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
74         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
75         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
76
77 gdbtest:: gdbtest-all
78
79 gdbtest-quick:: all
80         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
81         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --immediate --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
82
83 gdbtest-all:: everything
84         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
85         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --immediate --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate 
86
87 gdbtest-env:: everything
88         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
89         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
90