source4/selftest/config.mk

   1 TEST_FORMAT = plain
   2
   3 SELFTEST = $(LD_LIBPATH_OVERRIDE) PYTHON=$(PYTHON) \
   4     $(PERL) $(selftestdir)/selftest.pl --prefix=${selftest_prefix} \
   5     --builddir=$(builddir) --srcdir=$(srcdir) \
   6     --exclude=$(srcdir)/selftest/skip --testlist="./selftest/tests.sh|" \
   7     $(TEST_OPTIONS)
   8 # this strange code is to handle the fact that the bash pipefail option is
   9 # not portable. When we run selftest we use a pipeline, and the first element
  10 # of that pipeline might abort. We need to catch this and mark the test
  11 # as having failed
  12 ST_RM = ( rm -f $(selftest_prefix)/st_done &&
  13 ST_TOUCH = && touch $(selftest_prefix)/st_done )
  14 ST_DONE_TEST = @test -f $(selftest_prefix)/st_done || { echo "SELFTEST FAILED"; exit 1; }
  15
  16 SELFTEST_NOSLOW_OPTS = --exclude=$(srcdir)/selftest/slow
  17 SELFTEST_QUICK_OPTS = $(SELFTEST_NOSLOW_OPTS) --quick --include=$(srcdir)/selftest/quick
  18 FILTER_XFAIL = $(PERL) $(selftestdir)/filter-subunit.pl --expected-failures=$(srcdir)/selftest/knownfail
  19 FORMAT_TEST = $(PERL) $(selftestdir)/format-subunit.pl --prefix=${selftest_prefix} --format=$(TEST_FORMAT)
  20 FORMAT_TEST_OUTPUT = $(FILTER_XFAIL) | $(FORMAT_TEST)
  21
  22 test-subunit:: everything
  23         $(ST_RM) $(SELFTEST) --socket-wrapper $(TESTS) $(ST_TOUCH)
  24         $(ST_DONE_TEST)
  25
  26 slowtest:: everything
  27         $(ST_RM) $(SELFTEST) $(DEFAULT_TEST_OPTIONS) $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  28         $(ST_DONE_TEST)
  29
  30 ifeq ($(RUN_FROM_BUILD_FARM),yes)
  31 test:: everything
  32         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) $(TESTS) $(ST_TOUCH) | $(FILTER_XFAIL) --strip-passed-output
  33         $(ST_DONE_TEST)
  34 else
  35 test::
  36         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  37         $(ST_DONE_TEST)
  38 endif
  39
  40 kvmtest:: everything
  41         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) \
  42                 --target=kvm --image=$(KVM_IMAGE) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  43         $(ST_DONE_TEST)
  44
  45 kvmquicktest:: everything
  46         $(ST_RM) $(SELFTEST) $(DEFAULT_TEST_OPTIONS) \
  47                 $(SELFTEST_QUICK_OPTS) --target=kvm --image=$(KVM_IMAGE) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) | $(FORMAT_TEST_OUTPUT) --immediate
  48         $(ST_DONE_TEST)
  49
  50 testone:: everything
  51         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) --one $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT)
  52         $(ST_DONE_TEST)
  53
  54 test-swrap:: everything
  55         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  56         $(ST_DONE_TEST)
  57
  58 test-swrap-pcap:: everything
  59         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper-pcap $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  60         $(ST_DONE_TEST)
  61
  62 test-swrap-keep-pcap:: everything
  63         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper-keep-pcap $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  64         $(ST_DONE_TEST)
  65
  66 test-noswrap:: everything
  67         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  68         $(ST_DONE_TEST)
  69
  70 quicktest:: all
  71         $(ST_RM) $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  72         $(ST_DONE_TEST)
  73
  74 quicktest-subunit:: all
  75         $(ST_RM) $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) $(ST_TOUCH)
  76         $(ST_DONE_TEST)
  77
  78 quicktestone:: all
  79         $(ST_RM) $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper --one $(TESTS) | $(FORMAT_TEST_OUTPUT)
  80         $(ST_DONE_TEST)
  81
  82 testenv:: everything
  83         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
  84
  85 testenv-%:: everything
  86         SELFTEST_TESTENV=$* $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
  87
  88 test-%::
  89         $(MAKE) test TESTS=$*
  90
  91 valgrindtest:: valgrindtest-all
  92
  93 valgrindtest-quick:: all
  94         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
  95         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
  96         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
  97
  98 valgrindtest-all:: everything
  99         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
 100         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
 101         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
 102
 103 valgrindtest-env:: everything
 104         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
 105         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
 106         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
 107
 108 gdbtest:: gdbtest-all
 109
 110 gdbtest-quick:: all
 111         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
 112         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
 113
 114 gdbtest-all:: everything
 115         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
 116         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
 117
 118 gdbtest-env:: everything
 119         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
 120         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
 121