source4/selftest/config.mk

   1 TEST_FORMAT = plain
   2
   3 SELFTEST = $(LD_LIBPATH_OVERRIDE) PYTHON=$(PYTHON) \
   4     $(PERL) $(selftestdir)/selftest.pl --prefix=${selftest_prefix} \
   5     --builddir=$(builddir) --srcdir=$(srcdir) \
   6     --exclude=$(srcdir)/selftest/skip --testlist="./selftest/tests.sh|" \
   7     $(TEST_OPTIONS)
   8 # this strange code is to handle the fact that the bash pipefail option is
   9 # not portable. When we run selftest we use a pipeline, and the first element
  10 # of that pipeline might abort. We need to catch this and mark the test
  11 # as having failed
  12 ST_RM = ( rm -f $(selftest_prefix)/st_done &&
  13 ST_TOUCH = && touch $(selftest_prefix)/st_done )
  14 ST_DONE_TEST = @test -f $(selftest_prefix)/st_done || { echo "SELFTEST FAILED"; exit 1; }
  15
  16 SELFTEST_NOSLOW_OPTS = --exclude=$(srcdir)/selftest/slow
  17 SELFTEST_QUICK_OPTS = $(SELFTEST_NOSLOW_OPTS) --quick --include=$(srcdir)/selftest/quick
  18 FILTER_XFAIL = $(PERL) $(selftestdir)/filter-subunit.pl --expected-failures=$(srcdir)/selftest/knownfail
  19 FORMAT_TEST = $(PERL) $(selftestdir)/format-subunit.pl --prefix=${selftest_prefix} --format=$(TEST_FORMAT)
  20 FORMAT_TEST_OUTPUT = $(FILTER_XFAIL) | $(FORMAT_TEST)
  21
  22 test-subunit:: everything
  23         $(ST_RM) $(SELFTEST) --socket-wrapper $(TESTS) $(ST_TOUCH)
  24         $(ST_DONE_TEST)
  25
  26 slowtest:: everything
  27         $(ST_RM) $(SELFTEST) $(DEFAULT_TEST_OPTIONS) $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  28         $(ST_DONE_TEST)
  29
  30 ifeq ($(RUN_FROM_BUILD_FARM),yes)
  31 test:: everything
  32         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) $(TESTS) $(ST_TOUCH) | $(FILTER_XFAIL) --strip-passed-output
  33         $(ST_DONE_TEST)
  34         test -f ${selftest_prefix}/summary && cat ${selftest_prefix}/summary
  35 else
  36 test::
  37         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  38         $(ST_DONE_TEST)
  39 endif
  40
  41 kvmtest:: everything
  42         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) \
  43                 --target=kvm --image=$(KVM_IMAGE) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  44         $(ST_DONE_TEST)
  45
  46 kvmquicktest:: everything
  47         $(ST_RM) $(SELFTEST) $(DEFAULT_TEST_OPTIONS) \
  48                 $(SELFTEST_QUICK_OPTS) --target=kvm --image=$(KVM_IMAGE) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) | $(FORMAT_TEST_OUTPUT) --immediate
  49         $(ST_DONE_TEST)
  50
  51 testone:: everything
  52         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(DEFAULT_TEST_OPTIONS) --one $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT)
  53         $(ST_DONE_TEST)
  54
  55 test-swrap:: everything
  56         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  57         $(ST_DONE_TEST)
  58
  59 test-swrap-pcap:: everything
  60         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper-pcap $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  61         $(ST_DONE_TEST)
  62
  63 test-swrap-keep-pcap:: everything
  64         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper-keep-pcap $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  65         $(ST_DONE_TEST)
  66
  67 test-noswrap:: everything
  68         $(ST_RM) $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  69         $(ST_DONE_TEST)
  70
  71 quicktest:: all
  72         $(ST_RM) $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) $(ST_TOUCH) | $(FORMAT_TEST_OUTPUT) --immediate
  73         $(ST_DONE_TEST)
  74
  75 quicktest-subunit:: all
  76         $(ST_RM) $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) $(ST_TOUCH)
  77         $(ST_DONE_TEST)
  78
  79 quicktestone:: all
  80         $(ST_RM) $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper --one $(TESTS) | $(FORMAT_TEST_OUTPUT)
  81         $(ST_DONE_TEST)
  82
  83 testenv:: everything
  84         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
  85
  86 testenv-%:: everything
  87         SELFTEST_TESTENV=$* $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
  88
  89 test-%::
  90         $(MAKE) test TESTS=$*
  91
  92 valgrindtest:: valgrindtest-all
  93
  94 valgrindtest-quick:: all
  95         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
  96         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
  97         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
  98
  99 valgrindtest-all:: everything
 100         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
 101         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
 102         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
 103
 104 valgrindtest-env:: everything
 105         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/valgrind_run $(LD_LIBPATH_OVERRIDE)" \
 106         VALGRIND="valgrind -q --num-callers=30 --log-file=${selftest_prefix}/valgrind.log" \
 107         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
 108
 109 gdbtest:: gdbtest-all
 110
 111 gdbtest-quick:: all
 112         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
 113         $(SELFTEST) $(SELFTEST_QUICK_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
 114
 115 gdbtest-all:: everything
 116         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
 117         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper $(TESTS) | $(FORMAT_TEST_OUTPUT) --immediate
 118
 119 gdbtest-env:: everything
 120         SAMBA_VALGRIND="xterm -n server -e $(selftestdir)/gdb_run $(LD_LIBPATH_OVERRIDE)" \
 121         $(SELFTEST) $(SELFTEST_NOSLOW_OPTS) --socket-wrapper --testenv
 122