Documentation/dev-tools/kselftest.rst

   1 ======================
   2 Linux Kernel Selftests
   3 ======================
   4
   5 The kernel contains a set of "self tests" under the tools/testing/selftests/
   6 directory. These are intended to be small tests to exercise individual code
   7 paths in the kernel. Tests are intended to be run after building, installing
   8 and booting a kernel.
   9
  10 You can find additional information on Kselftest framework, how to
  11 write new tests using the framework on Kselftest wiki:
  12
  13 https://kselftest.wiki.kernel.org/
  14
  15 On some systems, hot-plug tests could hang forever waiting for cpu and
  16 memory to be ready to be offlined. A special hot-plug target is created
  17 to run the full range of hot-plug tests. In default mode, hot-plug tests run
  18 in safe mode with a limited scope. In limited mode, cpu-hotplug test is
  19 run on a single cpu as opposed to all hotplug capable cpus, and memory
  20 hotplug test is run on 2% of hotplug capable memory instead of 10%.
  21
  22 kselftest runs as a userspace process.  Tests that can be written/run in
  23 userspace may wish to use the `Test Harness`_.  Tests that need to be
  24 run in kernel space may wish to use a `Test Module`_.
  25
  26 Running the selftests (hotplug tests are run in limited mode)
  27 =============================================================
  28
  29 To build the tests::
  30
  31   $ make -C tools/testing/selftests
  32
  33 To run the tests::
  34
  35   $ make -C tools/testing/selftests run_tests
  36
  37 To build and run the tests with a single command, use::
  38
  39   $ make kselftest
  40
  41 Note that some tests will require root privileges.
  42
  43 Kselftest supports saving output files in a separate directory and then
  44 running tests. To locate output files in a separate directory two syntaxes
  45 are supported. In both cases the working directory must be the root of the
  46 kernel src. This is applicable to "Running a subset of selftests" section
  47 below.
  48
  49 To build, save output files in a separate directory with O= ::
  50
  51   $ make O=/tmp/kselftest kselftest
  52
  53 To build, save output files in a separate directory with KBUILD_OUTPUT ::
  54
  55   $ export KBUILD_OUTPUT=/tmp/kselftest; make kselftest
  56
  57 The O= assignment takes precedence over the KBUILD_OUTPUT environment
  58 variable.
  59
  60 The above commands by default run the tests and print full pass/fail report.
  61 Kselftest supports "summary" option to make it easier to understand the test
  62 results. Please find the detailed individual test results for each test in
  63 /tmp/testname file(s) when summary option is specified. This is applicable
  64 to "Running a subset of selftests" section below.
  65
  66 To run kselftest with summary option enabled ::
  67
  68   $ make summary=1 kselftest
  69
  70 Running a subset of selftests
  71 =============================
  72
  73 You can use the "TARGETS" variable on the make command line to specify
  74 single test to run, or a list of tests to run.
  75
  76 To run only tests targeted for a single subsystem::
  77
  78   $ make -C tools/testing/selftests TARGETS=ptrace run_tests
  79
  80 You can specify multiple tests to build and run::
  81
  82   $  make TARGETS="size timers" kselftest
  83
  84 To build, save output files in a separate directory with O= ::
  85
  86   $ make O=/tmp/kselftest TARGETS="size timers" kselftest
  87
  88 To build, save output files in a separate directory with KBUILD_OUTPUT ::
  89
  90   $ export KBUILD_OUTPUT=/tmp/kselftest; make TARGETS="size timers" kselftest
  91
  92 See the top-level tools/testing/selftests/Makefile for the list of all
  93 possible targets.
  94
  95 Running the full range hotplug selftests
  96 ========================================
  97
  98 To build the hotplug tests::
  99
 100   $ make -C tools/testing/selftests hotplug
 101
 102 To run the hotplug tests::
 103
 104   $ make -C tools/testing/selftests run_hotplug
 105
 106 Note that some tests will require root privileges.
 107
 108
 109 Install selftests
 110 =================
 111
 112 You can use the kselftest_install.sh tool to install selftests in the
 113 default location, which is tools/testing/selftests/kselftest, or in a
 114 user specified location.
 115
 116 To install selftests in default location::
 117
 118    $ cd tools/testing/selftests
 119    $ ./kselftest_install.sh
 120
 121 To install selftests in a user specified location::
 122
 123    $ cd tools/testing/selftests
 124    $ ./kselftest_install.sh install_dir
 125
 126 Running installed selftests
 127 ===========================
 128
 129 Kselftest install as well as the Kselftest tarball provide a script
 130 named "run_kselftest.sh" to run the tests.
 131
 132 You can simply do the following to run the installed Kselftests. Please
 133 note some tests will require root privileges::
 134
 135    $ cd kselftest
 136    $ ./run_kselftest.sh
 137
 138 Contributing new tests
 139 ======================
 140
 141 In general, the rules for selftests are
 142
 143  * Do as much as you can if you're not root;
 144
 145  * Don't take too long;
 146
 147  * Don't break the build on any architecture, and
 148
 149  * Don't cause the top-level "make run_tests" to fail if your feature is
 150    unconfigured.
 151
 152 Contributing new tests (details)
 153 ================================
 154
 155  * Use TEST_GEN_XXX if such binaries or files are generated during
 156    compiling.
 157
 158    TEST_PROGS, TEST_GEN_PROGS mean it is the executable tested by
 159    default.
 160
 161    TEST_CUSTOM_PROGS should be used by tests that require custom build
 162    rules and prevent common build rule use.
 163
 164    TEST_PROGS are for test shell scripts. Please ensure shell script has
 165    its exec bit set. Otherwise, lib.mk run_tests will generate a warning.
 166
 167    TEST_CUSTOM_PROGS and TEST_PROGS will be run by common run_tests.
 168
 169    TEST_PROGS_EXTENDED, TEST_GEN_PROGS_EXTENDED mean it is the
 170    executable which is not tested by default.
 171    TEST_FILES, TEST_GEN_FILES mean it is the file which is used by
 172    test.
 173
 174  * First use the headers inside the kernel source and/or git repo, and then the
 175    system headers.  Headers for the kernel release as opposed to headers
 176    installed by the distro on the system should be the primary focus to be able
 177    to find regressions.
 178
 179  * If a test needs specific kernel config options enabled, add a config file in
 180    the test directory to enable them.
 181
 182    e.g: tools/testing/selftests/android/config
 183
 184 Test Module
 185 ===========
 186
 187 Kselftest tests the kernel from userspace.  Sometimes things need
 188 testing from within the kernel, one method of doing this is to create a
 189 test module.  We can tie the module into the kselftest framework by
 190 using a shell script test runner.  ``kselftest_module.sh`` is designed
 191 to facilitate this process.  There is also a header file provided to
 192 assist writing kernel modules that are for use with kselftest:
 193
 194 - ``tools/testing/kselftest/kselftest_module.h``
 195 - ``tools/testing/kselftest/kselftest_module.sh``
 196
 197 How to use
 198 ----------
 199
 200 Here we show the typical steps to create a test module and tie it into
 201 kselftest.  We use kselftests for lib/ as an example.
 202
 203 1. Create the test module
 204
 205 2. Create the test script that will run (load/unload) the module
 206    e.g. ``tools/testing/selftests/lib/printf.sh``
 207
 208 3. Add line to config file e.g. ``tools/testing/selftests/lib/config``
 209
 210 4. Add test script to makefile  e.g. ``tools/testing/selftests/lib/Makefile``
 211
 212 5. Verify it works:
 213
 214 .. code-block:: sh
 215
 216    # Assumes you have booted a fresh build of this kernel tree
 217    cd /path/to/linux/tree
 218    make kselftest-merge
 219    make modules
 220    sudo make modules_install
 221    make TARGETS=lib kselftest
 222
 223 Example Module
 224 --------------
 225
 226 A bare bones test module might look like this:
 227
 228 .. code-block:: c
 229
 230    // SPDX-License-Identifier: GPL-2.0+
 231
 232    #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
 233
 234    #include "../tools/testing/selftests/kselftest_module.h"
 235
 236    KSTM_MODULE_GLOBALS();
 237
 238    /*
 239     * Kernel module for testing the foobinator
 240     */
 241
 242    static int __init test_function()
 243    {
 244            ...
 245    }
 246
 247    static void __init selftest(void)
 248    {
 249            KSTM_CHECK_ZERO(do_test_case("", 0));
 250    }
 251
 252    KSTM_MODULE_LOADERS(test_foo);
 253    MODULE_AUTHOR("John Developer <jd@fooman.org>");
 254    MODULE_LICENSE("GPL");
 255
 256 Example test script
 257 -------------------
 258
 259 .. code-block:: sh
 260
 261     #!/bin/bash
 262     # SPDX-License-Identifier: GPL-2.0+
 263     $(dirname $0)/../kselftest_module.sh "foo" test_foo
 264
 265
 266 Test Harness
 267 ============
 268
 269 The kselftest_harness.h file contains useful helpers to build tests.  The
 270 test harness is for userspace testing, for kernel space testing see `Test
 271 Module`_ above.
 272
 273 The tests from tools/testing/selftests/seccomp/seccomp_bpf.c can be used as
 274 example.
 275
 276 Example
 277 -------
 278
 279 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
 280     :doc: example
 281
 282
 283 Helpers
 284 -------
 285
 286 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
 287     :functions: TH_LOG TEST TEST_SIGNAL FIXTURE FIXTURE_DATA FIXTURE_SETUP
 288                 FIXTURE_TEARDOWN TEST_F TEST_HARNESS_MAIN
 289
 290 Operators
 291 ---------
 292
 293 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
 294     :doc: operators
 295
 296 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
 297     :functions: ASSERT_EQ ASSERT_NE ASSERT_LT ASSERT_LE ASSERT_GT ASSERT_GE
 298                 ASSERT_NULL ASSERT_TRUE ASSERT_NULL ASSERT_TRUE ASSERT_FALSE
 299                 ASSERT_STREQ ASSERT_STRNE EXPECT_EQ EXPECT_NE EXPECT_LT
 300                 EXPECT_LE EXPECT_GT EXPECT_GE EXPECT_NULL EXPECT_TRUE
 301                 EXPECT_FALSE EXPECT_STREQ EXPECT_STRNE