Merge tag 'for-linus' of git://git.kernel.org/pub/scm/linux/kernel/git/rdma/rdma
[sfrench/cifs-2.6.git] / Documentation / dev-tools / kselftest.rst
1 ======================
2 Linux Kernel Selftests
3 ======================
4
5 The kernel contains a set of "self tests" under the tools/testing/selftests/
6 directory. These are intended to be small tests to exercise individual code
7 paths in the kernel. Tests are intended to be run after building, installing
8 and booting a kernel.
9
10 You can find additional information on Kselftest framework, how to
11 write new tests using the framework on Kselftest wiki:
12
13 https://kselftest.wiki.kernel.org/
14
15 On some systems, hot-plug tests could hang forever waiting for cpu and
16 memory to be ready to be offlined. A special hot-plug target is created
17 to run the full range of hot-plug tests. In default mode, hot-plug tests run
18 in safe mode with a limited scope. In limited mode, cpu-hotplug test is
19 run on a single cpu as opposed to all hotplug capable cpus, and memory
20 hotplug test is run on 2% of hotplug capable memory instead of 10%.
21
22 kselftest runs as a userspace process.  Tests that can be written/run in
23 userspace may wish to use the `Test Harness`_.  Tests that need to be
24 run in kernel space may wish to use a `Test Module`_.
25
26 Running the selftests (hotplug tests are run in limited mode)
27 =============================================================
28
29 To build the tests::
30
31   $ make -C tools/testing/selftests
32
33 To run the tests::
34
35   $ make -C tools/testing/selftests run_tests
36
37 To build and run the tests with a single command, use::
38
39   $ make kselftest
40
41 Note that some tests will require root privileges.
42
43 Kselftest supports saving output files in a separate directory and then
44 running tests. To locate output files in a separate directory two syntaxes
45 are supported. In both cases the working directory must be the root of the
46 kernel src. This is applicable to "Running a subset of selftests" section
47 below.
48
49 To build, save output files in a separate directory with O= ::
50
51   $ make O=/tmp/kselftest kselftest
52
53 To build, save output files in a separate directory with KBUILD_OUTPUT ::
54
55   $ export KBUILD_OUTPUT=/tmp/kselftest; make kselftest
56
57 The O= assignment takes precedence over the KBUILD_OUTPUT environment
58 variable.
59
60 The above commands by default run the tests and print full pass/fail report.
61 Kselftest supports "summary" option to make it easier to understand the test
62 results. Please find the detailed individual test results for each test in
63 /tmp/testname file(s) when summary option is specified. This is applicable
64 to "Running a subset of selftests" section below.
65
66 To run kselftest with summary option enabled ::
67
68   $ make summary=1 kselftest
69
70 Running a subset of selftests
71 =============================
72
73 You can use the "TARGETS" variable on the make command line to specify
74 single test to run, or a list of tests to run.
75
76 To run only tests targeted for a single subsystem::
77
78   $ make -C tools/testing/selftests TARGETS=ptrace run_tests
79
80 You can specify multiple tests to build and run::
81
82   $  make TARGETS="size timers" kselftest
83
84 To build, save output files in a separate directory with O= ::
85
86   $ make O=/tmp/kselftest TARGETS="size timers" kselftest
87
88 To build, save output files in a separate directory with KBUILD_OUTPUT ::
89
90   $ export KBUILD_OUTPUT=/tmp/kselftest; make TARGETS="size timers" kselftest
91
92 See the top-level tools/testing/selftests/Makefile for the list of all
93 possible targets.
94
95 Running the full range hotplug selftests
96 ========================================
97
98 To build the hotplug tests::
99
100   $ make -C tools/testing/selftests hotplug
101
102 To run the hotplug tests::
103
104   $ make -C tools/testing/selftests run_hotplug
105
106 Note that some tests will require root privileges.
107
108
109 Install selftests
110 =================
111
112 You can use the kselftest_install.sh tool to install selftests in the
113 default location, which is tools/testing/selftests/kselftest, or in a
114 user specified location.
115
116 To install selftests in default location::
117
118    $ cd tools/testing/selftests
119    $ ./kselftest_install.sh
120
121 To install selftests in a user specified location::
122
123    $ cd tools/testing/selftests
124    $ ./kselftest_install.sh install_dir
125
126 Running installed selftests
127 ===========================
128
129 Kselftest install as well as the Kselftest tarball provide a script
130 named "run_kselftest.sh" to run the tests.
131
132 You can simply do the following to run the installed Kselftests. Please
133 note some tests will require root privileges::
134
135    $ cd kselftest
136    $ ./run_kselftest.sh
137
138 Contributing new tests
139 ======================
140
141 In general, the rules for selftests are
142
143  * Do as much as you can if you're not root;
144
145  * Don't take too long;
146
147  * Don't break the build on any architecture, and
148
149  * Don't cause the top-level "make run_tests" to fail if your feature is
150    unconfigured.
151
152 Contributing new tests (details)
153 ================================
154
155  * Use TEST_GEN_XXX if such binaries or files are generated during
156    compiling.
157
158    TEST_PROGS, TEST_GEN_PROGS mean it is the executable tested by
159    default.
160
161    TEST_CUSTOM_PROGS should be used by tests that require custom build
162    rules and prevent common build rule use.
163
164    TEST_PROGS are for test shell scripts. Please ensure shell script has
165    its exec bit set. Otherwise, lib.mk run_tests will generate a warning.
166
167    TEST_CUSTOM_PROGS and TEST_PROGS will be run by common run_tests.
168
169    TEST_PROGS_EXTENDED, TEST_GEN_PROGS_EXTENDED mean it is the
170    executable which is not tested by default.
171    TEST_FILES, TEST_GEN_FILES mean it is the file which is used by
172    test.
173
174  * First use the headers inside the kernel source and/or git repo, and then the
175    system headers.  Headers for the kernel release as opposed to headers
176    installed by the distro on the system should be the primary focus to be able
177    to find regressions.
178
179  * If a test needs specific kernel config options enabled, add a config file in
180    the test directory to enable them.
181
182    e.g: tools/testing/selftests/android/config
183
184 Test Module
185 ===========
186
187 Kselftest tests the kernel from userspace.  Sometimes things need
188 testing from within the kernel, one method of doing this is to create a
189 test module.  We can tie the module into the kselftest framework by
190 using a shell script test runner.  ``kselftest_module.sh`` is designed
191 to facilitate this process.  There is also a header file provided to
192 assist writing kernel modules that are for use with kselftest:
193
194 - ``tools/testing/kselftest/kselftest_module.h``
195 - ``tools/testing/kselftest/kselftest_module.sh``
196
197 How to use
198 ----------
199
200 Here we show the typical steps to create a test module and tie it into
201 kselftest.  We use kselftests for lib/ as an example.
202
203 1. Create the test module
204
205 2. Create the test script that will run (load/unload) the module
206    e.g. ``tools/testing/selftests/lib/printf.sh``
207
208 3. Add line to config file e.g. ``tools/testing/selftests/lib/config``
209
210 4. Add test script to makefile  e.g. ``tools/testing/selftests/lib/Makefile``
211
212 5. Verify it works:
213
214 .. code-block:: sh
215
216    # Assumes you have booted a fresh build of this kernel tree
217    cd /path/to/linux/tree
218    make kselftest-merge
219    make modules
220    sudo make modules_install
221    make TARGETS=lib kselftest
222
223 Example Module
224 --------------
225
226 A bare bones test module might look like this:
227
228 .. code-block:: c
229
230    // SPDX-License-Identifier: GPL-2.0+
231
232    #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
233
234    #include "../tools/testing/selftests/kselftest_module.h"
235
236    KSTM_MODULE_GLOBALS();
237
238    /*
239     * Kernel module for testing the foobinator
240     */
241
242    static int __init test_function()
243    {
244            ...
245    }
246
247    static void __init selftest(void)
248    {
249            KSTM_CHECK_ZERO(do_test_case("", 0));
250    }
251
252    KSTM_MODULE_LOADERS(test_foo);
253    MODULE_AUTHOR("John Developer <jd@fooman.org>");
254    MODULE_LICENSE("GPL");
255
256 Example test script
257 -------------------
258
259 .. code-block:: sh
260
261     #!/bin/bash
262     # SPDX-License-Identifier: GPL-2.0+
263     $(dirname $0)/../kselftest_module.sh "foo" test_foo
264
265
266 Test Harness
267 ============
268
269 The kselftest_harness.h file contains useful helpers to build tests.  The
270 test harness is for userspace testing, for kernel space testing see `Test
271 Module`_ above.
272
273 The tests from tools/testing/selftests/seccomp/seccomp_bpf.c can be used as
274 example.
275
276 Example
277 -------
278
279 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
280     :doc: example
281
282
283 Helpers
284 -------
285
286 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
287     :functions: TH_LOG TEST TEST_SIGNAL FIXTURE FIXTURE_DATA FIXTURE_SETUP
288                 FIXTURE_TEARDOWN TEST_F TEST_HARNESS_MAIN
289
290 Operators
291 ---------
292
293 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
294     :doc: operators
295
296 .. kernel-doc:: tools/testing/selftests/kselftest_harness.h
297     :functions: ASSERT_EQ ASSERT_NE ASSERT_LT ASSERT_LE ASSERT_GT ASSERT_GE
298                 ASSERT_NULL ASSERT_TRUE ASSERT_NULL ASSERT_TRUE ASSERT_FALSE
299                 ASSERT_STREQ ASSERT_STRNE EXPECT_EQ EXPECT_NE EXPECT_LT
300                 EXPECT_LE EXPECT_GT EXPECT_GE EXPECT_NULL EXPECT_TRUE
301                 EXPECT_FALSE EXPECT_STREQ EXPECT_STRNE