Documentation/admin-guide/mm/idle_page_tracking.rst

   1 .. _idle_page_tracking:
   2
   3 ==================
   4 Idle Page Tracking
   5 ==================
   6
   7 Motivation
   8 ==========
   9
  10 The idle page tracking feature allows to track which memory pages are being
  11 accessed by a workload and which are idle. This information can be useful for
  12 estimating the workload's working set size, which, in turn, can be taken into
  13 account when configuring the workload parameters, setting memory cgroup limits,
  14 or deciding where to place the workload within a compute cluster.
  15
  16 It is enabled by CONFIG_IDLE_PAGE_TRACKING=y.
  17
  18 .. _user_api:
  19
  20 User API
  21 ========
  22
  23 The idle page tracking API is located at ``/sys/kernel/mm/page_idle``.
  24 Currently, it consists of the only read-write file,
  25 ``/sys/kernel/mm/page_idle/bitmap``.
  26
  27 The file implements a bitmap where each bit corresponds to a memory page. The
  28 bitmap is represented by an array of 8-byte integers, and the page at PFN #i is
  29 mapped to bit #i%64 of array element #i/64, byte order is native. When a bit is
  30 set, the corresponding page is idle.
  31
  32 A page is considered idle if it has not been accessed since it was marked idle
  33 (for more details on what "accessed" actually means see the :ref:`Implementation
  34 Details <impl_details>` section).
  35 To mark a page idle one has to set the bit corresponding to
  36 the page by writing to the file. A value written to the file is OR-ed with the
  37 current bitmap value.
  38
  39 Only accesses to user memory pages are tracked. These are pages mapped to a
  40 process address space, page cache and buffer pages, swap cache pages. For other
  41 page types (e.g. SLAB pages) an attempt to mark a page idle is silently ignored,
  42 and hence such pages are never reported idle.
  43
  44 For huge pages the idle flag is set only on the head page, so one has to read
  45 ``/proc/kpageflags`` in order to correctly count idle huge pages.
  46
  47 Reading from or writing to ``/sys/kernel/mm/page_idle/bitmap`` will return
  48 -EINVAL if you are not starting the read/write on an 8-byte boundary, or
  49 if the size of the read/write is not a multiple of 8 bytes. Writing to
  50 this file beyond max PFN will return -ENXIO.
  51
  52 That said, in order to estimate the amount of pages that are not used by a
  53 workload one should:
  54
  55  1. Mark all the workload's pages as idle by setting corresponding bits in
  56     ``/sys/kernel/mm/page_idle/bitmap``. The pages can be found by reading
  57     ``/proc/pid/pagemap`` if the workload is represented by a process, or by
  58     filtering out alien pages using ``/proc/kpagecgroup`` in case the workload
  59     is placed in a memory cgroup.
  60
  61  2. Wait until the workload accesses its working set.
  62
  63  3. Read ``/sys/kernel/mm/page_idle/bitmap`` and count the number of bits set.
  64     If one wants to ignore certain types of pages, e.g. mlocked pages since they
  65     are not reclaimable, he or she can filter them out using
  66     ``/proc/kpageflags``.
  67
  68 The page-types tool in the tools/vm directory can be used to assist in this.
  69 If the tool is run initially with the appropriate option, it will mark all the
  70 queried pages as idle.  Subsequent runs of the tool can then show which pages have
  71 their idle flag cleared in the interim.
  72
  73 See :ref:`Documentation/admin-guide/mm/pagemap.rst <pagemap>` for more
  74 information about ``/proc/pid/pagemap``, ``/proc/kpageflags``, and
  75 ``/proc/kpagecgroup``.
  76
  77 .. _impl_details:
  78
  79 Implementation Details
  80 ======================
  81
  82 The kernel internally keeps track of accesses to user memory pages in order to
  83 reclaim unreferenced pages first on memory shortage conditions. A page is
  84 considered referenced if it has been recently accessed via a process address
  85 space, in which case one or more PTEs it is mapped to will have the Accessed bit
  86 set, or marked accessed explicitly by the kernel (see mark_page_accessed()). The
  87 latter happens when:
  88
  89  - a userspace process reads or writes a page using a system call (e.g. read(2)
  90    or write(2))
  91
  92  - a page that is used for storing filesystem buffers is read or written,
  93    because a process needs filesystem metadata stored in it (e.g. lists a
  94    directory tree)
  95
  96  - a page is accessed by a device driver using get_user_pages()
  97
  98 When a dirty page is written to swap or disk as a result of memory reclaim or
  99 exceeding the dirty memory limit, it is not marked referenced.
 100
 101 The idle memory tracking feature adds a new page flag, the Idle flag. This flag
 102 is set manually, by writing to ``/sys/kernel/mm/page_idle/bitmap`` (see the
 103 :ref:`User API <user_api>`
 104 section), and cleared automatically whenever a page is referenced as defined
 105 above.
 106
 107 When a page is marked idle, the Accessed bit must be cleared in all PTEs it is
 108 mapped to, otherwise we will not be able to detect accesses to the page coming
 109 from a process address space. To avoid interference with the reclaimer, which,
 110 as noted above, uses the Accessed bit to promote actively referenced pages, one
 111 more page flag is introduced, the Young flag. When the PTE Accessed bit is
 112 cleared as a result of setting or updating a page's Idle flag, the Young flag
 113 is set on the page. The reclaimer treats the Young flag as an extra PTE
 114 Accessed bit and therefore will consider such a page as referenced.
 115
 116 Since the idle memory tracking feature is based on the memory reclaimer logic,
 117 it only works with pages that are on an LRU list, other pages are silently
 118 ignored. That means it will ignore a user memory page if it is isolated, but
 119 since there are usually not many of them, it should not affect the overall
 120 result noticeably. In order not to stall scanning of the idle page bitmap,
 121 locked pages may be skipped too.