fs/btrfs/subpage.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2
   3 #ifndef BTRFS_SUBPAGE_H
   4 #define BTRFS_SUBPAGE_H
   5
   6 #include <linux/spinlock.h>
   7
   8 /*
   9  * Extra info for subpapge bitmap.
  10  *
  11  * For subpage we pack all uptodate/error/dirty/writeback/ordered bitmaps into
  12  * one larger bitmap.
  13  *
  14  * This structure records how they are organized in the bitmap:
  15  *
  16  * /- uptodate_offset   /- error_offset /- dirty_offset
  17  * |                    |               |
  18  * v                    v               v
  19  * |u|u|u|u|........|u|u|e|e|.......|e|e| ...   |o|o|
  20  * |<- bitmap_nr_bits ->|
  21  * |<--------------- total_nr_bits ---------------->|
  22  */
  23 struct btrfs_subpage_info {
  24         /* Number of bits for each bitmap */
  25         unsigned int bitmap_nr_bits;
  26
  27         /* Total number of bits for the whole bitmap */
  28         unsigned int total_nr_bits;
  29
  30         /*
  31          * *_start indicates where the bitmap starts, the length is always
  32          * @bitmap_size, which is calculated from PAGE_SIZE / sectorsize.
  33          */
  34         unsigned int uptodate_offset;
  35         unsigned int error_offset;
  36         unsigned int dirty_offset;
  37         unsigned int writeback_offset;
  38         unsigned int ordered_offset;
  39 };
  40
  41 /*
  42  * Structure to trace status of each sector inside a page, attached to
  43  * page::private for both data and metadata inodes.
  44  */
  45 struct btrfs_subpage {
  46         /* Common members for both data and metadata pages */
  47         spinlock_t lock;
  48         /*
  49          * Both data and metadata needs to track how many readers are for the
  50          * page.
  51          * Data relies on @readers to unlock the page when last reader finished.
  52          * While metadata doesn't need page unlock, it needs to prevent
  53          * page::private get cleared before the last end_page_read().
  54          */
  55         atomic_t readers;
  56         union {
  57                 /*
  58                  * Structures only used by metadata
  59                  *
  60                  * @eb_refs should only be operated under private_lock, as it
  61                  * manages whether the subpage can be detached.
  62                  */
  63                 atomic_t eb_refs;
  64
  65                 /* Structures only used by data */
  66                 atomic_t writers;
  67         };
  68         unsigned long bitmaps[];
  69 };
  70
  71 enum btrfs_subpage_type {
  72         BTRFS_SUBPAGE_METADATA,
  73         BTRFS_SUBPAGE_DATA,
  74 };
  75
  76 void btrfs_init_subpage_info(struct btrfs_subpage_info *subpage_info, u32 sectorsize);
  77 int btrfs_attach_subpage(const struct btrfs_fs_info *fs_info,
  78                          struct page *page, enum btrfs_subpage_type type);
  79 void btrfs_detach_subpage(const struct btrfs_fs_info *fs_info,
  80                           struct page *page);
  81
  82 /* Allocate additional data where page represents more than one sector */
  83 struct btrfs_subpage *btrfs_alloc_subpage(const struct btrfs_fs_info *fs_info,
  84                                           enum btrfs_subpage_type type);
  85 void btrfs_free_subpage(struct btrfs_subpage *subpage);
  86
  87 void btrfs_page_inc_eb_refs(const struct btrfs_fs_info *fs_info,
  88                             struct page *page);
  89 void btrfs_page_dec_eb_refs(const struct btrfs_fs_info *fs_info,
  90                             struct page *page);
  91
  92 void btrfs_subpage_start_reader(const struct btrfs_fs_info *fs_info,
  93                 struct page *page, u64 start, u32 len);
  94 void btrfs_subpage_end_reader(const struct btrfs_fs_info *fs_info,
  95                 struct page *page, u64 start, u32 len);
  96
  97 void btrfs_subpage_start_writer(const struct btrfs_fs_info *fs_info,
  98                 struct page *page, u64 start, u32 len);
  99 bool btrfs_subpage_end_and_test_writer(const struct btrfs_fs_info *fs_info,
 100                 struct page *page, u64 start, u32 len);
 101 int btrfs_page_start_writer_lock(const struct btrfs_fs_info *fs_info,
 102                 struct page *page, u64 start, u32 len);
 103 void btrfs_page_end_writer_lock(const struct btrfs_fs_info *fs_info,
 104                 struct page *page, u64 start, u32 len);
 105
 106 /*
 107  * Template for subpage related operations.
 108  *
 109  * btrfs_subpage_*() are for call sites where the page has subpage attached and
 110  * the range is ensured to be inside the page.
 111  *
 112  * btrfs_page_*() are for call sites where the page can either be subpage
 113  * specific or regular page. The function will handle both cases.
 114  * But the range still needs to be inside the page.
 115  *
 116  * btrfs_page_clamp_*() are similar to btrfs_page_*(), except the range doesn't
 117  * need to be inside the page. Those functions will truncate the range
 118  * automatically.
 119  */
 120 #define DECLARE_BTRFS_SUBPAGE_OPS(name)                                 \
 121 void btrfs_subpage_set_##name(const struct btrfs_fs_info *fs_info,      \
 122                 struct page *page, u64 start, u32 len);                 \
 123 void btrfs_subpage_clear_##name(const struct btrfs_fs_info *fs_info,    \
 124                 struct page *page, u64 start, u32 len);                 \
 125 bool btrfs_subpage_test_##name(const struct btrfs_fs_info *fs_info,     \
 126                 struct page *page, u64 start, u32 len);                 \
 127 void btrfs_page_set_##name(const struct btrfs_fs_info *fs_info,         \
 128                 struct page *page, u64 start, u32 len);                 \
 129 void btrfs_page_clear_##name(const struct btrfs_fs_info *fs_info,       \
 130                 struct page *page, u64 start, u32 len);                 \
 131 bool btrfs_page_test_##name(const struct btrfs_fs_info *fs_info,        \
 132                 struct page *page, u64 start, u32 len);                 \
 133 void btrfs_page_clamp_set_##name(const struct btrfs_fs_info *fs_info,   \
 134                 struct page *page, u64 start, u32 len);                 \
 135 void btrfs_page_clamp_clear_##name(const struct btrfs_fs_info *fs_info, \
 136                 struct page *page, u64 start, u32 len);                 \
 137 bool btrfs_page_clamp_test_##name(const struct btrfs_fs_info *fs_info,  \
 138                 struct page *page, u64 start, u32 len);
 139
 140 DECLARE_BTRFS_SUBPAGE_OPS(uptodate);
 141 DECLARE_BTRFS_SUBPAGE_OPS(error);
 142 DECLARE_BTRFS_SUBPAGE_OPS(dirty);
 143 DECLARE_BTRFS_SUBPAGE_OPS(writeback);
 144 DECLARE_BTRFS_SUBPAGE_OPS(ordered);
 145
 146 bool btrfs_subpage_clear_and_test_dirty(const struct btrfs_fs_info *fs_info,
 147                 struct page *page, u64 start, u32 len);
 148
 149 void btrfs_page_assert_not_dirty(const struct btrfs_fs_info *fs_info,
 150                                  struct page *page);
 151
 152 #endif