include/linux/backing-dev.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * include/linux/backing-dev.h
   4  *
   5  * low-level device information and state which is propagated up through
   6  * to high-level code.
   7  */
   8
   9 #ifndef _LINUX_BACKING_DEV_H
  10 #define _LINUX_BACKING_DEV_H
  11
  12 #include <linux/kernel.h>
  13 #include <linux/fs.h>
  14 #include <linux/sched.h>
  15 #include <linux/blkdev.h>
  16 #include <linux/device.h>
  17 #include <linux/writeback.h>
  18 #include <linux/blk-cgroup.h>
  19 #include <linux/backing-dev-defs.h>
  20 #include <linux/slab.h>
  21
  22 static inline struct backing_dev_info *bdi_get(struct backing_dev_info *bdi)
  23 {
  24         kref_get(&bdi->refcnt);
  25         return bdi;
  26 }
  27
  28 struct backing_dev_info *bdi_get_by_id(u64 id);
  29 void bdi_put(struct backing_dev_info *bdi);
  30
  31 __printf(2, 3)
  32 int bdi_register(struct backing_dev_info *bdi, const char *fmt, ...);
  33 __printf(2, 0)
  34 int bdi_register_va(struct backing_dev_info *bdi, const char *fmt,
  35                     va_list args);
  36 void bdi_set_owner(struct backing_dev_info *bdi, struct device *owner);
  37 void bdi_unregister(struct backing_dev_info *bdi);
  38
  39 struct backing_dev_info *bdi_alloc(int node_id);
  40
  41 void wb_start_background_writeback(struct bdi_writeback *wb);
  42 void wb_workfn(struct work_struct *work);
  43 void wb_wakeup_delayed(struct bdi_writeback *wb);
  44
  45 void wb_wait_for_completion(struct wb_completion *done);
  46
  47 extern spinlock_t bdi_lock;
  48 extern struct list_head bdi_list;
  49
  50 extern struct workqueue_struct *bdi_wq;
  51 extern struct workqueue_struct *bdi_async_bio_wq;
  52
  53 static inline bool wb_has_dirty_io(struct bdi_writeback *wb)
  54 {
  55         return test_bit(WB_has_dirty_io, &wb->state);
  56 }
  57
  58 static inline bool bdi_has_dirty_io(struct backing_dev_info *bdi)
  59 {
  60         /*
  61          * @bdi->tot_write_bandwidth is guaranteed to be > 0 if there are
  62          * any dirty wbs.  See wb_update_write_bandwidth().
  63          */
  64         return atomic_long_read(&bdi->tot_write_bandwidth);
  65 }
  66
  67 static inline void __add_wb_stat(struct bdi_writeback *wb,
  68                                  enum wb_stat_item item, s64 amount)
  69 {
  70         percpu_counter_add_batch(&wb->stat[item], amount, WB_STAT_BATCH);
  71 }
  72
  73 static inline void inc_wb_stat(struct bdi_writeback *wb, enum wb_stat_item item)
  74 {
  75         __add_wb_stat(wb, item, 1);
  76 }
  77
  78 static inline void dec_wb_stat(struct bdi_writeback *wb, enum wb_stat_item item)
  79 {
  80         __add_wb_stat(wb, item, -1);
  81 }
  82
  83 static inline s64 wb_stat(struct bdi_writeback *wb, enum wb_stat_item item)
  84 {
  85         return percpu_counter_read_positive(&wb->stat[item]);
  86 }
  87
  88 static inline s64 wb_stat_sum(struct bdi_writeback *wb, enum wb_stat_item item)
  89 {
  90         return percpu_counter_sum_positive(&wb->stat[item]);
  91 }
  92
  93 extern void wb_writeout_inc(struct bdi_writeback *wb);
  94
  95 /*
  96  * maximal error of a stat counter.
  97  */
  98 static inline unsigned long wb_stat_error(void)
  99 {
 100 #ifdef CONFIG_SMP
 101         return nr_cpu_ids * WB_STAT_BATCH;
 102 #else
 103         return 1;
 104 #endif
 105 }
 106
 107 int bdi_set_min_ratio(struct backing_dev_info *bdi, unsigned int min_ratio);
 108 int bdi_set_max_ratio(struct backing_dev_info *bdi, unsigned int max_ratio);
 109
 110 /*
 111  * Flags in backing_dev_info::capability
 112  *
 113  * The first three flags control whether dirty pages will contribute to the
 114  * VM's accounting and whether writepages() should be called for dirty pages
 115  * (something that would not, for example, be appropriate for ramfs)
 116  *
 117  * WARNING: these flags are closely related and should not normally be
 118  * used separately.  The BDI_CAP_NO_ACCT_AND_WRITEBACK combines these
 119  * three flags into a single convenience macro.
 120  *
 121  * BDI_CAP_NO_ACCT_DIRTY:  Dirty pages shouldn't contribute to accounting
 122  * BDI_CAP_NO_WRITEBACK:   Don't write pages back
 123  * BDI_CAP_NO_ACCT_WB:     Don't automatically account writeback pages
 124  * BDI_CAP_STRICTLIMIT:    Keep number of dirty pages below bdi threshold.
 125  */
 126 #define BDI_CAP_NO_ACCT_DIRTY   0x00000001
 127 #define BDI_CAP_NO_WRITEBACK    0x00000002
 128 #define BDI_CAP_NO_ACCT_WB      0x00000004
 129 #define BDI_CAP_STABLE_WRITES   0x00000008
 130 #define BDI_CAP_STRICTLIMIT     0x00000010
 131 #define BDI_CAP_CGROUP_WRITEBACK 0x00000020
 132
 133 #define BDI_CAP_NO_ACCT_AND_WRITEBACK \
 134         (BDI_CAP_NO_WRITEBACK | BDI_CAP_NO_ACCT_DIRTY | BDI_CAP_NO_ACCT_WB)
 135
 136 extern struct backing_dev_info noop_backing_dev_info;
 137
 138 /**
 139  * writeback_in_progress - determine whether there is writeback in progress
 140  * @wb: bdi_writeback of interest
 141  *
 142  * Determine whether there is writeback waiting to be handled against a
 143  * bdi_writeback.
 144  */
 145 static inline bool writeback_in_progress(struct bdi_writeback *wb)
 146 {
 147         return test_bit(WB_writeback_running, &wb->state);
 148 }
 149
 150 static inline struct backing_dev_info *inode_to_bdi(struct inode *inode)
 151 {
 152         struct super_block *sb;
 153
 154         if (!inode)
 155                 return &noop_backing_dev_info;
 156
 157         sb = inode->i_sb;
 158 #ifdef CONFIG_BLOCK
 159         if (sb_is_blkdev_sb(sb))
 160                 return I_BDEV(inode)->bd_bdi;
 161 #endif
 162         return sb->s_bdi;
 163 }
 164
 165 static inline int wb_congested(struct bdi_writeback *wb, int cong_bits)
 166 {
 167         return wb->congested & cong_bits;
 168 }
 169
 170 long congestion_wait(int sync, long timeout);
 171 long wait_iff_congested(int sync, long timeout);
 172
 173 static inline bool bdi_cap_stable_pages_required(struct backing_dev_info *bdi)
 174 {
 175         return bdi->capabilities & BDI_CAP_STABLE_WRITES;
 176 }
 177
 178 static inline bool bdi_cap_writeback_dirty(struct backing_dev_info *bdi)
 179 {
 180         return !(bdi->capabilities & BDI_CAP_NO_WRITEBACK);
 181 }
 182
 183 static inline bool bdi_cap_account_dirty(struct backing_dev_info *bdi)
 184 {
 185         return !(bdi->capabilities & BDI_CAP_NO_ACCT_DIRTY);
 186 }
 187
 188 static inline bool bdi_cap_account_writeback(struct backing_dev_info *bdi)
 189 {
 190         /* Paranoia: BDI_CAP_NO_WRITEBACK implies BDI_CAP_NO_ACCT_WB */
 191         return !(bdi->capabilities & (BDI_CAP_NO_ACCT_WB |
 192                                       BDI_CAP_NO_WRITEBACK));
 193 }
 194
 195 static inline bool mapping_cap_writeback_dirty(struct address_space *mapping)
 196 {
 197         return bdi_cap_writeback_dirty(inode_to_bdi(mapping->host));
 198 }
 199
 200 static inline bool mapping_cap_account_dirty(struct address_space *mapping)
 201 {
 202         return bdi_cap_account_dirty(inode_to_bdi(mapping->host));
 203 }
 204
 205 static inline int bdi_sched_wait(void *word)
 206 {
 207         schedule();
 208         return 0;
 209 }
 210
 211 #ifdef CONFIG_CGROUP_WRITEBACK
 212
 213 struct bdi_writeback *wb_get_lookup(struct backing_dev_info *bdi,
 214                                     struct cgroup_subsys_state *memcg_css);
 215 struct bdi_writeback *wb_get_create(struct backing_dev_info *bdi,
 216                                     struct cgroup_subsys_state *memcg_css,
 217                                     gfp_t gfp);
 218 void wb_memcg_offline(struct mem_cgroup *memcg);
 219 void wb_blkcg_offline(struct blkcg *blkcg);
 220 int inode_congested(struct inode *inode, int cong_bits);
 221
 222 /**
 223  * inode_cgwb_enabled - test whether cgroup writeback is enabled on an inode
 224  * @inode: inode of interest
 225  *
 226  * Cgroup writeback requires support from the filesystem.  Also, both memcg and
 227  * iocg have to be on the default hierarchy.  Test whether all conditions are
 228  * met.
 229  *
 230  * Note that the test result may change dynamically on the same inode
 231  * depending on how memcg and iocg are configured.
 232  */
 233 static inline bool inode_cgwb_enabled(struct inode *inode)
 234 {
 235         struct backing_dev_info *bdi = inode_to_bdi(inode);
 236
 237         return cgroup_subsys_on_dfl(memory_cgrp_subsys) &&
 238                 cgroup_subsys_on_dfl(io_cgrp_subsys) &&
 239                 bdi_cap_account_dirty(bdi) &&
 240                 (inode->i_sb->s_iflags & SB_I_CGROUPWB);
 241 }
 242
 243 /**
 244  * wb_find_current - find wb for %current on a bdi
 245  * @bdi: bdi of interest
 246  *
 247  * Find the wb of @bdi which matches both the memcg and blkcg of %current.
 248  * Must be called under rcu_read_lock() which protects the returend wb.
 249  * NULL if not found.
 250  */
 251 static inline struct bdi_writeback *wb_find_current(struct backing_dev_info *bdi)
 252 {
 253         struct cgroup_subsys_state *memcg_css;
 254         struct bdi_writeback *wb;
 255
 256         memcg_css = task_css(current, memory_cgrp_id);
 257         if (!memcg_css->parent)
 258                 return &bdi->wb;
 259
 260         wb = radix_tree_lookup(&bdi->cgwb_tree, memcg_css->id);
 261
 262         /*
 263          * %current's blkcg equals the effective blkcg of its memcg.  No
 264          * need to use the relatively expensive cgroup_get_e_css().
 265          */
 266         if (likely(wb && wb->blkcg_css == task_css(current, io_cgrp_id)))
 267                 return wb;
 268         return NULL;
 269 }
 270
 271 /**
 272  * wb_get_create_current - get or create wb for %current on a bdi
 273  * @bdi: bdi of interest
 274  * @gfp: allocation mask
 275  *
 276  * Equivalent to wb_get_create() on %current's memcg.  This function is
 277  * called from a relatively hot path and optimizes the common cases using
 278  * wb_find_current().
 279  */
 280 static inline struct bdi_writeback *
 281 wb_get_create_current(struct backing_dev_info *bdi, gfp_t gfp)
 282 {
 283         struct bdi_writeback *wb;
 284
 285         rcu_read_lock();
 286         wb = wb_find_current(bdi);
 287         if (wb && unlikely(!wb_tryget(wb)))
 288                 wb = NULL;
 289         rcu_read_unlock();
 290
 291         if (unlikely(!wb)) {
 292                 struct cgroup_subsys_state *memcg_css;
 293
 294                 memcg_css = task_get_css(current, memory_cgrp_id);
 295                 wb = wb_get_create(bdi, memcg_css, gfp);
 296                 css_put(memcg_css);
 297         }
 298         return wb;
 299 }
 300
 301 /**
 302  * inode_to_wb_is_valid - test whether an inode has a wb associated
 303  * @inode: inode of interest
 304  *
 305  * Returns %true if @inode has a wb associated.  May be called without any
 306  * locking.
 307  */
 308 static inline bool inode_to_wb_is_valid(struct inode *inode)
 309 {
 310         return inode->i_wb;
 311 }
 312
 313 /**
 314  * inode_to_wb - determine the wb of an inode
 315  * @inode: inode of interest
 316  *
 317  * Returns the wb @inode is currently associated with.  The caller must be
 318  * holding either @inode->i_lock, the i_pages lock, or the
 319  * associated wb's list_lock.
 320  */
 321 static inline struct bdi_writeback *inode_to_wb(const struct inode *inode)
 322 {
 323 #ifdef CONFIG_LOCKDEP
 324         WARN_ON_ONCE(debug_locks &&
 325                      (!lockdep_is_held(&inode->i_lock) &&
 326                       !lockdep_is_held(&inode->i_mapping->i_pages.xa_lock) &&
 327                       !lockdep_is_held(&inode->i_wb->list_lock)));
 328 #endif
 329         return inode->i_wb;
 330 }
 331
 332 /**
 333  * unlocked_inode_to_wb_begin - begin unlocked inode wb access transaction
 334  * @inode: target inode
 335  * @cookie: output param, to be passed to the end function
 336  *
 337  * The caller wants to access the wb associated with @inode but isn't
 338  * holding inode->i_lock, the i_pages lock or wb->list_lock.  This
 339  * function determines the wb associated with @inode and ensures that the
 340  * association doesn't change until the transaction is finished with
 341  * unlocked_inode_to_wb_end().
 342  *
 343  * The caller must call unlocked_inode_to_wb_end() with *@cookie afterwards and
 344  * can't sleep during the transaction.  IRQs may or may not be disabled on
 345  * return.
 346  */
 347 static inline struct bdi_writeback *
 348 unlocked_inode_to_wb_begin(struct inode *inode, struct wb_lock_cookie *cookie)
 349 {
 350         rcu_read_lock();
 351
 352         /*
 353          * Paired with store_release in inode_switch_wbs_work_fn() and
 354          * ensures that we see the new wb if we see cleared I_WB_SWITCH.
 355          */
 356         cookie->locked = smp_load_acquire(&inode->i_state) & I_WB_SWITCH;
 357
 358         if (unlikely(cookie->locked))
 359                 xa_lock_irqsave(&inode->i_mapping->i_pages, cookie->flags);
 360
 361         /*
 362          * Protected by either !I_WB_SWITCH + rcu_read_lock() or the i_pages
 363          * lock.  inode_to_wb() will bark.  Deref directly.
 364          */
 365         return inode->i_wb;
 366 }
 367
 368 /**
 369  * unlocked_inode_to_wb_end - end inode wb access transaction
 370  * @inode: target inode
 371  * @cookie: @cookie from unlocked_inode_to_wb_begin()
 372  */
 373 static inline void unlocked_inode_to_wb_end(struct inode *inode,
 374                                             struct wb_lock_cookie *cookie)
 375 {
 376         if (unlikely(cookie->locked))
 377                 xa_unlock_irqrestore(&inode->i_mapping->i_pages, cookie->flags);
 378
 379         rcu_read_unlock();
 380 }
 381
 382 #else   /* CONFIG_CGROUP_WRITEBACK */
 383
 384 static inline bool inode_cgwb_enabled(struct inode *inode)
 385 {
 386         return false;
 387 }
 388
 389 static inline struct bdi_writeback *wb_find_current(struct backing_dev_info *bdi)
 390 {
 391         return &bdi->wb;
 392 }
 393
 394 static inline struct bdi_writeback *
 395 wb_get_create_current(struct backing_dev_info *bdi, gfp_t gfp)
 396 {
 397         return &bdi->wb;
 398 }
 399
 400 static inline bool inode_to_wb_is_valid(struct inode *inode)
 401 {
 402         return true;
 403 }
 404
 405 static inline struct bdi_writeback *inode_to_wb(struct inode *inode)
 406 {
 407         return &inode_to_bdi(inode)->wb;
 408 }
 409
 410 static inline struct bdi_writeback *
 411 unlocked_inode_to_wb_begin(struct inode *inode, struct wb_lock_cookie *cookie)
 412 {
 413         return inode_to_wb(inode);
 414 }
 415
 416 static inline void unlocked_inode_to_wb_end(struct inode *inode,
 417                                             struct wb_lock_cookie *cookie)
 418 {
 419 }
 420
 421 static inline void wb_memcg_offline(struct mem_cgroup *memcg)
 422 {
 423 }
 424
 425 static inline void wb_blkcg_offline(struct blkcg *blkcg)
 426 {
 427 }
 428
 429 static inline int inode_congested(struct inode *inode, int cong_bits)
 430 {
 431         return wb_congested(&inode_to_bdi(inode)->wb, cong_bits);
 432 }
 433
 434 #endif  /* CONFIG_CGROUP_WRITEBACK */
 435
 436 static inline int inode_read_congested(struct inode *inode)
 437 {
 438         return inode_congested(inode, 1 << WB_sync_congested);
 439 }
 440
 441 static inline int inode_write_congested(struct inode *inode)
 442 {
 443         return inode_congested(inode, 1 << WB_async_congested);
 444 }
 445
 446 static inline int inode_rw_congested(struct inode *inode)
 447 {
 448         return inode_congested(inode, (1 << WB_sync_congested) |
 449                                       (1 << WB_async_congested));
 450 }
 451
 452 static inline int bdi_congested(struct backing_dev_info *bdi, int cong_bits)
 453 {
 454         return wb_congested(&bdi->wb, cong_bits);
 455 }
 456
 457 static inline int bdi_read_congested(struct backing_dev_info *bdi)
 458 {
 459         return bdi_congested(bdi, 1 << WB_sync_congested);
 460 }
 461
 462 static inline int bdi_write_congested(struct backing_dev_info *bdi)
 463 {
 464         return bdi_congested(bdi, 1 << WB_async_congested);
 465 }
 466
 467 static inline int bdi_rw_congested(struct backing_dev_info *bdi)
 468 {
 469         return bdi_congested(bdi, (1 << WB_sync_congested) |
 470                                   (1 << WB_async_congested));
 471 }
 472
 473 const char *bdi_dev_name(struct backing_dev_info *bdi);
 474
 475 #endif  /* _LINUX_BACKING_DEV_H */