include/linux/blk-cgroup.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifndef _BLK_CGROUP_H
   3 #define _BLK_CGROUP_H
   4 /*
   5  * Common Block IO controller cgroup interface
   6  *
   7  * Based on ideas and code from CFQ, CFS and BFQ:
   8  * Copyright (C) 2003 Jens Axboe <axboe@kernel.dk>
   9  *
  10  * Copyright (C) 2008 Fabio Checconi <fabio@gandalf.sssup.it>
  11  *                    Paolo Valente <paolo.valente@unimore.it>
  12  *
  13  * Copyright (C) 2009 Vivek Goyal <vgoyal@redhat.com>
  14  *                    Nauman Rafique <nauman@google.com>
  15  */
  16
  17 #include <linux/cgroup.h>
  18 #include <linux/percpu_counter.h>
  19 #include <linux/seq_file.h>
  20 #include <linux/radix-tree.h>
  21 #include <linux/blkdev.h>
  22 #include <linux/atomic.h>
  23 #include <linux/kthread.h>
  24
  25 /* percpu_counter batch for blkg_[rw]stats, per-cpu drift doesn't matter */
  26 #define BLKG_STAT_CPU_BATCH     (INT_MAX / 2)
  27
  28 /* Max limits for throttle policy */
  29 #define THROTL_IOPS_MAX         UINT_MAX
  30
  31 #ifdef CONFIG_BLK_CGROUP
  32
  33 enum blkg_rwstat_type {
  34         BLKG_RWSTAT_READ,
  35         BLKG_RWSTAT_WRITE,
  36         BLKG_RWSTAT_SYNC,
  37         BLKG_RWSTAT_ASYNC,
  38         BLKG_RWSTAT_DISCARD,
  39
  40         BLKG_RWSTAT_NR,
  41         BLKG_RWSTAT_TOTAL = BLKG_RWSTAT_NR,
  42 };
  43
  44 struct blkcg_gq;
  45
  46 struct blkcg {
  47         struct cgroup_subsys_state      css;
  48         spinlock_t                      lock;
  49
  50         struct radix_tree_root          blkg_tree;
  51         struct blkcg_gq __rcu           *blkg_hint;
  52         struct hlist_head               blkg_list;
  53
  54         struct blkcg_policy_data        *cpd[BLKCG_MAX_POLS];
  55
  56         struct list_head                all_blkcgs_node;
  57 #ifdef CONFIG_CGROUP_WRITEBACK
  58         struct list_head                cgwb_list;
  59         refcount_t                      cgwb_refcnt;
  60 #endif
  61 };
  62
  63 /*
  64  * blkg_[rw]stat->aux_cnt is excluded for local stats but included for
  65  * recursive.  Used to carry stats of dead children, and, for blkg_rwstat,
  66  * to carry result values from read and sum operations.
  67  */
  68 struct blkg_stat {
  69         struct percpu_counter           cpu_cnt;
  70         atomic64_t                      aux_cnt;
  71 };
  72
  73 struct blkg_rwstat {
  74         struct percpu_counter           cpu_cnt[BLKG_RWSTAT_NR];
  75         atomic64_t                      aux_cnt[BLKG_RWSTAT_NR];
  76 };
  77
  78 /*
  79  * A blkcg_gq (blkg) is association between a block cgroup (blkcg) and a
  80  * request_queue (q).  This is used by blkcg policies which need to track
  81  * information per blkcg - q pair.
  82  *
  83  * There can be multiple active blkcg policies and each blkg:policy pair is
  84  * represented by a blkg_policy_data which is allocated and freed by each
  85  * policy's pd_alloc/free_fn() methods.  A policy can allocate private data
  86  * area by allocating larger data structure which embeds blkg_policy_data
  87  * at the beginning.
  88  */
  89 struct blkg_policy_data {
  90         /* the blkg and policy id this per-policy data belongs to */
  91         struct blkcg_gq                 *blkg;
  92         int                             plid;
  93 };
  94
  95 /*
  96  * Policies that need to keep per-blkcg data which is independent from any
  97  * request_queue associated to it should implement cpd_alloc/free_fn()
  98  * methods.  A policy can allocate private data area by allocating larger
  99  * data structure which embeds blkcg_policy_data at the beginning.
 100  * cpd_init() is invoked to let each policy handle per-blkcg data.
 101  */
 102 struct blkcg_policy_data {
 103         /* the blkcg and policy id this per-policy data belongs to */
 104         struct blkcg                    *blkcg;
 105         int                             plid;
 106 };
 107
 108 /* association between a blk cgroup and a request queue */
 109 struct blkcg_gq {
 110         /* Pointer to the associated request_queue */
 111         struct request_queue            *q;
 112         struct list_head                q_node;
 113         struct hlist_node               blkcg_node;
 114         struct blkcg                    *blkcg;
 115
 116         /*
 117          * Each blkg gets congested separately and the congestion state is
 118          * propagated to the matching bdi_writeback_congested.
 119          */
 120         struct bdi_writeback_congested  *wb_congested;
 121
 122         /* all non-root blkcg_gq's are guaranteed to have access to parent */
 123         struct blkcg_gq                 *parent;
 124
 125         /* request allocation list for this blkcg-q pair */
 126         struct request_list             rl;
 127
 128         /* reference count */
 129         struct percpu_ref               refcnt;
 130
 131         /* is this blkg online? protected by both blkcg and q locks */
 132         bool                            online;
 133
 134         struct blkg_rwstat              stat_bytes;
 135         struct blkg_rwstat              stat_ios;
 136
 137         struct blkg_policy_data         *pd[BLKCG_MAX_POLS];
 138
 139         struct rcu_head                 rcu_head;
 140
 141         atomic_t                        use_delay;
 142         atomic64_t                      delay_nsec;
 143         atomic64_t                      delay_start;
 144         u64                             last_delay;
 145         int                             last_use;
 146 };
 147
 148 typedef struct blkcg_policy_data *(blkcg_pol_alloc_cpd_fn)(gfp_t gfp);
 149 typedef void (blkcg_pol_init_cpd_fn)(struct blkcg_policy_data *cpd);
 150 typedef void (blkcg_pol_free_cpd_fn)(struct blkcg_policy_data *cpd);
 151 typedef void (blkcg_pol_bind_cpd_fn)(struct blkcg_policy_data *cpd);
 152 typedef struct blkg_policy_data *(blkcg_pol_alloc_pd_fn)(gfp_t gfp, int node);
 153 typedef void (blkcg_pol_init_pd_fn)(struct blkg_policy_data *pd);
 154 typedef void (blkcg_pol_online_pd_fn)(struct blkg_policy_data *pd);
 155 typedef void (blkcg_pol_offline_pd_fn)(struct blkg_policy_data *pd);
 156 typedef void (blkcg_pol_free_pd_fn)(struct blkg_policy_data *pd);
 157 typedef void (blkcg_pol_reset_pd_stats_fn)(struct blkg_policy_data *pd);
 158 typedef size_t (blkcg_pol_stat_pd_fn)(struct blkg_policy_data *pd, char *buf,
 159                                       size_t size);
 160
 161 struct blkcg_policy {
 162         int                             plid;
 163         /* cgroup files for the policy */
 164         struct cftype                   *dfl_cftypes;
 165         struct cftype                   *legacy_cftypes;
 166
 167         /* operations */
 168         blkcg_pol_alloc_cpd_fn          *cpd_alloc_fn;
 169         blkcg_pol_init_cpd_fn           *cpd_init_fn;
 170         blkcg_pol_free_cpd_fn           *cpd_free_fn;
 171         blkcg_pol_bind_cpd_fn           *cpd_bind_fn;
 172
 173         blkcg_pol_alloc_pd_fn           *pd_alloc_fn;
 174         blkcg_pol_init_pd_fn            *pd_init_fn;
 175         blkcg_pol_online_pd_fn          *pd_online_fn;
 176         blkcg_pol_offline_pd_fn         *pd_offline_fn;
 177         blkcg_pol_free_pd_fn            *pd_free_fn;
 178         blkcg_pol_reset_pd_stats_fn     *pd_reset_stats_fn;
 179         blkcg_pol_stat_pd_fn            *pd_stat_fn;
 180 };
 181
 182 extern struct blkcg blkcg_root;
 183 extern struct cgroup_subsys_state * const blkcg_root_css;
 184
 185 struct blkcg_gq *blkg_lookup_slowpath(struct blkcg *blkcg,
 186                                       struct request_queue *q, bool update_hint);
 187 struct blkcg_gq *__blkg_lookup_create(struct blkcg *blkcg,
 188                                       struct request_queue *q);
 189 struct blkcg_gq *blkg_lookup_create(struct blkcg *blkcg,
 190                                     struct request_queue *q);
 191 int blkcg_init_queue(struct request_queue *q);
 192 void blkcg_drain_queue(struct request_queue *q);
 193 void blkcg_exit_queue(struct request_queue *q);
 194
 195 /* Blkio controller policy registration */
 196 int blkcg_policy_register(struct blkcg_policy *pol);
 197 void blkcg_policy_unregister(struct blkcg_policy *pol);
 198 int blkcg_activate_policy(struct request_queue *q,
 199                           const struct blkcg_policy *pol);
 200 void blkcg_deactivate_policy(struct request_queue *q,
 201                              const struct blkcg_policy *pol);
 202
 203 const char *blkg_dev_name(struct blkcg_gq *blkg);
 204 void blkcg_print_blkgs(struct seq_file *sf, struct blkcg *blkcg,
 205                        u64 (*prfill)(struct seq_file *,
 206                                      struct blkg_policy_data *, int),
 207                        const struct blkcg_policy *pol, int data,
 208                        bool show_total);
 209 u64 __blkg_prfill_u64(struct seq_file *sf, struct blkg_policy_data *pd, u64 v);
 210 u64 __blkg_prfill_rwstat(struct seq_file *sf, struct blkg_policy_data *pd,
 211                          const struct blkg_rwstat *rwstat);
 212 u64 blkg_prfill_stat(struct seq_file *sf, struct blkg_policy_data *pd, int off);
 213 u64 blkg_prfill_rwstat(struct seq_file *sf, struct blkg_policy_data *pd,
 214                        int off);
 215 int blkg_print_stat_bytes(struct seq_file *sf, void *v);
 216 int blkg_print_stat_ios(struct seq_file *sf, void *v);
 217 int blkg_print_stat_bytes_recursive(struct seq_file *sf, void *v);
 218 int blkg_print_stat_ios_recursive(struct seq_file *sf, void *v);
 219
 220 u64 blkg_stat_recursive_sum(struct blkcg_gq *blkg,
 221                             struct blkcg_policy *pol, int off);
 222 struct blkg_rwstat blkg_rwstat_recursive_sum(struct blkcg_gq *blkg,
 223                                              struct blkcg_policy *pol, int off);
 224
 225 struct blkg_conf_ctx {
 226         struct gendisk                  *disk;
 227         struct blkcg_gq                 *blkg;
 228         char                            *body;
 229 };
 230
 231 int blkg_conf_prep(struct blkcg *blkcg, const struct blkcg_policy *pol,
 232                    char *input, struct blkg_conf_ctx *ctx);
 233 void blkg_conf_finish(struct blkg_conf_ctx *ctx);
 234
 235 /**
 236  * blkcg_css - find the current css
 237  *
 238  * Find the css associated with either the kthread or the current task.
 239  * This may return a dying css, so it is up to the caller to use tryget logic
 240  * to confirm it is alive and well.
 241  */
 242 static inline struct cgroup_subsys_state *blkcg_css(void)
 243 {
 244         struct cgroup_subsys_state *css;
 245
 246         css = kthread_blkcg();
 247         if (css)
 248                 return css;
 249         return task_css(current, io_cgrp_id);
 250 }
 251
 252 static inline struct blkcg *css_to_blkcg(struct cgroup_subsys_state *css)
 253 {
 254         return css ? container_of(css, struct blkcg, css) : NULL;
 255 }
 256
 257 /**
 258  * __bio_blkcg - internal version of bio_blkcg for bfq and cfq
 259  *
 260  * DO NOT USE.
 261  * There is a flaw using this version of the function.  In particular, this was
 262  * used in a broken paradigm where association was called on the given css.  It
 263  * is possible though that the returned css from task_css() is in the process
 264  * of dying due to migration of the current task.  So it is improper to assume
 265  * *_get() is going to succeed.  Both BFQ and CFQ rely on this logic and will
 266  * take additional work to handle more gracefully.
 267  */
 268 static inline struct blkcg *__bio_blkcg(struct bio *bio)
 269 {
 270         if (bio && bio->bi_blkg)
 271                 return bio->bi_blkg->blkcg;
 272         return css_to_blkcg(blkcg_css());
 273 }
 274
 275 /**
 276  * bio_blkcg - grab the blkcg associated with a bio
 277  * @bio: target bio
 278  *
 279  * This returns the blkcg associated with a bio, NULL if not associated.
 280  * Callers are expected to either handle NULL or know association has been
 281  * done prior to calling this.
 282  */
 283 static inline struct blkcg *bio_blkcg(struct bio *bio)
 284 {
 285         if (bio && bio->bi_blkg)
 286                 return bio->bi_blkg->blkcg;
 287         return NULL;
 288 }
 289
 290 static inline bool blk_cgroup_congested(void)
 291 {
 292         struct cgroup_subsys_state *css;
 293         bool ret = false;
 294
 295         rcu_read_lock();
 296         css = kthread_blkcg();
 297         if (!css)
 298                 css = task_css(current, io_cgrp_id);
 299         while (css) {
 300                 if (atomic_read(&css->cgroup->congestion_count)) {
 301                         ret = true;
 302                         break;
 303                 }
 304                 css = css->parent;
 305         }
 306         rcu_read_unlock();
 307         return ret;
 308 }
 309
 310 /**
 311  * bio_issue_as_root_blkg - see if this bio needs to be issued as root blkg
 312  * @return: true if this bio needs to be submitted with the root blkg context.
 313  *
 314  * In order to avoid priority inversions we sometimes need to issue a bio as if
 315  * it were attached to the root blkg, and then backcharge to the actual owning
 316  * blkg.  The idea is we do bio_blkcg() to look up the actual context for the
 317  * bio and attach the appropriate blkg to the bio.  Then we call this helper and
 318  * if it is true run with the root blkg for that queue and then do any
 319  * backcharging to the originating cgroup once the io is complete.
 320  */
 321 static inline bool bio_issue_as_root_blkg(struct bio *bio)
 322 {
 323         return (bio->bi_opf & (REQ_META | REQ_SWAP)) != 0;
 324 }
 325
 326 /**
 327  * blkcg_parent - get the parent of a blkcg
 328  * @blkcg: blkcg of interest
 329  *
 330  * Return the parent blkcg of @blkcg.  Can be called anytime.
 331  */
 332 static inline struct blkcg *blkcg_parent(struct blkcg *blkcg)
 333 {
 334         return css_to_blkcg(blkcg->css.parent);
 335 }
 336
 337 /**
 338  * __blkg_lookup - internal version of blkg_lookup()
 339  * @blkcg: blkcg of interest
 340  * @q: request_queue of interest
 341  * @update_hint: whether to update lookup hint with the result or not
 342  *
 343  * This is internal version and shouldn't be used by policy
 344  * implementations.  Looks up blkgs for the @blkcg - @q pair regardless of
 345  * @q's bypass state.  If @update_hint is %true, the caller should be
 346  * holding @q->queue_lock and lookup hint is updated on success.
 347  */
 348 static inline struct blkcg_gq *__blkg_lookup(struct blkcg *blkcg,
 349                                              struct request_queue *q,
 350                                              bool update_hint)
 351 {
 352         struct blkcg_gq *blkg;
 353
 354         if (blkcg == &blkcg_root)
 355                 return q->root_blkg;
 356
 357         blkg = rcu_dereference(blkcg->blkg_hint);
 358         if (blkg && blkg->q == q)
 359                 return blkg;
 360
 361         return blkg_lookup_slowpath(blkcg, q, update_hint);
 362 }
 363
 364 /**
 365  * blkg_lookup - lookup blkg for the specified blkcg - q pair
 366  * @blkcg: blkcg of interest
 367  * @q: request_queue of interest
 368  *
 369  * Lookup blkg for the @blkcg - @q pair.  This function should be called
 370  * under RCU read lock and is guaranteed to return %NULL if @q is bypassing
 371  * - see blk_queue_bypass_start() for details.
 372  */
 373 static inline struct blkcg_gq *blkg_lookup(struct blkcg *blkcg,
 374                                            struct request_queue *q)
 375 {
 376         WARN_ON_ONCE(!rcu_read_lock_held());
 377
 378         if (unlikely(blk_queue_bypass(q)))
 379                 return NULL;
 380         return __blkg_lookup(blkcg, q, false);
 381 }
 382
 383 /**
 384  * blk_queue_root_blkg - return blkg for the (blkcg_root, @q) pair
 385  * @q: request_queue of interest
 386  *
 387  * Lookup blkg for @q at the root level. See also blkg_lookup().
 388  */
 389 static inline struct blkcg_gq *blk_queue_root_blkg(struct request_queue *q)
 390 {
 391         return q->root_blkg;
 392 }
 393
 394 /**
 395  * blkg_to_pdata - get policy private data
 396  * @blkg: blkg of interest
 397  * @pol: policy of interest
 398  *
 399  * Return pointer to private data associated with the @blkg-@pol pair.
 400  */
 401 static inline struct blkg_policy_data *blkg_to_pd(struct blkcg_gq *blkg,
 402                                                   struct blkcg_policy *pol)
 403 {
 404         return blkg ? blkg->pd[pol->plid] : NULL;
 405 }
 406
 407 static inline struct blkcg_policy_data *blkcg_to_cpd(struct blkcg *blkcg,
 408                                                      struct blkcg_policy *pol)
 409 {
 410         return blkcg ? blkcg->cpd[pol->plid] : NULL;
 411 }
 412
 413 /**
 414  * pdata_to_blkg - get blkg associated with policy private data
 415  * @pd: policy private data of interest
 416  *
 417  * @pd is policy private data.  Determine the blkg it's associated with.
 418  */
 419 static inline struct blkcg_gq *pd_to_blkg(struct blkg_policy_data *pd)
 420 {
 421         return pd ? pd->blkg : NULL;
 422 }
 423
 424 static inline struct blkcg *cpd_to_blkcg(struct blkcg_policy_data *cpd)
 425 {
 426         return cpd ? cpd->blkcg : NULL;
 427 }
 428
 429 extern void blkcg_destroy_blkgs(struct blkcg *blkcg);
 430
 431 #ifdef CONFIG_CGROUP_WRITEBACK
 432
 433 /**
 434  * blkcg_cgwb_get - get a reference for blkcg->cgwb_list
 435  * @blkcg: blkcg of interest
 436  *
 437  * This is used to track the number of active wb's related to a blkcg.
 438  */
 439 static inline void blkcg_cgwb_get(struct blkcg *blkcg)
 440 {
 441         refcount_inc(&blkcg->cgwb_refcnt);
 442 }
 443
 444 /**
 445  * blkcg_cgwb_put - put a reference for @blkcg->cgwb_list
 446  * @blkcg: blkcg of interest
 447  *
 448  * This is used to track the number of active wb's related to a blkcg.
 449  * When this count goes to zero, all active wb has finished so the
 450  * blkcg can continue destruction by calling blkcg_destroy_blkgs().
 451  * This work may occur in cgwb_release_workfn() on the cgwb_release
 452  * workqueue.
 453  */
 454 static inline void blkcg_cgwb_put(struct blkcg *blkcg)
 455 {
 456         if (refcount_dec_and_test(&blkcg->cgwb_refcnt))
 457                 blkcg_destroy_blkgs(blkcg);
 458 }
 459
 460 #else
 461
 462 static inline void blkcg_cgwb_get(struct blkcg *blkcg) { }
 463
 464 static inline void blkcg_cgwb_put(struct blkcg *blkcg)
 465 {
 466         /* wb isn't being accounted, so trigger destruction right away */
 467         blkcg_destroy_blkgs(blkcg);
 468 }
 469
 470 #endif
 471
 472 /**
 473  * blkg_path - format cgroup path of blkg
 474  * @blkg: blkg of interest
 475  * @buf: target buffer
 476  * @buflen: target buffer length
 477  *
 478  * Format the path of the cgroup of @blkg into @buf.
 479  */
 480 static inline int blkg_path(struct blkcg_gq *blkg, char *buf, int buflen)
 481 {
 482         return cgroup_path(blkg->blkcg->css.cgroup, buf, buflen);
 483 }
 484
 485 /**
 486  * blkg_get - get a blkg reference
 487  * @blkg: blkg to get
 488  *
 489  * The caller should be holding an existing reference.
 490  */
 491 static inline void blkg_get(struct blkcg_gq *blkg)
 492 {
 493         percpu_ref_get(&blkg->refcnt);
 494 }
 495
 496 /**
 497  * blkg_tryget - try and get a blkg reference
 498  * @blkg: blkg to get
 499  *
 500  * This is for use when doing an RCU lookup of the blkg.  We may be in the midst
 501  * of freeing this blkg, so we can only use it if the refcnt is not zero.
 502  */
 503 static inline bool blkg_tryget(struct blkcg_gq *blkg)
 504 {
 505         return percpu_ref_tryget(&blkg->refcnt);
 506 }
 507
 508 /**
 509  * blkg_tryget_closest - try and get a blkg ref on the closet blkg
 510  * @blkg: blkg to get
 511  *
 512  * This walks up the blkg tree to find the closest non-dying blkg and returns
 513  * the blkg that it did association with as it may not be the passed in blkg.
 514  */
 515 static inline struct blkcg_gq *blkg_tryget_closest(struct blkcg_gq *blkg)
 516 {
 517         while (!percpu_ref_tryget(&blkg->refcnt))
 518                 blkg = blkg->parent;
 519
 520         return blkg;
 521 }
 522
 523 /**
 524  * blkg_put - put a blkg reference
 525  * @blkg: blkg to put
 526  */
 527 static inline void blkg_put(struct blkcg_gq *blkg)
 528 {
 529         percpu_ref_put(&blkg->refcnt);
 530 }
 531
 532 /**
 533  * blkg_for_each_descendant_pre - pre-order walk of a blkg's descendants
 534  * @d_blkg: loop cursor pointing to the current descendant
 535  * @pos_css: used for iteration
 536  * @p_blkg: target blkg to walk descendants of
 537  *
 538  * Walk @c_blkg through the descendants of @p_blkg.  Must be used with RCU
 539  * read locked.  If called under either blkcg or queue lock, the iteration
 540  * is guaranteed to include all and only online blkgs.  The caller may
 541  * update @pos_css by calling css_rightmost_descendant() to skip subtree.
 542  * @p_blkg is included in the iteration and the first node to be visited.
 543  */
 544 #define blkg_for_each_descendant_pre(d_blkg, pos_css, p_blkg)           \
 545         css_for_each_descendant_pre((pos_css), &(p_blkg)->blkcg->css)   \
 546                 if (((d_blkg) = __blkg_lookup(css_to_blkcg(pos_css),    \
 547                                               (p_blkg)->q, false)))
 548
 549 /**
 550  * blkg_for_each_descendant_post - post-order walk of a blkg's descendants
 551  * @d_blkg: loop cursor pointing to the current descendant
 552  * @pos_css: used for iteration
 553  * @p_blkg: target blkg to walk descendants of
 554  *
 555  * Similar to blkg_for_each_descendant_pre() but performs post-order
 556  * traversal instead.  Synchronization rules are the same.  @p_blkg is
 557  * included in the iteration and the last node to be visited.
 558  */
 559 #define blkg_for_each_descendant_post(d_blkg, pos_css, p_blkg)          \
 560         css_for_each_descendant_post((pos_css), &(p_blkg)->blkcg->css)  \
 561                 if (((d_blkg) = __blkg_lookup(css_to_blkcg(pos_css),    \
 562                                               (p_blkg)->q, false)))
 563
 564 /**
 565  * blk_get_rl - get request_list to use
 566  * @q: request_queue of interest
 567  * @bio: bio which will be attached to the allocated request (may be %NULL)
 568  *
 569  * The caller wants to allocate a request from @q to use for @bio.  Find
 570  * the request_list to use and obtain a reference on it.  Should be called
 571  * under queue_lock.  This function is guaranteed to return non-%NULL
 572  * request_list.
 573  */
 574 static inline struct request_list *blk_get_rl(struct request_queue *q,
 575                                               struct bio *bio)
 576 {
 577         struct blkcg *blkcg;
 578         struct blkcg_gq *blkg;
 579
 580         rcu_read_lock();
 581
 582         if (bio && bio->bi_blkg) {
 583                 blkcg = bio->bi_blkg->blkcg;
 584                 if (blkcg == &blkcg_root)
 585                         goto rl_use_root;
 586
 587                 blkg_get(bio->bi_blkg);
 588                 rcu_read_unlock();
 589                 return &bio->bi_blkg->rl;
 590         }
 591
 592         blkcg = css_to_blkcg(blkcg_css());
 593         if (blkcg == &blkcg_root)
 594                 goto rl_use_root;
 595
 596         blkg = blkg_lookup(blkcg, q);
 597         if (unlikely(!blkg))
 598                 blkg = __blkg_lookup_create(blkcg, q);
 599
 600         if (blkg->blkcg == &blkcg_root || !blkg_tryget(blkg))
 601                 goto rl_use_root;
 602
 603         rcu_read_unlock();
 604         return &blkg->rl;
 605
 606         /*
 607          * Each blkg has its own request_list, however, the root blkcg
 608          * uses the request_queue's root_rl.  This is to avoid most
 609          * overhead for the root blkcg.
 610          */
 611 rl_use_root:
 612         rcu_read_unlock();
 613         return &q->root_rl;
 614 }
 615
 616 /**
 617  * blk_put_rl - put request_list
 618  * @rl: request_list to put
 619  *
 620  * Put the reference acquired by blk_get_rl().  Should be called under
 621  * queue_lock.
 622  */
 623 static inline void blk_put_rl(struct request_list *rl)
 624 {
 625         if (rl->blkg->blkcg != &blkcg_root)
 626                 blkg_put(rl->blkg);
 627 }
 628
 629 /**
 630  * blk_rq_set_rl - associate a request with a request_list
 631  * @rq: request of interest
 632  * @rl: target request_list
 633  *
 634  * Associate @rq with @rl so that accounting and freeing can know the
 635  * request_list @rq came from.
 636  */
 637 static inline void blk_rq_set_rl(struct request *rq, struct request_list *rl)
 638 {
 639         rq->rl = rl;
 640 }
 641
 642 /**
 643  * blk_rq_rl - return the request_list a request came from
 644  * @rq: request of interest
 645  *
 646  * Return the request_list @rq is allocated from.
 647  */
 648 static inline struct request_list *blk_rq_rl(struct request *rq)
 649 {
 650         return rq->rl;
 651 }
 652
 653 struct request_list *__blk_queue_next_rl(struct request_list *rl,
 654                                          struct request_queue *q);
 655 /**
 656  * blk_queue_for_each_rl - iterate through all request_lists of a request_queue
 657  *
 658  * Should be used under queue_lock.
 659  */
 660 #define blk_queue_for_each_rl(rl, q)    \
 661         for ((rl) = &(q)->root_rl; (rl); (rl) = __blk_queue_next_rl((rl), (q)))
 662
 663 static inline int blkg_stat_init(struct blkg_stat *stat, gfp_t gfp)
 664 {
 665         int ret;
 666
 667         ret = percpu_counter_init(&stat->cpu_cnt, 0, gfp);
 668         if (ret)
 669                 return ret;
 670
 671         atomic64_set(&stat->aux_cnt, 0);
 672         return 0;
 673 }
 674
 675 static inline void blkg_stat_exit(struct blkg_stat *stat)
 676 {
 677         percpu_counter_destroy(&stat->cpu_cnt);
 678 }
 679
 680 /**
 681  * blkg_stat_add - add a value to a blkg_stat
 682  * @stat: target blkg_stat
 683  * @val: value to add
 684  *
 685  * Add @val to @stat.  The caller must ensure that IRQ on the same CPU
 686  * don't re-enter this function for the same counter.
 687  */
 688 static inline void blkg_stat_add(struct blkg_stat *stat, uint64_t val)
 689 {
 690         percpu_counter_add_batch(&stat->cpu_cnt, val, BLKG_STAT_CPU_BATCH);
 691 }
 692
 693 /**
 694  * blkg_stat_read - read the current value of a blkg_stat
 695  * @stat: blkg_stat to read
 696  */
 697 static inline uint64_t blkg_stat_read(struct blkg_stat *stat)
 698 {
 699         return percpu_counter_sum_positive(&stat->cpu_cnt);
 700 }
 701
 702 /**
 703  * blkg_stat_reset - reset a blkg_stat
 704  * @stat: blkg_stat to reset
 705  */
 706 static inline void blkg_stat_reset(struct blkg_stat *stat)
 707 {
 708         percpu_counter_set(&stat->cpu_cnt, 0);
 709         atomic64_set(&stat->aux_cnt, 0);
 710 }
 711
 712 /**
 713  * blkg_stat_add_aux - add a blkg_stat into another's aux count
 714  * @to: the destination blkg_stat
 715  * @from: the source
 716  *
 717  * Add @from's count including the aux one to @to's aux count.
 718  */
 719 static inline void blkg_stat_add_aux(struct blkg_stat *to,
 720                                      struct blkg_stat *from)
 721 {
 722         atomic64_add(blkg_stat_read(from) + atomic64_read(&from->aux_cnt),
 723                      &to->aux_cnt);
 724 }
 725
 726 static inline int blkg_rwstat_init(struct blkg_rwstat *rwstat, gfp_t gfp)
 727 {
 728         int i, ret;
 729
 730         for (i = 0; i < BLKG_RWSTAT_NR; i++) {
 731                 ret = percpu_counter_init(&rwstat->cpu_cnt[i], 0, gfp);
 732                 if (ret) {
 733                         while (--i >= 0)
 734                                 percpu_counter_destroy(&rwstat->cpu_cnt[i]);
 735                         return ret;
 736                 }
 737                 atomic64_set(&rwstat->aux_cnt[i], 0);
 738         }
 739         return 0;
 740 }
 741
 742 static inline void blkg_rwstat_exit(struct blkg_rwstat *rwstat)
 743 {
 744         int i;
 745
 746         for (i = 0; i < BLKG_RWSTAT_NR; i++)
 747                 percpu_counter_destroy(&rwstat->cpu_cnt[i]);
 748 }
 749
 750 /**
 751  * blkg_rwstat_add - add a value to a blkg_rwstat
 752  * @rwstat: target blkg_rwstat
 753  * @op: REQ_OP and flags
 754  * @val: value to add
 755  *
 756  * Add @val to @rwstat.  The counters are chosen according to @rw.  The
 757  * caller is responsible for synchronizing calls to this function.
 758  */
 759 static inline void blkg_rwstat_add(struct blkg_rwstat *rwstat,
 760                                    unsigned int op, uint64_t val)
 761 {
 762         struct percpu_counter *cnt;
 763
 764         if (op_is_discard(op))
 765                 cnt = &rwstat->cpu_cnt[BLKG_RWSTAT_DISCARD];
 766         else if (op_is_write(op))
 767                 cnt = &rwstat->cpu_cnt[BLKG_RWSTAT_WRITE];
 768         else
 769                 cnt = &rwstat->cpu_cnt[BLKG_RWSTAT_READ];
 770
 771         percpu_counter_add_batch(cnt, val, BLKG_STAT_CPU_BATCH);
 772
 773         if (op_is_sync(op))
 774                 cnt = &rwstat->cpu_cnt[BLKG_RWSTAT_SYNC];
 775         else
 776                 cnt = &rwstat->cpu_cnt[BLKG_RWSTAT_ASYNC];
 777
 778         percpu_counter_add_batch(cnt, val, BLKG_STAT_CPU_BATCH);
 779 }
 780
 781 /**
 782  * blkg_rwstat_read - read the current values of a blkg_rwstat
 783  * @rwstat: blkg_rwstat to read
 784  *
 785  * Read the current snapshot of @rwstat and return it in the aux counts.
 786  */
 787 static inline struct blkg_rwstat blkg_rwstat_read(struct blkg_rwstat *rwstat)
 788 {
 789         struct blkg_rwstat result;
 790         int i;
 791
 792         for (i = 0; i < BLKG_RWSTAT_NR; i++)
 793                 atomic64_set(&result.aux_cnt[i],
 794                              percpu_counter_sum_positive(&rwstat->cpu_cnt[i]));
 795         return result;
 796 }
 797
 798 /**
 799  * blkg_rwstat_total - read the total count of a blkg_rwstat
 800  * @rwstat: blkg_rwstat to read
 801  *
 802  * Return the total count of @rwstat regardless of the IO direction.  This
 803  * function can be called without synchronization and takes care of u64
 804  * atomicity.
 805  */
 806 static inline uint64_t blkg_rwstat_total(struct blkg_rwstat *rwstat)
 807 {
 808         struct blkg_rwstat tmp = blkg_rwstat_read(rwstat);
 809
 810         return atomic64_read(&tmp.aux_cnt[BLKG_RWSTAT_READ]) +
 811                 atomic64_read(&tmp.aux_cnt[BLKG_RWSTAT_WRITE]);
 812 }
 813
 814 /**
 815  * blkg_rwstat_reset - reset a blkg_rwstat
 816  * @rwstat: blkg_rwstat to reset
 817  */
 818 static inline void blkg_rwstat_reset(struct blkg_rwstat *rwstat)
 819 {
 820         int i;
 821
 822         for (i = 0; i < BLKG_RWSTAT_NR; i++) {
 823                 percpu_counter_set(&rwstat->cpu_cnt[i], 0);
 824                 atomic64_set(&rwstat->aux_cnt[i], 0);
 825         }
 826 }
 827
 828 /**
 829  * blkg_rwstat_add_aux - add a blkg_rwstat into another's aux count
 830  * @to: the destination blkg_rwstat
 831  * @from: the source
 832  *
 833  * Add @from's count including the aux one to @to's aux count.
 834  */
 835 static inline void blkg_rwstat_add_aux(struct blkg_rwstat *to,
 836                                        struct blkg_rwstat *from)
 837 {
 838         u64 sum[BLKG_RWSTAT_NR];
 839         int i;
 840
 841         for (i = 0; i < BLKG_RWSTAT_NR; i++)
 842                 sum[i] = percpu_counter_sum_positive(&from->cpu_cnt[i]);
 843
 844         for (i = 0; i < BLKG_RWSTAT_NR; i++)
 845                 atomic64_add(sum[i] + atomic64_read(&from->aux_cnt[i]),
 846                              &to->aux_cnt[i]);
 847 }
 848
 849 #ifdef CONFIG_BLK_DEV_THROTTLING
 850 extern bool blk_throtl_bio(struct request_queue *q, struct blkcg_gq *blkg,
 851                            struct bio *bio);
 852 #else
 853 static inline bool blk_throtl_bio(struct request_queue *q, struct blkcg_gq *blkg,
 854                                   struct bio *bio) { return false; }
 855 #endif
 856
 857
 858 static inline void blkcg_bio_issue_init(struct bio *bio)
 859 {
 860         bio_issue_init(&bio->bi_issue, bio_sectors(bio));
 861 }
 862
 863 static inline bool blkcg_bio_issue_check(struct request_queue *q,
 864                                          struct bio *bio)
 865 {
 866         struct blkcg_gq *blkg;
 867         bool throtl = false;
 868
 869         rcu_read_lock();
 870
 871         bio_associate_create_blkg(q, bio);
 872         blkg = bio->bi_blkg;
 873
 874         throtl = blk_throtl_bio(q, blkg, bio);
 875
 876         if (!throtl) {
 877                 /*
 878                  * If the bio is flagged with BIO_QUEUE_ENTERED it means this
 879                  * is a split bio and we would have already accounted for the
 880                  * size of the bio.
 881                  */
 882                 if (!bio_flagged(bio, BIO_QUEUE_ENTERED))
 883                         blkg_rwstat_add(&blkg->stat_bytes, bio->bi_opf,
 884                                         bio->bi_iter.bi_size);
 885                 blkg_rwstat_add(&blkg->stat_ios, bio->bi_opf, 1);
 886         }
 887
 888         blkcg_bio_issue_init(bio);
 889
 890         rcu_read_unlock();
 891         return !throtl;
 892 }
 893
 894 static inline void blkcg_use_delay(struct blkcg_gq *blkg)
 895 {
 896         if (atomic_add_return(1, &blkg->use_delay) == 1)
 897                 atomic_inc(&blkg->blkcg->css.cgroup->congestion_count);
 898 }
 899
 900 static inline int blkcg_unuse_delay(struct blkcg_gq *blkg)
 901 {
 902         int old = atomic_read(&blkg->use_delay);
 903
 904         if (old == 0)
 905                 return 0;
 906
 907         /*
 908          * We do this song and dance because we can race with somebody else
 909          * adding or removing delay.  If we just did an atomic_dec we'd end up
 910          * negative and we'd already be in trouble.  We need to subtract 1 and
 911          * then check to see if we were the last delay so we can drop the
 912          * congestion count on the cgroup.
 913          */
 914         while (old) {
 915                 int cur = atomic_cmpxchg(&blkg->use_delay, old, old - 1);
 916                 if (cur == old)
 917                         break;
 918                 old = cur;
 919         }
 920
 921         if (old == 0)
 922                 return 0;
 923         if (old == 1)
 924                 atomic_dec(&blkg->blkcg->css.cgroup->congestion_count);
 925         return 1;
 926 }
 927
 928 static inline void blkcg_clear_delay(struct blkcg_gq *blkg)
 929 {
 930         int old = atomic_read(&blkg->use_delay);
 931         if (!old)
 932                 return;
 933         /* We only want 1 person clearing the congestion count for this blkg. */
 934         while (old) {
 935                 int cur = atomic_cmpxchg(&blkg->use_delay, old, 0);
 936                 if (cur == old) {
 937                         atomic_dec(&blkg->blkcg->css.cgroup->congestion_count);
 938                         break;
 939                 }
 940                 old = cur;
 941         }
 942 }
 943
 944 void blkcg_add_delay(struct blkcg_gq *blkg, u64 now, u64 delta);
 945 void blkcg_schedule_throttle(struct request_queue *q, bool use_memdelay);
 946 void blkcg_maybe_throttle_current(void);
 947 #else   /* CONFIG_BLK_CGROUP */
 948
 949 struct blkcg {
 950 };
 951
 952 struct blkg_policy_data {
 953 };
 954
 955 struct blkcg_policy_data {
 956 };
 957
 958 struct blkcg_gq {
 959 };
 960
 961 struct blkcg_policy {
 962 };
 963
 964 #define blkcg_root_css  ((struct cgroup_subsys_state *)ERR_PTR(-EINVAL))
 965
 966 static inline void blkcg_maybe_throttle_current(void) { }
 967 static inline bool blk_cgroup_congested(void) { return false; }
 968
 969 #ifdef CONFIG_BLOCK
 970
 971 static inline void blkcg_schedule_throttle(struct request_queue *q, bool use_memdelay) { }
 972
 973 static inline struct blkcg_gq *blkg_lookup(struct blkcg *blkcg, void *key) { return NULL; }
 974 static inline struct blkcg_gq *blk_queue_root_blkg(struct request_queue *q)
 975 { return NULL; }
 976 static inline int blkcg_init_queue(struct request_queue *q) { return 0; }
 977 static inline void blkcg_drain_queue(struct request_queue *q) { }
 978 static inline void blkcg_exit_queue(struct request_queue *q) { }
 979 static inline int blkcg_policy_register(struct blkcg_policy *pol) { return 0; }
 980 static inline void blkcg_policy_unregister(struct blkcg_policy *pol) { }
 981 static inline int blkcg_activate_policy(struct request_queue *q,
 982                                         const struct blkcg_policy *pol) { return 0; }
 983 static inline void blkcg_deactivate_policy(struct request_queue *q,
 984                                            const struct blkcg_policy *pol) { }
 985
 986 static inline struct blkcg *__bio_blkcg(struct bio *bio) { return NULL; }
 987 static inline struct blkcg *bio_blkcg(struct bio *bio) { return NULL; }
 988
 989 static inline struct blkg_policy_data *blkg_to_pd(struct blkcg_gq *blkg,
 990                                                   struct blkcg_policy *pol) { return NULL; }
 991 static inline struct blkcg_gq *pd_to_blkg(struct blkg_policy_data *pd) { return NULL; }
 992 static inline char *blkg_path(struct blkcg_gq *blkg) { return NULL; }
 993 static inline void blkg_get(struct blkcg_gq *blkg) { }
 994 static inline void blkg_put(struct blkcg_gq *blkg) { }
 995
 996 static inline struct request_list *blk_get_rl(struct request_queue *q,
 997                                               struct bio *bio) { return &q->root_rl; }
 998 static inline void blk_put_rl(struct request_list *rl) { }
 999 static inline void blk_rq_set_rl(struct request *rq, struct request_list *rl) { }
1000 static inline struct request_list *blk_rq_rl(struct request *rq) { return &rq->q->root_rl; }
1001
1002 static inline void blkcg_bio_issue_init(struct bio *bio) { }
1003 static inline bool blkcg_bio_issue_check(struct request_queue *q,
1004                                          struct bio *bio) { return true; }
1005
1006 #define blk_queue_for_each_rl(rl, q)    \
1007         for ((rl) = &(q)->root_rl; (rl); (rl) = NULL)
1008
1009 #endif  /* CONFIG_BLOCK */
1010 #endif  /* CONFIG_BLK_CGROUP */
1011 #endif  /* _BLK_CGROUP_H */