block/blk-core.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (C) 1991, 1992 Linus Torvalds
   4  * Copyright (C) 1994,      Karl Keyte: Added support for disk statistics
   5  * Elevator latency, (C) 2000  Andrea Arcangeli <andrea@suse.de> SuSE
   6  * Queue request tables / lock, selectable elevator, Jens Axboe <axboe@suse.de>
   7  * kernel-doc documentation started by NeilBrown <neilb@cse.unsw.edu.au>
   8  *      -  July2000
   9  * bio rewrite, highmem i/o, etc, Jens Axboe <axboe@suse.de> - may 2001
  10  */
  11
  12 /*
  13  * This handles all read/write requests to block devices
  14  */
  15 #include <linux/kernel.h>
  16 #include <linux/module.h>
  17 #include <linux/bio.h>
  18 #include <linux/blkdev.h>
  19 #include <linux/blk-pm.h>
  20 #include <linux/blk-integrity.h>
  21 #include <linux/highmem.h>
  22 #include <linux/mm.h>
  23 #include <linux/pagemap.h>
  24 #include <linux/kernel_stat.h>
  25 #include <linux/string.h>
  26 #include <linux/init.h>
  27 #include <linux/completion.h>
  28 #include <linux/slab.h>
  29 #include <linux/swap.h>
  30 #include <linux/writeback.h>
  31 #include <linux/task_io_accounting_ops.h>
  32 #include <linux/fault-inject.h>
  33 #include <linux/list_sort.h>
  34 #include <linux/delay.h>
  35 #include <linux/ratelimit.h>
  36 #include <linux/pm_runtime.h>
  37 #include <linux/t10-pi.h>
  38 #include <linux/debugfs.h>
  39 #include <linux/bpf.h>
  40 #include <linux/part_stat.h>
  41 #include <linux/sched/sysctl.h>
  42 #include <linux/blk-crypto.h>
  43
  44 #define CREATE_TRACE_POINTS
  45 #include <trace/events/block.h>
  46
  47 #include "blk.h"
  48 #include "blk-mq-sched.h"
  49 #include "blk-pm.h"
  50 #include "blk-cgroup.h"
  51 #include "blk-throttle.h"
  52
  53 struct dentry *blk_debugfs_root;
  54
  55 EXPORT_TRACEPOINT_SYMBOL_GPL(block_bio_remap);
  56 EXPORT_TRACEPOINT_SYMBOL_GPL(block_rq_remap);
  57 EXPORT_TRACEPOINT_SYMBOL_GPL(block_bio_complete);
  58 EXPORT_TRACEPOINT_SYMBOL_GPL(block_split);
  59 EXPORT_TRACEPOINT_SYMBOL_GPL(block_unplug);
  60 EXPORT_TRACEPOINT_SYMBOL_GPL(block_rq_insert);
  61
  62 static DEFINE_IDA(blk_queue_ida);
  63
  64 /*
  65  * For queue allocation
  66  */
  67 static struct kmem_cache *blk_requestq_cachep;
  68
  69 /*
  70  * Controlling structure to kblockd
  71  */
  72 static struct workqueue_struct *kblockd_workqueue;
  73
  74 /**
  75  * blk_queue_flag_set - atomically set a queue flag
  76  * @flag: flag to be set
  77  * @q: request queue
  78  */
  79 void blk_queue_flag_set(unsigned int flag, struct request_queue *q)
  80 {
  81         set_bit(flag, &q->queue_flags);
  82 }
  83 EXPORT_SYMBOL(blk_queue_flag_set);
  84
  85 /**
  86  * blk_queue_flag_clear - atomically clear a queue flag
  87  * @flag: flag to be cleared
  88  * @q: request queue
  89  */
  90 void blk_queue_flag_clear(unsigned int flag, struct request_queue *q)
  91 {
  92         clear_bit(flag, &q->queue_flags);
  93 }
  94 EXPORT_SYMBOL(blk_queue_flag_clear);
  95
  96 /**
  97  * blk_queue_flag_test_and_set - atomically test and set a queue flag
  98  * @flag: flag to be set
  99  * @q: request queue
 100  *
 101  * Returns the previous value of @flag - 0 if the flag was not set and 1 if
 102  * the flag was already set.
 103  */
 104 bool blk_queue_flag_test_and_set(unsigned int flag, struct request_queue *q)
 105 {
 106         return test_and_set_bit(flag, &q->queue_flags);
 107 }
 108 EXPORT_SYMBOL_GPL(blk_queue_flag_test_and_set);
 109
 110 #define REQ_OP_NAME(name) [REQ_OP_##name] = #name
 111 static const char *const blk_op_name[] = {
 112         REQ_OP_NAME(READ),
 113         REQ_OP_NAME(WRITE),
 114         REQ_OP_NAME(FLUSH),
 115         REQ_OP_NAME(DISCARD),
 116         REQ_OP_NAME(SECURE_ERASE),
 117         REQ_OP_NAME(ZONE_RESET),
 118         REQ_OP_NAME(ZONE_RESET_ALL),
 119         REQ_OP_NAME(ZONE_OPEN),
 120         REQ_OP_NAME(ZONE_CLOSE),
 121         REQ_OP_NAME(ZONE_FINISH),
 122         REQ_OP_NAME(ZONE_APPEND),
 123         REQ_OP_NAME(WRITE_ZEROES),
 124         REQ_OP_NAME(DRV_IN),
 125         REQ_OP_NAME(DRV_OUT),
 126 };
 127 #undef REQ_OP_NAME
 128
 129 /**
 130  * blk_op_str - Return string XXX in the REQ_OP_XXX.
 131  * @op: REQ_OP_XXX.
 132  *
 133  * Description: Centralize block layer function to convert REQ_OP_XXX into
 134  * string format. Useful in the debugging and tracing bio or request. For
 135  * invalid REQ_OP_XXX it returns string "UNKNOWN".
 136  */
 137 inline const char *blk_op_str(enum req_op op)
 138 {
 139         const char *op_str = "UNKNOWN";
 140
 141         if (op < ARRAY_SIZE(blk_op_name) && blk_op_name[op])
 142                 op_str = blk_op_name[op];
 143
 144         return op_str;
 145 }
 146 EXPORT_SYMBOL_GPL(blk_op_str);
 147
 148 static const struct {
 149         int             errno;
 150         const char      *name;
 151 } blk_errors[] = {
 152         [BLK_STS_OK]            = { 0,          "" },
 153         [BLK_STS_NOTSUPP]       = { -EOPNOTSUPP, "operation not supported" },
 154         [BLK_STS_TIMEOUT]       = { -ETIMEDOUT, "timeout" },
 155         [BLK_STS_NOSPC]         = { -ENOSPC,    "critical space allocation" },
 156         [BLK_STS_TRANSPORT]     = { -ENOLINK,   "recoverable transport" },
 157         [BLK_STS_TARGET]        = { -EREMOTEIO, "critical target" },
 158         [BLK_STS_NEXUS]         = { -EBADE,     "critical nexus" },
 159         [BLK_STS_MEDIUM]        = { -ENODATA,   "critical medium" },
 160         [BLK_STS_PROTECTION]    = { -EILSEQ,    "protection" },
 161         [BLK_STS_RESOURCE]      = { -ENOMEM,    "kernel resource" },
 162         [BLK_STS_DEV_RESOURCE]  = { -EBUSY,     "device resource" },
 163         [BLK_STS_AGAIN]         = { -EAGAIN,    "nonblocking retry" },
 164         [BLK_STS_OFFLINE]       = { -ENODEV,    "device offline" },
 165
 166         /* device mapper special case, should not leak out: */
 167         [BLK_STS_DM_REQUEUE]    = { -EREMCHG, "dm internal retry" },
 168
 169         /* zone device specific errors */
 170         [BLK_STS_ZONE_OPEN_RESOURCE]    = { -ETOOMANYREFS, "open zones exceeded" },
 171         [BLK_STS_ZONE_ACTIVE_RESOURCE]  = { -EOVERFLOW, "active zones exceeded" },
 172
 173         /* everything else not covered above: */
 174         [BLK_STS_IOERR]         = { -EIO,       "I/O" },
 175 };
 176
 177 blk_status_t errno_to_blk_status(int errno)
 178 {
 179         int i;
 180
 181         for (i = 0; i < ARRAY_SIZE(blk_errors); i++) {
 182                 if (blk_errors[i].errno == errno)
 183                         return (__force blk_status_t)i;
 184         }
 185
 186         return BLK_STS_IOERR;
 187 }
 188 EXPORT_SYMBOL_GPL(errno_to_blk_status);
 189
 190 int blk_status_to_errno(blk_status_t status)
 191 {
 192         int idx = (__force int)status;
 193
 194         if (WARN_ON_ONCE(idx >= ARRAY_SIZE(blk_errors)))
 195                 return -EIO;
 196         return blk_errors[idx].errno;
 197 }
 198 EXPORT_SYMBOL_GPL(blk_status_to_errno);
 199
 200 const char *blk_status_to_str(blk_status_t status)
 201 {
 202         int idx = (__force int)status;
 203
 204         if (WARN_ON_ONCE(idx >= ARRAY_SIZE(blk_errors)))
 205                 return "<null>";
 206         return blk_errors[idx].name;
 207 }
 208
 209 /**
 210  * blk_sync_queue - cancel any pending callbacks on a queue
 211  * @q: the queue
 212  *
 213  * Description:
 214  *     The block layer may perform asynchronous callback activity
 215  *     on a queue, such as calling the unplug function after a timeout.
 216  *     A block device may call blk_sync_queue to ensure that any
 217  *     such activity is cancelled, thus allowing it to release resources
 218  *     that the callbacks might use. The caller must already have made sure
 219  *     that its ->submit_bio will not re-add plugging prior to calling
 220  *     this function.
 221  *
 222  *     This function does not cancel any asynchronous activity arising
 223  *     out of elevator or throttling code. That would require elevator_exit()
 224  *     and blkcg_exit_queue() to be called with queue lock initialized.
 225  *
 226  */
 227 void blk_sync_queue(struct request_queue *q)
 228 {
 229         del_timer_sync(&q->timeout);
 230         cancel_work_sync(&q->timeout_work);
 231 }
 232 EXPORT_SYMBOL(blk_sync_queue);
 233
 234 /**
 235  * blk_set_pm_only - increment pm_only counter
 236  * @q: request queue pointer
 237  */
 238 void blk_set_pm_only(struct request_queue *q)
 239 {
 240         atomic_inc(&q->pm_only);
 241 }
 242 EXPORT_SYMBOL_GPL(blk_set_pm_only);
 243
 244 void blk_clear_pm_only(struct request_queue *q)
 245 {
 246         int pm_only;
 247
 248         pm_only = atomic_dec_return(&q->pm_only);
 249         WARN_ON_ONCE(pm_only < 0);
 250         if (pm_only == 0)
 251                 wake_up_all(&q->mq_freeze_wq);
 252 }
 253 EXPORT_SYMBOL_GPL(blk_clear_pm_only);
 254
 255 static void blk_free_queue_rcu(struct rcu_head *rcu_head)
 256 {
 257         struct request_queue *q = container_of(rcu_head,
 258                         struct request_queue, rcu_head);
 259
 260         percpu_ref_exit(&q->q_usage_counter);
 261         kmem_cache_free(blk_requestq_cachep, q);
 262 }
 263
 264 static void blk_free_queue(struct request_queue *q)
 265 {
 266         if (q->poll_stat)
 267                 blk_stat_remove_callback(q, q->poll_cb);
 268         blk_stat_free_callback(q->poll_cb);
 269
 270         blk_free_queue_stats(q->stats);
 271         kfree(q->poll_stat);
 272
 273         if (queue_is_mq(q))
 274                 blk_mq_release(q);
 275
 276         ida_free(&blk_queue_ida, q->id);
 277         call_rcu(&q->rcu_head, blk_free_queue_rcu);
 278 }
 279
 280 /**
 281  * blk_put_queue - decrement the request_queue refcount
 282  * @q: the request_queue structure to decrement the refcount for
 283  *
 284  * Decrements the refcount of the request_queue and free it when the refcount
 285  * reaches 0.
 286  */
 287 void blk_put_queue(struct request_queue *q)
 288 {
 289         if (refcount_dec_and_test(&q->refs))
 290                 blk_free_queue(q);
 291 }
 292 EXPORT_SYMBOL(blk_put_queue);
 293
 294 void blk_queue_start_drain(struct request_queue *q)
 295 {
 296         /*
 297          * When queue DYING flag is set, we need to block new req
 298          * entering queue, so we call blk_freeze_queue_start() to
 299          * prevent I/O from crossing blk_queue_enter().
 300          */
 301         blk_freeze_queue_start(q);
 302         if (queue_is_mq(q))
 303                 blk_mq_wake_waiters(q);
 304         /* Make blk_queue_enter() reexamine the DYING flag. */
 305         wake_up_all(&q->mq_freeze_wq);
 306 }
 307
 308 /**
 309  * blk_queue_enter() - try to increase q->q_usage_counter
 310  * @q: request queue pointer
 311  * @flags: BLK_MQ_REQ_NOWAIT and/or BLK_MQ_REQ_PM
 312  */
 313 int blk_queue_enter(struct request_queue *q, blk_mq_req_flags_t flags)
 314 {
 315         const bool pm = flags & BLK_MQ_REQ_PM;
 316
 317         while (!blk_try_enter_queue(q, pm)) {
 318                 if (flags & BLK_MQ_REQ_NOWAIT)
 319                         return -EAGAIN;
 320
 321                 /*
 322                  * read pair of barrier in blk_freeze_queue_start(), we need to
 323                  * order reading __PERCPU_REF_DEAD flag of .q_usage_counter and
 324                  * reading .mq_freeze_depth or queue dying flag, otherwise the
 325                  * following wait may never return if the two reads are
 326                  * reordered.
 327                  */
 328                 smp_rmb();
 329                 wait_event(q->mq_freeze_wq,
 330                            (!q->mq_freeze_depth &&
 331                             blk_pm_resume_queue(pm, q)) ||
 332                            blk_queue_dying(q));
 333                 if (blk_queue_dying(q))
 334                         return -ENODEV;
 335         }
 336
 337         return 0;
 338 }
 339
 340 int __bio_queue_enter(struct request_queue *q, struct bio *bio)
 341 {
 342         while (!blk_try_enter_queue(q, false)) {
 343                 struct gendisk *disk = bio->bi_bdev->bd_disk;
 344
 345                 if (bio->bi_opf & REQ_NOWAIT) {
 346                         if (test_bit(GD_DEAD, &disk->state))
 347                                 goto dead;
 348                         bio_wouldblock_error(bio);
 349                         return -EAGAIN;
 350                 }
 351
 352                 /*
 353                  * read pair of barrier in blk_freeze_queue_start(), we need to
 354                  * order reading __PERCPU_REF_DEAD flag of .q_usage_counter and
 355                  * reading .mq_freeze_depth or queue dying flag, otherwise the
 356                  * following wait may never return if the two reads are
 357                  * reordered.
 358                  */
 359                 smp_rmb();
 360                 wait_event(q->mq_freeze_wq,
 361                            (!q->mq_freeze_depth &&
 362                             blk_pm_resume_queue(false, q)) ||
 363                            test_bit(GD_DEAD, &disk->state));
 364                 if (test_bit(GD_DEAD, &disk->state))
 365                         goto dead;
 366         }
 367
 368         return 0;
 369 dead:
 370         bio_io_error(bio);
 371         return -ENODEV;
 372 }
 373
 374 void blk_queue_exit(struct request_queue *q)
 375 {
 376         percpu_ref_put(&q->q_usage_counter);
 377 }
 378
 379 static void blk_queue_usage_counter_release(struct percpu_ref *ref)
 380 {
 381         struct request_queue *q =
 382                 container_of(ref, struct request_queue, q_usage_counter);
 383
 384         wake_up_all(&q->mq_freeze_wq);
 385 }
 386
 387 static void blk_rq_timed_out_timer(struct timer_list *t)
 388 {
 389         struct request_queue *q = from_timer(q, t, timeout);
 390
 391         kblockd_schedule_work(&q->timeout_work);
 392 }
 393
 394 static void blk_timeout_work(struct work_struct *work)
 395 {
 396 }
 397
 398 struct request_queue *blk_alloc_queue(int node_id)
 399 {
 400         struct request_queue *q;
 401
 402         q = kmem_cache_alloc_node(blk_requestq_cachep, GFP_KERNEL | __GFP_ZERO,
 403                                   node_id);
 404         if (!q)
 405                 return NULL;
 406
 407         q->last_merge = NULL;
 408
 409         q->id = ida_alloc(&blk_queue_ida, GFP_KERNEL);
 410         if (q->id < 0)
 411                 goto fail_q;
 412
 413         q->stats = blk_alloc_queue_stats();
 414         if (!q->stats)
 415                 goto fail_id;
 416
 417         q->node = node_id;
 418
 419         atomic_set(&q->nr_active_requests_shared_tags, 0);
 420
 421         timer_setup(&q->timeout, blk_rq_timed_out_timer, 0);
 422         INIT_WORK(&q->timeout_work, blk_timeout_work);
 423         INIT_LIST_HEAD(&q->icq_list);
 424
 425         refcount_set(&q->refs, 1);
 426         mutex_init(&q->debugfs_mutex);
 427         mutex_init(&q->sysfs_lock);
 428         mutex_init(&q->sysfs_dir_lock);
 429         spin_lock_init(&q->queue_lock);
 430
 431         init_waitqueue_head(&q->mq_freeze_wq);
 432         mutex_init(&q->mq_freeze_lock);
 433
 434         /*
 435          * Init percpu_ref in atomic mode so that it's faster to shutdown.
 436          * See blk_register_queue() for details.
 437          */
 438         if (percpu_ref_init(&q->q_usage_counter,
 439                                 blk_queue_usage_counter_release,
 440                                 PERCPU_REF_INIT_ATOMIC, GFP_KERNEL))
 441                 goto fail_stats;
 442
 443         blk_set_default_limits(&q->limits);
 444         q->nr_requests = BLKDEV_DEFAULT_RQ;
 445
 446         return q;
 447
 448 fail_stats:
 449         blk_free_queue_stats(q->stats);
 450 fail_id:
 451         ida_free(&blk_queue_ida, q->id);
 452 fail_q:
 453         kmem_cache_free(blk_requestq_cachep, q);
 454         return NULL;
 455 }
 456
 457 /**
 458  * blk_get_queue - increment the request_queue refcount
 459  * @q: the request_queue structure to increment the refcount for
 460  *
 461  * Increment the refcount of the request_queue kobject.
 462  *
 463  * Context: Any context.
 464  */
 465 bool blk_get_queue(struct request_queue *q)
 466 {
 467         if (unlikely(blk_queue_dying(q)))
 468                 return false;
 469         refcount_inc(&q->refs);
 470         return true;
 471 }
 472 EXPORT_SYMBOL(blk_get_queue);
 473
 474 #ifdef CONFIG_FAIL_MAKE_REQUEST
 475
 476 static DECLARE_FAULT_ATTR(fail_make_request);
 477
 478 static int __init setup_fail_make_request(char *str)
 479 {
 480         return setup_fault_attr(&fail_make_request, str);
 481 }
 482 __setup("fail_make_request=", setup_fail_make_request);
 483
 484 bool should_fail_request(struct block_device *part, unsigned int bytes)
 485 {
 486         return part->bd_make_it_fail && should_fail(&fail_make_request, bytes);
 487 }
 488
 489 static int __init fail_make_request_debugfs(void)
 490 {
 491         struct dentry *dir = fault_create_debugfs_attr("fail_make_request",
 492                                                 NULL, &fail_make_request);
 493
 494         return PTR_ERR_OR_ZERO(dir);
 495 }
 496
 497 late_initcall(fail_make_request_debugfs);
 498 #endif /* CONFIG_FAIL_MAKE_REQUEST */
 499
 500 static inline void bio_check_ro(struct bio *bio)
 501 {
 502         if (op_is_write(bio_op(bio)) && bdev_read_only(bio->bi_bdev)) {
 503                 if (op_is_flush(bio->bi_opf) && !bio_sectors(bio))
 504                         return;
 505                 pr_warn("Trying to write to read-only block-device %pg\n",
 506                         bio->bi_bdev);
 507                 /* Older lvm-tools actually trigger this */
 508         }
 509 }
 510
 511 static noinline int should_fail_bio(struct bio *bio)
 512 {
 513         if (should_fail_request(bdev_whole(bio->bi_bdev), bio->bi_iter.bi_size))
 514                 return -EIO;
 515         return 0;
 516 }
 517 ALLOW_ERROR_INJECTION(should_fail_bio, ERRNO);
 518
 519 /*
 520  * Check whether this bio extends beyond the end of the device or partition.
 521  * This may well happen - the kernel calls bread() without checking the size of
 522  * the device, e.g., when mounting a file system.
 523  */
 524 static inline int bio_check_eod(struct bio *bio)
 525 {
 526         sector_t maxsector = bdev_nr_sectors(bio->bi_bdev);
 527         unsigned int nr_sectors = bio_sectors(bio);
 528
 529         if (nr_sectors && maxsector &&
 530             (nr_sectors > maxsector ||
 531              bio->bi_iter.bi_sector > maxsector - nr_sectors)) {
 532                 pr_info_ratelimited("%s: attempt to access beyond end of device\n"
 533                                     "%pg: rw=%d, sector=%llu, nr_sectors = %u limit=%llu\n",
 534                                     current->comm, bio->bi_bdev, bio->bi_opf,
 535                                     bio->bi_iter.bi_sector, nr_sectors, maxsector);
 536                 return -EIO;
 537         }
 538         return 0;
 539 }
 540
 541 /*
 542  * Remap block n of partition p to block n+start(p) of the disk.
 543  */
 544 static int blk_partition_remap(struct bio *bio)
 545 {
 546         struct block_device *p = bio->bi_bdev;
 547
 548         if (unlikely(should_fail_request(p, bio->bi_iter.bi_size)))
 549                 return -EIO;
 550         if (bio_sectors(bio)) {
 551                 bio->bi_iter.bi_sector += p->bd_start_sect;
 552                 trace_block_bio_remap(bio, p->bd_dev,
 553                                       bio->bi_iter.bi_sector -
 554                                       p->bd_start_sect);
 555         }
 556         bio_set_flag(bio, BIO_REMAPPED);
 557         return 0;
 558 }
 559
 560 /*
 561  * Check write append to a zoned block device.
 562  */
 563 static inline blk_status_t blk_check_zone_append(struct request_queue *q,
 564                                                  struct bio *bio)
 565 {
 566         int nr_sectors = bio_sectors(bio);
 567
 568         /* Only applicable to zoned block devices */
 569         if (!bdev_is_zoned(bio->bi_bdev))
 570                 return BLK_STS_NOTSUPP;
 571
 572         /* The bio sector must point to the start of a sequential zone */
 573         if (!bdev_is_zone_start(bio->bi_bdev, bio->bi_iter.bi_sector) ||
 574             !bio_zone_is_seq(bio))
 575                 return BLK_STS_IOERR;
 576
 577         /*
 578          * Not allowed to cross zone boundaries. Otherwise, the BIO will be
 579          * split and could result in non-contiguous sectors being written in
 580          * different zones.
 581          */
 582         if (nr_sectors > q->limits.chunk_sectors)
 583                 return BLK_STS_IOERR;
 584
 585         /* Make sure the BIO is small enough and will not get split */
 586         if (nr_sectors > q->limits.max_zone_append_sectors)
 587                 return BLK_STS_IOERR;
 588
 589         bio->bi_opf |= REQ_NOMERGE;
 590
 591         return BLK_STS_OK;
 592 }
 593
 594 static void __submit_bio(struct bio *bio)
 595 {
 596         struct gendisk *disk = bio->bi_bdev->bd_disk;
 597
 598         if (unlikely(!blk_crypto_bio_prep(&bio)))
 599                 return;
 600
 601         if (!disk->fops->submit_bio) {
 602                 blk_mq_submit_bio(bio);
 603         } else if (likely(bio_queue_enter(bio) == 0)) {
 604                 disk->fops->submit_bio(bio);
 605                 blk_queue_exit(disk->queue);
 606         }
 607 }
 608
 609 /*
 610  * The loop in this function may be a bit non-obvious, and so deserves some
 611  * explanation:
 612  *
 613  *  - Before entering the loop, bio->bi_next is NULL (as all callers ensure
 614  *    that), so we have a list with a single bio.
 615  *  - We pretend that we have just taken it off a longer list, so we assign
 616  *    bio_list to a pointer to the bio_list_on_stack, thus initialising the
 617  *    bio_list of new bios to be added.  ->submit_bio() may indeed add some more
 618  *    bios through a recursive call to submit_bio_noacct.  If it did, we find a
 619  *    non-NULL value in bio_list and re-enter the loop from the top.
 620  *  - In this case we really did just take the bio of the top of the list (no
 621  *    pretending) and so remove it from bio_list, and call into ->submit_bio()
 622  *    again.
 623  *
 624  * bio_list_on_stack[0] contains bios submitted by the current ->submit_bio.
 625  * bio_list_on_stack[1] contains bios that were submitted before the current
 626  *      ->submit_bio, but that haven't been processed yet.
 627  */
 628 static void __submit_bio_noacct(struct bio *bio)
 629 {
 630         struct bio_list bio_list_on_stack[2];
 631
 632         BUG_ON(bio->bi_next);
 633
 634         bio_list_init(&bio_list_on_stack[0]);
 635         current->bio_list = bio_list_on_stack;
 636
 637         do {
 638                 struct request_queue *q = bdev_get_queue(bio->bi_bdev);
 639                 struct bio_list lower, same;
 640
 641                 /*
 642                  * Create a fresh bio_list for all subordinate requests.
 643                  */
 644                 bio_list_on_stack[1] = bio_list_on_stack[0];
 645                 bio_list_init(&bio_list_on_stack[0]);
 646
 647                 __submit_bio(bio);
 648
 649                 /*
 650                  * Sort new bios into those for a lower level and those for the
 651                  * same level.
 652                  */
 653                 bio_list_init(&lower);
 654                 bio_list_init(&same);
 655                 while ((bio = bio_list_pop(&bio_list_on_stack[0])) != NULL)
 656                         if (q == bdev_get_queue(bio->bi_bdev))
 657                                 bio_list_add(&same, bio);
 658                         else
 659                                 bio_list_add(&lower, bio);
 660
 661                 /*
 662                  * Now assemble so we handle the lowest level first.
 663                  */
 664                 bio_list_merge(&bio_list_on_stack[0], &lower);
 665                 bio_list_merge(&bio_list_on_stack[0], &same);
 666                 bio_list_merge(&bio_list_on_stack[0], &bio_list_on_stack[1]);
 667         } while ((bio = bio_list_pop(&bio_list_on_stack[0])));
 668
 669         current->bio_list = NULL;
 670 }
 671
 672 static void __submit_bio_noacct_mq(struct bio *bio)
 673 {
 674         struct bio_list bio_list[2] = { };
 675
 676         current->bio_list = bio_list;
 677
 678         do {
 679                 __submit_bio(bio);
 680         } while ((bio = bio_list_pop(&bio_list[0])));
 681
 682         current->bio_list = NULL;
 683 }
 684
 685 void submit_bio_noacct_nocheck(struct bio *bio)
 686 {
 687         blk_cgroup_bio_start(bio);
 688         blkcg_bio_issue_init(bio);
 689
 690         if (!bio_flagged(bio, BIO_TRACE_COMPLETION)) {
 691                 trace_block_bio_queue(bio);
 692                 /*
 693                  * Now that enqueuing has been traced, we need to trace
 694                  * completion as well.
 695                  */
 696                 bio_set_flag(bio, BIO_TRACE_COMPLETION);
 697         }
 698
 699         /*
 700          * We only want one ->submit_bio to be active at a time, else stack
 701          * usage with stacked devices could be a problem.  Use current->bio_list
 702          * to collect a list of requests submited by a ->submit_bio method while
 703          * it is active, and then process them after it returned.
 704          */
 705         if (current->bio_list)
 706                 bio_list_add(&current->bio_list[0], bio);
 707         else if (!bio->bi_bdev->bd_disk->fops->submit_bio)
 708                 __submit_bio_noacct_mq(bio);
 709         else
 710                 __submit_bio_noacct(bio);
 711 }
 712
 713 /**
 714  * submit_bio_noacct - re-submit a bio to the block device layer for I/O
 715  * @bio:  The bio describing the location in memory and on the device.
 716  *
 717  * This is a version of submit_bio() that shall only be used for I/O that is
 718  * resubmitted to lower level drivers by stacking block drivers.  All file
 719  * systems and other upper level users of the block layer should use
 720  * submit_bio() instead.
 721  */
 722 void submit_bio_noacct(struct bio *bio)
 723 {
 724         struct block_device *bdev = bio->bi_bdev;
 725         struct request_queue *q = bdev_get_queue(bdev);
 726         blk_status_t status = BLK_STS_IOERR;
 727         struct blk_plug *plug;
 728
 729         might_sleep();
 730
 731         plug = blk_mq_plug(bio);
 732         if (plug && plug->nowait)
 733                 bio->bi_opf |= REQ_NOWAIT;
 734
 735         /*
 736          * For a REQ_NOWAIT based request, return -EOPNOTSUPP
 737          * if queue does not support NOWAIT.
 738          */
 739         if ((bio->bi_opf & REQ_NOWAIT) && !bdev_nowait(bdev))
 740                 goto not_supported;
 741
 742         if (should_fail_bio(bio))
 743                 goto end_io;
 744         bio_check_ro(bio);
 745         if (!bio_flagged(bio, BIO_REMAPPED)) {
 746                 if (unlikely(bio_check_eod(bio)))
 747                         goto end_io;
 748                 if (bdev->bd_partno && unlikely(blk_partition_remap(bio)))
 749                         goto end_io;
 750         }
 751
 752         /*
 753          * Filter flush bio's early so that bio based drivers without flush
 754          * support don't have to worry about them.
 755          */
 756         if (op_is_flush(bio->bi_opf)) {
 757                 if (WARN_ON_ONCE(bio_op(bio) != REQ_OP_WRITE &&
 758                                  bio_op(bio) != REQ_OP_ZONE_APPEND))
 759                         goto end_io;
 760                 if (!test_bit(QUEUE_FLAG_WC, &q->queue_flags)) {
 761                         bio->bi_opf &= ~(REQ_PREFLUSH | REQ_FUA);
 762                         if (!bio_sectors(bio)) {
 763                                 status = BLK_STS_OK;
 764                                 goto end_io;
 765                         }
 766                 }
 767         }
 768
 769         if (!test_bit(QUEUE_FLAG_POLL, &q->queue_flags))
 770                 bio_clear_polled(bio);
 771
 772         switch (bio_op(bio)) {
 773         case REQ_OP_DISCARD:
 774                 if (!bdev_max_discard_sectors(bdev))
 775                         goto not_supported;
 776                 break;
 777         case REQ_OP_SECURE_ERASE:
 778                 if (!bdev_max_secure_erase_sectors(bdev))
 779                         goto not_supported;
 780                 break;
 781         case REQ_OP_ZONE_APPEND:
 782                 status = blk_check_zone_append(q, bio);
 783                 if (status != BLK_STS_OK)
 784                         goto end_io;
 785                 break;
 786         case REQ_OP_ZONE_RESET:
 787         case REQ_OP_ZONE_OPEN:
 788         case REQ_OP_ZONE_CLOSE:
 789         case REQ_OP_ZONE_FINISH:
 790                 if (!bdev_is_zoned(bio->bi_bdev))
 791                         goto not_supported;
 792                 break;
 793         case REQ_OP_ZONE_RESET_ALL:
 794                 if (!bdev_is_zoned(bio->bi_bdev) || !blk_queue_zone_resetall(q))
 795                         goto not_supported;
 796                 break;
 797         case REQ_OP_WRITE_ZEROES:
 798                 if (!q->limits.max_write_zeroes_sectors)
 799                         goto not_supported;
 800                 break;
 801         default:
 802                 break;
 803         }
 804
 805         if (blk_throtl_bio(bio))
 806                 return;
 807         submit_bio_noacct_nocheck(bio);
 808         return;
 809
 810 not_supported:
 811         status = BLK_STS_NOTSUPP;
 812 end_io:
 813         bio->bi_status = status;
 814         bio_endio(bio);
 815 }
 816 EXPORT_SYMBOL(submit_bio_noacct);
 817
 818 /**
 819  * submit_bio - submit a bio to the block device layer for I/O
 820  * @bio: The &struct bio which describes the I/O
 821  *
 822  * submit_bio() is used to submit I/O requests to block devices.  It is passed a
 823  * fully set up &struct bio that describes the I/O that needs to be done.  The
 824  * bio will be send to the device described by the bi_bdev field.
 825  *
 826  * The success/failure status of the request, along with notification of
 827  * completion, is delivered asynchronously through the ->bi_end_io() callback
 828  * in @bio.  The bio must NOT be touched by the caller until ->bi_end_io() has
 829  * been called.
 830  */
 831 void submit_bio(struct bio *bio)
 832 {
 833         if (blkcg_punt_bio_submit(bio))
 834                 return;
 835
 836         if (bio_op(bio) == REQ_OP_READ) {
 837                 task_io_account_read(bio->bi_iter.bi_size);
 838                 count_vm_events(PGPGIN, bio_sectors(bio));
 839         } else if (bio_op(bio) == REQ_OP_WRITE) {
 840                 count_vm_events(PGPGOUT, bio_sectors(bio));
 841         }
 842
 843         submit_bio_noacct(bio);
 844 }
 845 EXPORT_SYMBOL(submit_bio);
 846
 847 /**
 848  * bio_poll - poll for BIO completions
 849  * @bio: bio to poll for
 850  * @iob: batches of IO
 851  * @flags: BLK_POLL_* flags that control the behavior
 852  *
 853  * Poll for completions on queue associated with the bio. Returns number of
 854  * completed entries found.
 855  *
 856  * Note: the caller must either be the context that submitted @bio, or
 857  * be in a RCU critical section to prevent freeing of @bio.
 858  */
 859 int bio_poll(struct bio *bio, struct io_comp_batch *iob, unsigned int flags)
 860 {
 861         struct request_queue *q = bdev_get_queue(bio->bi_bdev);
 862         blk_qc_t cookie = READ_ONCE(bio->bi_cookie);
 863         int ret = 0;
 864
 865         if (cookie == BLK_QC_T_NONE ||
 866             !test_bit(QUEUE_FLAG_POLL, &q->queue_flags))
 867                 return 0;
 868
 869         /*
 870          * As the requests that require a zone lock are not plugged in the
 871          * first place, directly accessing the plug instead of using
 872          * blk_mq_plug() should not have any consequences during flushing for
 873          * zoned devices.
 874          */
 875         blk_flush_plug(current->plug, false);
 876
 877         /*
 878          * We need to be able to enter a frozen queue, similar to how
 879          * timeouts also need to do that. If that is blocked, then we can
 880          * have pending IO when a queue freeze is started, and then the
 881          * wait for the freeze to finish will wait for polled requests to
 882          * timeout as the poller is preventer from entering the queue and
 883          * completing them. As long as we prevent new IO from being queued,
 884          * that should be all that matters.
 885          */
 886         if (!percpu_ref_tryget(&q->q_usage_counter))
 887                 return 0;
 888         if (queue_is_mq(q)) {
 889                 ret = blk_mq_poll(q, cookie, iob, flags);
 890         } else {
 891                 struct gendisk *disk = q->disk;
 892
 893                 if (disk && disk->fops->poll_bio)
 894                         ret = disk->fops->poll_bio(bio, iob, flags);
 895         }
 896         blk_queue_exit(q);
 897         return ret;
 898 }
 899 EXPORT_SYMBOL_GPL(bio_poll);
 900
 901 /*
 902  * Helper to implement file_operations.iopoll.  Requires the bio to be stored
 903  * in iocb->private, and cleared before freeing the bio.
 904  */
 905 int iocb_bio_iopoll(struct kiocb *kiocb, struct io_comp_batch *iob,
 906                     unsigned int flags)
 907 {
 908         struct bio *bio;
 909         int ret = 0;
 910
 911         /*
 912          * Note: the bio cache only uses SLAB_TYPESAFE_BY_RCU, so bio can
 913          * point to a freshly allocated bio at this point.  If that happens
 914          * we have a few cases to consider:
 915          *
 916          *  1) the bio is beeing initialized and bi_bdev is NULL.  We can just
 917          *     simply nothing in this case
 918          *  2) the bio points to a not poll enabled device.  bio_poll will catch
 919          *     this and return 0
 920          *  3) the bio points to a poll capable device, including but not
 921          *     limited to the one that the original bio pointed to.  In this
 922          *     case we will call into the actual poll method and poll for I/O,
 923          *     even if we don't need to, but it won't cause harm either.
 924          *
 925          * For cases 2) and 3) above the RCU grace period ensures that bi_bdev
 926          * is still allocated. Because partitions hold a reference to the whole
 927          * device bdev and thus disk, the disk is also still valid.  Grabbing
 928          * a reference to the queue in bio_poll() ensures the hctxs and requests
 929          * are still valid as well.
 930          */
 931         rcu_read_lock();
 932         bio = READ_ONCE(kiocb->private);
 933         if (bio && bio->bi_bdev)
 934                 ret = bio_poll(bio, iob, flags);
 935         rcu_read_unlock();
 936
 937         return ret;
 938 }
 939 EXPORT_SYMBOL_GPL(iocb_bio_iopoll);
 940
 941 void update_io_ticks(struct block_device *part, unsigned long now, bool end)
 942 {
 943         unsigned long stamp;
 944 again:
 945         stamp = READ_ONCE(part->bd_stamp);
 946         if (unlikely(time_after(now, stamp))) {
 947                 if (likely(try_cmpxchg(&part->bd_stamp, &stamp, now)))
 948                         __part_stat_add(part, io_ticks, end ? now - stamp : 1);
 949         }
 950         if (part->bd_partno) {
 951                 part = bdev_whole(part);
 952                 goto again;
 953         }
 954 }
 955
 956 unsigned long bdev_start_io_acct(struct block_device *bdev,
 957                                  unsigned int sectors, enum req_op op,
 958                                  unsigned long start_time)
 959 {
 960         const int sgrp = op_stat_group(op);
 961
 962         part_stat_lock();
 963         update_io_ticks(bdev, start_time, false);
 964         part_stat_inc(bdev, ios[sgrp]);
 965         part_stat_add(bdev, sectors[sgrp], sectors);
 966         part_stat_local_inc(bdev, in_flight[op_is_write(op)]);
 967         part_stat_unlock();
 968
 969         return start_time;
 970 }
 971 EXPORT_SYMBOL(bdev_start_io_acct);
 972
 973 /**
 974  * bio_start_io_acct - start I/O accounting for bio based drivers
 975  * @bio:        bio to start account for
 976  *
 977  * Returns the start time that should be passed back to bio_end_io_acct().
 978  */
 979 unsigned long bio_start_io_acct(struct bio *bio)
 980 {
 981         return bdev_start_io_acct(bio->bi_bdev, bio_sectors(bio),
 982                                   bio_op(bio), jiffies);
 983 }
 984 EXPORT_SYMBOL_GPL(bio_start_io_acct);
 985
 986 void bdev_end_io_acct(struct block_device *bdev, enum req_op op,
 987                       unsigned long start_time)
 988 {
 989         const int sgrp = op_stat_group(op);
 990         unsigned long now = READ_ONCE(jiffies);
 991         unsigned long duration = now - start_time;
 992
 993         part_stat_lock();
 994         update_io_ticks(bdev, now, true);
 995         part_stat_add(bdev, nsecs[sgrp], jiffies_to_nsecs(duration));
 996         part_stat_local_dec(bdev, in_flight[op_is_write(op)]);
 997         part_stat_unlock();
 998 }
 999 EXPORT_SYMBOL(bdev_end_io_acct);
1000
1001 void bio_end_io_acct_remapped(struct bio *bio, unsigned long start_time,
1002                               struct block_device *orig_bdev)
1003 {
1004         bdev_end_io_acct(orig_bdev, bio_op(bio), start_time);
1005 }
1006 EXPORT_SYMBOL_GPL(bio_end_io_acct_remapped);
1007
1008 /**
1009  * blk_lld_busy - Check if underlying low-level drivers of a device are busy
1010  * @q : the queue of the device being checked
1011  *
1012  * Description:
1013  *    Check if underlying low-level drivers of a device are busy.
1014  *    If the drivers want to export their busy state, they must set own
1015  *    exporting function using blk_queue_lld_busy() first.
1016  *
1017  *    Basically, this function is used only by request stacking drivers
1018  *    to stop dispatching requests to underlying devices when underlying
1019  *    devices are busy.  This behavior helps more I/O merging on the queue
1020  *    of the request stacking driver and prevents I/O throughput regression
1021  *    on burst I/O load.
1022  *
1023  * Return:
1024  *    0 - Not busy (The request stacking driver should dispatch request)
1025  *    1 - Busy (The request stacking driver should stop dispatching request)
1026  */
1027 int blk_lld_busy(struct request_queue *q)
1028 {
1029         if (queue_is_mq(q) && q->mq_ops->busy)
1030                 return q->mq_ops->busy(q);
1031
1032         return 0;
1033 }
1034 EXPORT_SYMBOL_GPL(blk_lld_busy);
1035
1036 int kblockd_schedule_work(struct work_struct *work)
1037 {
1038         return queue_work(kblockd_workqueue, work);
1039 }
1040 EXPORT_SYMBOL(kblockd_schedule_work);
1041
1042 int kblockd_mod_delayed_work_on(int cpu, struct delayed_work *dwork,
1043                                 unsigned long delay)
1044 {
1045         return mod_delayed_work_on(cpu, kblockd_workqueue, dwork, delay);
1046 }
1047 EXPORT_SYMBOL(kblockd_mod_delayed_work_on);
1048
1049 void blk_start_plug_nr_ios(struct blk_plug *plug, unsigned short nr_ios)
1050 {
1051         struct task_struct *tsk = current;
1052
1053         /*
1054          * If this is a nested plug, don't actually assign it.
1055          */
1056         if (tsk->plug)
1057                 return;
1058
1059         plug->mq_list = NULL;
1060         plug->cached_rq = NULL;
1061         plug->nr_ios = min_t(unsigned short, nr_ios, BLK_MAX_REQUEST_COUNT);
1062         plug->rq_count = 0;
1063         plug->multiple_queues = false;
1064         plug->has_elevator = false;
1065         plug->nowait = false;
1066         INIT_LIST_HEAD(&plug->cb_list);
1067
1068         /*
1069          * Store ordering should not be needed here, since a potential
1070          * preempt will imply a full memory barrier
1071          */
1072         tsk->plug = plug;
1073 }
1074
1075 /**
1076  * blk_start_plug - initialize blk_plug and track it inside the task_struct
1077  * @plug:       The &struct blk_plug that needs to be initialized
1078  *
1079  * Description:
1080  *   blk_start_plug() indicates to the block layer an intent by the caller
1081  *   to submit multiple I/O requests in a batch.  The block layer may use
1082  *   this hint to defer submitting I/Os from the caller until blk_finish_plug()
1083  *   is called.  However, the block layer may choose to submit requests
1084  *   before a call to blk_finish_plug() if the number of queued I/Os
1085  *   exceeds %BLK_MAX_REQUEST_COUNT, or if the size of the I/O is larger than
1086  *   %BLK_PLUG_FLUSH_SIZE.  The queued I/Os may also be submitted early if
1087  *   the task schedules (see below).
1088  *
1089  *   Tracking blk_plug inside the task_struct will help with auto-flushing the
1090  *   pending I/O should the task end up blocking between blk_start_plug() and
1091  *   blk_finish_plug(). This is important from a performance perspective, but
1092  *   also ensures that we don't deadlock. For instance, if the task is blocking
1093  *   for a memory allocation, memory reclaim could end up wanting to free a
1094  *   page belonging to that request that is currently residing in our private
1095  *   plug. By flushing the pending I/O when the process goes to sleep, we avoid
1096  *   this kind of deadlock.
1097  */
1098 void blk_start_plug(struct blk_plug *plug)
1099 {
1100         blk_start_plug_nr_ios(plug, 1);
1101 }
1102 EXPORT_SYMBOL(blk_start_plug);
1103
1104 static void flush_plug_callbacks(struct blk_plug *plug, bool from_schedule)
1105 {
1106         LIST_HEAD(callbacks);
1107
1108         while (!list_empty(&plug->cb_list)) {
1109                 list_splice_init(&plug->cb_list, &callbacks);
1110
1111                 while (!list_empty(&callbacks)) {
1112                         struct blk_plug_cb *cb = list_first_entry(&callbacks,
1113                                                           struct blk_plug_cb,
1114                                                           list);
1115                         list_del(&cb->list);
1116                         cb->callback(cb, from_schedule);
1117                 }
1118         }
1119 }
1120
1121 struct blk_plug_cb *blk_check_plugged(blk_plug_cb_fn unplug, void *data,
1122                                       int size)
1123 {
1124         struct blk_plug *plug = current->plug;
1125         struct blk_plug_cb *cb;
1126
1127         if (!plug)
1128                 return NULL;
1129
1130         list_for_each_entry(cb, &plug->cb_list, list)
1131                 if (cb->callback == unplug && cb->data == data)
1132                         return cb;
1133
1134         /* Not currently on the callback list */
1135         BUG_ON(size < sizeof(*cb));
1136         cb = kzalloc(size, GFP_ATOMIC);
1137         if (cb) {
1138                 cb->data = data;
1139                 cb->callback = unplug;
1140                 list_add(&cb->list, &plug->cb_list);
1141         }
1142         return cb;
1143 }
1144 EXPORT_SYMBOL(blk_check_plugged);
1145
1146 void __blk_flush_plug(struct blk_plug *plug, bool from_schedule)
1147 {
1148         if (!list_empty(&plug->cb_list))
1149                 flush_plug_callbacks(plug, from_schedule);
1150         if (!rq_list_empty(plug->mq_list))
1151                 blk_mq_flush_plug_list(plug, from_schedule);
1152         /*
1153          * Unconditionally flush out cached requests, even if the unplug
1154          * event came from schedule. Since we know hold references to the
1155          * queue for cached requests, we don't want a blocked task holding
1156          * up a queue freeze/quiesce event.
1157          */
1158         if (unlikely(!rq_list_empty(plug->cached_rq)))
1159                 blk_mq_free_plug_rqs(plug);
1160 }
1161
1162 /**
1163  * blk_finish_plug - mark the end of a batch of submitted I/O
1164  * @plug:       The &struct blk_plug passed to blk_start_plug()
1165  *
1166  * Description:
1167  * Indicate that a batch of I/O submissions is complete.  This function
1168  * must be paired with an initial call to blk_start_plug().  The intent
1169  * is to allow the block layer to optimize I/O submission.  See the
1170  * documentation for blk_start_plug() for more information.
1171  */
1172 void blk_finish_plug(struct blk_plug *plug)
1173 {
1174         if (plug == current->plug) {
1175                 __blk_flush_plug(plug, false);
1176                 current->plug = NULL;
1177         }
1178 }
1179 EXPORT_SYMBOL(blk_finish_plug);
1180
1181 void blk_io_schedule(void)
1182 {
1183         /* Prevent hang_check timer from firing at us during very long I/O */
1184         unsigned long timeout = sysctl_hung_task_timeout_secs * HZ / 2;
1185
1186         if (timeout)
1187                 io_schedule_timeout(timeout);
1188         else
1189                 io_schedule();
1190 }
1191 EXPORT_SYMBOL_GPL(blk_io_schedule);
1192
1193 int __init blk_dev_init(void)
1194 {
1195         BUILD_BUG_ON((__force u32)REQ_OP_LAST >= (1 << REQ_OP_BITS));
1196         BUILD_BUG_ON(REQ_OP_BITS + REQ_FLAG_BITS > 8 *
1197                         sizeof_field(struct request, cmd_flags));
1198         BUILD_BUG_ON(REQ_OP_BITS + REQ_FLAG_BITS > 8 *
1199                         sizeof_field(struct bio, bi_opf));
1200
1201         /* used for unplugging and affects IO latency/throughput - HIGHPRI */
1202         kblockd_workqueue = alloc_workqueue("kblockd",
1203                                             WQ_MEM_RECLAIM | WQ_HIGHPRI, 0);
1204         if (!kblockd_workqueue)
1205                 panic("Failed to create kblockd\n");
1206
1207         blk_requestq_cachep = kmem_cache_create("request_queue",
1208                         sizeof(struct request_queue), 0, SLAB_PANIC, NULL);
1209
1210         blk_debugfs_root = debugfs_create_dir("block", NULL);
1211
1212         return 0;
1213 }