mm, hotplug: move init_currently_empty_zone() under zone_span_lock protection
authorWei Yang <>
Fri, 28 Dec 2018 08:37:10 +0000 (00:37 -0800)
committerLinus Torvalds <>
Fri, 28 Dec 2018 20:11:49 +0000 (12:11 -0800)
During online_pages phase, pgdat->nr_zones will be updated in case this
zone is empty.

Currently the online_pages phase is protected by the global locks
(device_device_hotplug_lock and mem_hotplug_lock), which ensures there is
no contention during the update of nr_zones.

These global locks introduces scalability issues (especially the second
one), which slow down code relying on get_online_mems().  This is also a
preparation for not having to rely on get_online_mems() but instead some
more fine grained locks.

The patch moves init_currently_empty_zone under both zone_span_writelock
and pgdat_resize_lock because both the pgdat state is changed (nr_zones)
and the zone's start_pfn.  Also this patch changes the documentation of
node_size_lock to include the protection of nr_zones.

Signed-off-by: Wei Yang <>
Acked-by: Michal Hocko <>
Reviewed-by: Oscar Salvador <>
Cc: David Hildenbrand <>
Signed-off-by: Andrew Morton <>
Signed-off-by: Linus Torvalds <>

index fc4b5cdb6c2dced24ab297cf14a16066fc70d676..cc4a507d7ca45bb3e88cce09dad4d3ed8d4e40f7 100644 (file)
@@ -636,8 +636,8 @@ typedef struct pglist_data {
-        * Must be held any time you expect node_start_pfn, node_present_pages
-        * or node_spanned_pages stay constant.
+        * Must be held any time you expect node_start_pfn,
+        * node_present_pages, node_spanned_pages or nr_zones to stay constant.
         * pgdat_resize_lock() and pgdat_resize_unlock() are provided to
         * manipulate node_size_lock without checking for CONFIG_MEMORY_HOTPLUG
index 5f15f9c04c4afd7756c99117117b254dbe140b02..c2b34ec602eee499c4c8f4b713f0b1e85210f5ae 100644 (file)
@@ -743,14 +743,13 @@ void __ref move_pfn_range_to_zone(struct zone *zone, unsigned long start_pfn,
        int nid = pgdat->node_id;
        unsigned long flags;
-       if (zone_is_empty(zone))
-               init_currently_empty_zone(zone, start_pfn, nr_pages);
        /* TODO Huh pgdat is irqsave while zone is not. It used to be like that before */
        pgdat_resize_lock(pgdat, &flags);
+       if (zone_is_empty(zone))
+               init_currently_empty_zone(zone, start_pfn, nr_pages);
        resize_zone_range(zone, start_pfn, nr_pages);
        resize_pgdat_range(pgdat, start_pfn, nr_pages);