arch/x86/mm/srat_64.c

   1 /*
   2  * ACPI 3.0 based NUMA setup
   3  * Copyright 2004 Andi Kleen, SuSE Labs.
   4  *
   5  * Reads the ACPI SRAT table to figure out what memory belongs to which CPUs.
   6  *
   7  * Called from acpi_numa_init while reading the SRAT and SLIT tables.
   8  * Assumes all memory regions belonging to a single proximity domain
   9  * are in one chunk. Holes between them will be included in the node.
  10  */
  11
  12 #include <linux/kernel.h>
  13 #include <linux/acpi.h>
  14 #include <linux/mmzone.h>
  15 #include <linux/bitmap.h>
  16 #include <linux/module.h>
  17 #include <linux/topology.h>
  18 #include <linux/bootmem.h>
  19 #include <linux/mm.h>
  20 #include <asm/proto.h>
  21 #include <asm/numa.h>
  22 #include <asm/e820.h>
  23 #include <asm/apic.h>
  24 #include <asm/uv/uv.h>
  25
  26 int acpi_numa __initdata;
  27
  28 static struct acpi_table_slit *acpi_slit;
  29
  30 static nodemask_t nodes_parsed __initdata;
  31 static nodemask_t cpu_nodes_parsed __initdata;
  32 static struct bootnode nodes[MAX_NUMNODES] __initdata;
  33 static struct bootnode nodes_add[MAX_NUMNODES];
  34 static int found_add_area __initdata;
  35 int hotadd_percent __initdata = 0;
  36
  37 static int num_node_memblks __initdata;
  38 static struct bootnode node_memblk_range[NR_NODE_MEMBLKS] __initdata;
  39 static int memblk_nodeid[NR_NODE_MEMBLKS] __initdata;
  40
  41 /* Too small nodes confuse the VM badly. Usually they result
  42    from BIOS bugs. */
  43 #define NODE_MIN_SIZE (4*1024*1024)
  44
  45 static __init int setup_node(int pxm)
  46 {
  47         return acpi_map_pxm_to_node(pxm);
  48 }
  49
  50 static __init int conflicting_memblks(unsigned long start, unsigned long end)
  51 {
  52         int i;
  53         for (i = 0; i < num_node_memblks; i++) {
  54                 struct bootnode *nd = &node_memblk_range[i];
  55                 if (nd->start == nd->end)
  56                         continue;
  57                 if (nd->end > start && nd->start < end)
  58                         return memblk_nodeid[i];
  59                 if (nd->end == end && nd->start == start)
  60                         return memblk_nodeid[i];
  61         }
  62         return -1;
  63 }
  64
  65 static __init void cutoff_node(int i, unsigned long start, unsigned long end)
  66 {
  67         struct bootnode *nd = &nodes[i];
  68
  69         if (found_add_area)
  70                 return;
  71
  72         if (nd->start < start) {
  73                 nd->start = start;
  74                 if (nd->end < nd->start)
  75                         nd->start = nd->end;
  76         }
  77         if (nd->end > end) {
  78                 nd->end = end;
  79                 if (nd->start > nd->end)
  80                         nd->start = nd->end;
  81         }
  82 }
  83
  84 static __init void bad_srat(void)
  85 {
  86         int i;
  87         printk(KERN_ERR "SRAT: SRAT not used.\n");
  88         acpi_numa = -1;
  89         found_add_area = 0;
  90         for (i = 0; i < MAX_LOCAL_APIC; i++)
  91                 apicid_to_node[i] = NUMA_NO_NODE;
  92         for (i = 0; i < MAX_NUMNODES; i++)
  93                 nodes_add[i].start = nodes[i].end = 0;
  94         remove_all_active_ranges();
  95 }
  96
  97 static __init inline int srat_disabled(void)
  98 {
  99         return numa_off || acpi_numa < 0;
 100 }
 101
 102 /* Callback for SLIT parsing */
 103 void __init acpi_numa_slit_init(struct acpi_table_slit *slit)
 104 {
 105         unsigned length;
 106         unsigned long phys;
 107
 108         length = slit->header.length;
 109         phys = find_e820_area(0, max_pfn_mapped<<PAGE_SHIFT, length,
 110                  PAGE_SIZE);
 111
 112         if (phys == -1L)
 113                 panic(" Can not save slit!\n");
 114
 115         acpi_slit = __va(phys);
 116         memcpy(acpi_slit, slit, length);
 117         reserve_early(phys, phys + length, "ACPI SLIT");
 118 }
 119
 120 /* Callback for Proximity Domain -> x2APIC mapping */
 121 void __init
 122 acpi_numa_x2apic_affinity_init(struct acpi_srat_x2apic_cpu_affinity *pa)
 123 {
 124         int pxm, node;
 125         int apic_id;
 126
 127         if (srat_disabled())
 128                 return;
 129         if (pa->header.length < sizeof(struct acpi_srat_x2apic_cpu_affinity)) {
 130                 bad_srat();
 131                 return;
 132         }
 133         if ((pa->flags & ACPI_SRAT_CPU_ENABLED) == 0)
 134                 return;
 135         pxm = pa->proximity_domain;
 136         node = setup_node(pxm);
 137         if (node < 0) {
 138                 printk(KERN_ERR "SRAT: Too many proximity domains %x\n", pxm);
 139                 bad_srat();
 140                 return;
 141         }
 142
 143         apic_id = pa->apic_id;
 144         apicid_to_node[apic_id] = node;
 145         node_set(node, cpu_nodes_parsed);
 146         acpi_numa = 1;
 147         printk(KERN_INFO "SRAT: PXM %u -> APIC %u -> Node %u\n",
 148                pxm, apic_id, node);
 149 }
 150
 151 /* Callback for Proximity Domain -> LAPIC mapping */
 152 void __init
 153 acpi_numa_processor_affinity_init(struct acpi_srat_cpu_affinity *pa)
 154 {
 155         int pxm, node;
 156         int apic_id;
 157
 158         if (srat_disabled())
 159                 return;
 160         if (pa->header.length != sizeof(struct acpi_srat_cpu_affinity)) {
 161                 bad_srat();
 162                 return;
 163         }
 164         if ((pa->flags & ACPI_SRAT_CPU_ENABLED) == 0)
 165                 return;
 166         pxm = pa->proximity_domain_lo;
 167         node = setup_node(pxm);
 168         if (node < 0) {
 169                 printk(KERN_ERR "SRAT: Too many proximity domains %x\n", pxm);
 170                 bad_srat();
 171                 return;
 172         }
 173
 174         if (get_uv_system_type() >= UV_X2APIC)
 175                 apic_id = (pa->apic_id << 8) | pa->local_sapic_eid;
 176         else
 177                 apic_id = pa->apic_id;
 178         apicid_to_node[apic_id] = node;
 179         node_set(node, cpu_nodes_parsed);
 180         acpi_numa = 1;
 181         printk(KERN_INFO "SRAT: PXM %u -> APIC %u -> Node %u\n",
 182                pxm, apic_id, node);
 183 }
 184
 185 static int update_end_of_memory(unsigned long end) {return -1;}
 186 static int hotadd_enough_memory(struct bootnode *nd) {return 1;}
 187 #ifdef CONFIG_MEMORY_HOTPLUG_SPARSE
 188 static inline int save_add_info(void) {return 1;}
 189 #else
 190 static inline int save_add_info(void) {return 0;}
 191 #endif
 192 /*
 193  * Update nodes_add and decide if to include add are in the zone.
 194  * Both SPARSE and RESERVE need nodes_add information.
 195  * This code supports one contiguous hot add area per node.
 196  */
 197 static int __init
 198 reserve_hotadd(int node, unsigned long start, unsigned long end)
 199 {
 200         unsigned long s_pfn = start >> PAGE_SHIFT;
 201         unsigned long e_pfn = end >> PAGE_SHIFT;
 202         int ret = 0, changed = 0;
 203         struct bootnode *nd = &nodes_add[node];
 204
 205         /* I had some trouble with strange memory hotadd regions breaking
 206            the boot. Be very strict here and reject anything unexpected.
 207            If you want working memory hotadd write correct SRATs.
 208
 209            The node size check is a basic sanity check to guard against
 210            mistakes */
 211         if ((signed long)(end - start) < NODE_MIN_SIZE) {
 212                 printk(KERN_ERR "SRAT: Hotplug area too small\n");
 213                 return -1;
 214         }
 215
 216         /* This check might be a bit too strict, but I'm keeping it for now. */
 217         if (absent_pages_in_range(s_pfn, e_pfn) != e_pfn - s_pfn) {
 218                 printk(KERN_ERR
 219                         "SRAT: Hotplug area %lu -> %lu has existing memory\n",
 220                         s_pfn, e_pfn);
 221                 return -1;
 222         }
 223
 224         if (!hotadd_enough_memory(&nodes_add[node]))  {
 225                 printk(KERN_ERR "SRAT: Hotplug area too large\n");
 226                 return -1;
 227         }
 228
 229         /* Looks good */
 230
 231         if (nd->start == nd->end) {
 232                 nd->start = start;
 233                 nd->end = end;
 234                 changed = 1;
 235         } else {
 236                 if (nd->start == end) {
 237                         nd->start = start;
 238                         changed = 1;
 239                 }
 240                 if (nd->end == start) {
 241                         nd->end = end;
 242                         changed = 1;
 243                 }
 244                 if (!changed)
 245                         printk(KERN_ERR "SRAT: Hotplug zone not continuous. Partly ignored\n");
 246         }
 247
 248         ret = update_end_of_memory(nd->end);
 249
 250         if (changed)
 251                 printk(KERN_INFO "SRAT: hot plug zone found %Lx - %Lx\n", nd->start, nd->end);
 252         return ret;
 253 }
 254
 255 /* Callback for parsing of the Proximity Domain <-> Memory Area mappings */
 256 void __init
 257 acpi_numa_memory_affinity_init(struct acpi_srat_mem_affinity *ma)
 258 {
 259         struct bootnode *nd, oldnode;
 260         unsigned long start, end;
 261         int node, pxm;
 262         int i;
 263
 264         if (srat_disabled())
 265                 return;
 266         if (ma->header.length != sizeof(struct acpi_srat_mem_affinity)) {
 267                 bad_srat();
 268                 return;
 269         }
 270         if ((ma->flags & ACPI_SRAT_MEM_ENABLED) == 0)
 271                 return;
 272
 273         if ((ma->flags & ACPI_SRAT_MEM_HOT_PLUGGABLE) && !save_add_info())
 274                 return;
 275         start = ma->base_address;
 276         end = start + ma->length;
 277         pxm = ma->proximity_domain;
 278         node = setup_node(pxm);
 279         if (node < 0) {
 280                 printk(KERN_ERR "SRAT: Too many proximity domains.\n");
 281                 bad_srat();
 282                 return;
 283         }
 284         i = conflicting_memblks(start, end);
 285         if (i == node) {
 286                 printk(KERN_WARNING
 287                 "SRAT: Warning: PXM %d (%lx-%lx) overlaps with itself (%Lx-%Lx)\n",
 288                         pxm, start, end, nodes[i].start, nodes[i].end);
 289         } else if (i >= 0) {
 290                 printk(KERN_ERR
 291                        "SRAT: PXM %d (%lx-%lx) overlaps with PXM %d (%Lx-%Lx)\n",
 292                        pxm, start, end, node_to_pxm(i),
 293                         nodes[i].start, nodes[i].end);
 294                 bad_srat();
 295                 return;
 296         }
 297         nd = &nodes[node];
 298         oldnode = *nd;
 299         if (!node_test_and_set(node, nodes_parsed)) {
 300                 nd->start = start;
 301                 nd->end = end;
 302         } else {
 303                 if (start < nd->start)
 304                         nd->start = start;
 305                 if (nd->end < end)
 306                         nd->end = end;
 307         }
 308
 309         printk(KERN_INFO "SRAT: Node %u PXM %u %lx-%lx\n", node, pxm,
 310                start, end);
 311         e820_register_active_regions(node, start >> PAGE_SHIFT,
 312                                      end >> PAGE_SHIFT);
 313         push_node_boundaries(node, nd->start >> PAGE_SHIFT,
 314                                                 nd->end >> PAGE_SHIFT);
 315
 316         if ((ma->flags & ACPI_SRAT_MEM_HOT_PLUGGABLE) &&
 317             (reserve_hotadd(node, start, end) < 0)) {
 318                 /* Ignore hotadd region. Undo damage */
 319                 printk(KERN_NOTICE "SRAT: Hotplug region ignored\n");
 320                 *nd = oldnode;
 321                 if ((nd->start | nd->end) == 0)
 322                         node_clear(node, nodes_parsed);
 323         }
 324
 325         node_memblk_range[num_node_memblks].start = start;
 326         node_memblk_range[num_node_memblks].end = end;
 327         memblk_nodeid[num_node_memblks] = node;
 328         num_node_memblks++;
 329 }
 330
 331 /* Sanity check to catch more bad SRATs (they are amazingly common).
 332    Make sure the PXMs cover all memory. */
 333 static int __init nodes_cover_memory(const struct bootnode *nodes)
 334 {
 335         int i;
 336         unsigned long pxmram, e820ram;
 337
 338         pxmram = 0;
 339         for_each_node_mask(i, nodes_parsed) {
 340                 unsigned long s = nodes[i].start >> PAGE_SHIFT;
 341                 unsigned long e = nodes[i].end >> PAGE_SHIFT;
 342                 pxmram += e - s;
 343                 pxmram -= absent_pages_in_range(s, e);
 344                 if ((long)pxmram < 0)
 345                         pxmram = 0;
 346         }
 347
 348         e820ram = max_pfn - absent_pages_in_range(0, max_pfn);
 349         /* We seem to lose 3 pages somewhere. Allow a bit of slack. */
 350         if ((long)(e820ram - pxmram) >= 1*1024*1024) {
 351                 printk(KERN_ERR
 352         "SRAT: PXMs only cover %luMB of your %luMB e820 RAM. Not used.\n",
 353                         (pxmram << PAGE_SHIFT) >> 20,
 354                         (e820ram << PAGE_SHIFT) >> 20);
 355                 return 0;
 356         }
 357         return 1;
 358 }
 359
 360 static void __init unparse_node(int node)
 361 {
 362         int i;
 363         node_clear(node, nodes_parsed);
 364         node_clear(node, cpu_nodes_parsed);
 365         for (i = 0; i < MAX_LOCAL_APIC; i++) {
 366                 if (apicid_to_node[i] == node)
 367                         apicid_to_node[i] = NUMA_NO_NODE;
 368         }
 369 }
 370
 371 void __init acpi_numa_arch_fixup(void) {}
 372
 373 /* Use the information discovered above to actually set up the nodes. */
 374 int __init acpi_scan_nodes(unsigned long start, unsigned long end)
 375 {
 376         int i;
 377
 378         if (acpi_numa <= 0)
 379                 return -1;
 380
 381         /* First clean up the node list */
 382         for (i = 0; i < MAX_NUMNODES; i++) {
 383                 cutoff_node(i, start, end);
 384                 /*
 385                  * don't confuse VM with a node that doesn't have the
 386                  * minimum memory.
 387                  */
 388                 if (nodes[i].end &&
 389                         (nodes[i].end - nodes[i].start) < NODE_MIN_SIZE) {
 390                         unparse_node(i);
 391                         node_set_offline(i);
 392                 }
 393         }
 394
 395         if (!nodes_cover_memory(nodes)) {
 396                 bad_srat();
 397                 return -1;
 398         }
 399
 400         memnode_shift = compute_hash_shift(node_memblk_range, num_node_memblks,
 401                                            memblk_nodeid);
 402         if (memnode_shift < 0) {
 403                 printk(KERN_ERR
 404                      "SRAT: No NUMA node hash function found. Contact maintainer\n");
 405                 bad_srat();
 406                 return -1;
 407         }
 408
 409         /* Account for nodes with cpus and no memory */
 410         nodes_or(node_possible_map, nodes_parsed, cpu_nodes_parsed);
 411
 412         /* Finally register nodes */
 413         for_each_node_mask(i, node_possible_map)
 414                 setup_node_bootmem(i, nodes[i].start, nodes[i].end);
 415         /* Try again in case setup_node_bootmem missed one due
 416            to missing bootmem */
 417         for_each_node_mask(i, node_possible_map)
 418                 if (!node_online(i))
 419                         setup_node_bootmem(i, nodes[i].start, nodes[i].end);
 420
 421         for (i = 0; i < nr_cpu_ids; i++) {
 422                 int node = early_cpu_to_node(i);
 423
 424                 if (node == NUMA_NO_NODE)
 425                         continue;
 426                 if (!node_isset(node, node_possible_map))
 427                         numa_clear_node(i);
 428         }
 429         numa_init_array();
 430         return 0;
 431 }
 432
 433 #ifdef CONFIG_NUMA_EMU
 434 static int fake_node_to_pxm_map[MAX_NUMNODES] __initdata = {
 435         [0 ... MAX_NUMNODES-1] = PXM_INVAL
 436 };
 437 static s16 fake_apicid_to_node[MAX_LOCAL_APIC] __initdata = {
 438         [0 ... MAX_LOCAL_APIC-1] = NUMA_NO_NODE
 439 };
 440 static int __init find_node_by_addr(unsigned long addr)
 441 {
 442         int ret = NUMA_NO_NODE;
 443         int i;
 444
 445         for_each_node_mask(i, nodes_parsed) {
 446                 /*
 447                  * Find the real node that this emulated node appears on.  For
 448                  * the sake of simplicity, we only use a real node's starting
 449                  * address to determine which emulated node it appears on.
 450                  */
 451                 if (addr >= nodes[i].start && addr < nodes[i].end) {
 452                         ret = i;
 453                         break;
 454                 }
 455         }
 456         return ret;
 457 }
 458
 459 /*
 460  * In NUMA emulation, we need to setup proximity domain (_PXM) to node ID
 461  * mappings that respect the real ACPI topology but reflect our emulated
 462  * environment.  For each emulated node, we find which real node it appears on
 463  * and create PXM to NID mappings for those fake nodes which mirror that
 464  * locality.  SLIT will now represent the correct distances between emulated
 465  * nodes as a result of the real topology.
 466  */
 467 void __init acpi_fake_nodes(const struct bootnode *fake_nodes, int num_nodes)
 468 {
 469         int i, j;
 470
 471         printk(KERN_INFO "Faking PXM affinity for fake nodes on real "
 472                          "topology.\n");
 473         for (i = 0; i < num_nodes; i++) {
 474                 int nid, pxm;
 475
 476                 nid = find_node_by_addr(fake_nodes[i].start);
 477                 if (nid == NUMA_NO_NODE)
 478                         continue;
 479                 pxm = node_to_pxm(nid);
 480                 if (pxm == PXM_INVAL)
 481                         continue;
 482                 fake_node_to_pxm_map[i] = pxm;
 483                 /*
 484                  * For each apicid_to_node mapping that exists for this real
 485                  * node, it must now point to the fake node ID.
 486                  */
 487                 for (j = 0; j < MAX_LOCAL_APIC; j++)
 488                         if (apicid_to_node[j] == nid)
 489                                 fake_apicid_to_node[j] = i;
 490         }
 491         for (i = 0; i < num_nodes; i++)
 492                 __acpi_map_pxm_to_node(fake_node_to_pxm_map[i], i);
 493         memcpy(apicid_to_node, fake_apicid_to_node, sizeof(apicid_to_node));
 494
 495         nodes_clear(nodes_parsed);
 496         for (i = 0; i < num_nodes; i++)
 497                 if (fake_nodes[i].start != fake_nodes[i].end)
 498                         node_set(i, nodes_parsed);
 499         WARN_ON(!nodes_cover_memory(fake_nodes));
 500 }
 501
 502 static int null_slit_node_compare(int a, int b)
 503 {
 504         return node_to_pxm(a) == node_to_pxm(b);
 505 }
 506 #else
 507 static int null_slit_node_compare(int a, int b)
 508 {
 509         return a == b;
 510 }
 511 #endif /* CONFIG_NUMA_EMU */
 512
 513 void __init srat_reserve_add_area(int nodeid)
 514 {
 515         if (found_add_area && nodes_add[nodeid].end) {
 516                 u64 total_mb;
 517
 518                 printk(KERN_INFO "SRAT: Reserving hot-add memory space "
 519                                 "for node %d at %Lx-%Lx\n",
 520                         nodeid, nodes_add[nodeid].start, nodes_add[nodeid].end);
 521                 total_mb = (nodes_add[nodeid].end - nodes_add[nodeid].start)
 522                                         >> PAGE_SHIFT;
 523                 total_mb *= sizeof(struct page);
 524                 total_mb >>= 20;
 525                 printk(KERN_INFO "SRAT: This will cost you %Lu MB of "
 526                                 "pre-allocated memory.\n", (unsigned long long)total_mb);
 527                 reserve_bootmem_node(NODE_DATA(nodeid), nodes_add[nodeid].start,
 528                                nodes_add[nodeid].end - nodes_add[nodeid].start,
 529                                BOOTMEM_DEFAULT);
 530         }
 531 }
 532
 533 int __node_distance(int a, int b)
 534 {
 535         int index;
 536
 537         if (!acpi_slit)
 538                 return null_slit_node_compare(a, b) ? LOCAL_DISTANCE :
 539                                                       REMOTE_DISTANCE;
 540         index = acpi_slit->locality_count * node_to_pxm(a);
 541         return acpi_slit->entry[index + node_to_pxm(b)];
 542 }
 543
 544 EXPORT_SYMBOL(__node_distance);
 545
 546 #if defined(CONFIG_MEMORY_HOTPLUG_SPARSE) || defined(CONFIG_ACPI_HOTPLUG_MEMORY)
 547 int memory_add_physaddr_to_nid(u64 start)
 548 {
 549         int i, ret = 0;
 550
 551         for_each_node(i)
 552                 if (nodes_add[i].start <= start && nodes_add[i].end > start)
 553                         ret = i;
 554
 555         return ret;
 556 }
 557 EXPORT_SYMBOL_GPL(memory_add_physaddr_to_nid);
 558 #endif