arch/x86/kernel/reboot.c

   1 #include <linux/module.h>
   2 #include <linux/reboot.h>
   3 #include <linux/init.h>
   4 #include <linux/pm.h>
   5 #include <linux/efi.h>
   6 #include <acpi/reboot.h>
   7 #include <asm/io.h>
   8 #include <asm/apic.h>
   9 #include <asm/desc.h>
  10 #include <asm/hpet.h>
  11 #include <asm/pgtable.h>
  12 #include <asm/proto.h>
  13 #include <asm/reboot_fixups.h>
  14 #include <asm/reboot.h>
  15 #include <asm/pci_x86.h>
  16 #include <asm/virtext.h>
  17 #include <asm/cpu.h>
  18
  19 #ifdef CONFIG_X86_32
  20 # include <linux/dmi.h>
  21 # include <linux/ctype.h>
  22 # include <linux/mc146818rtc.h>
  23 #else
  24 # include <asm/iommu.h>
  25 #endif
  26
  27 /*
  28  * Power off function, if any
  29  */
  30 void (*pm_power_off)(void);
  31 EXPORT_SYMBOL(pm_power_off);
  32
  33 static const struct desc_ptr no_idt = {};
  34 static int reboot_mode;
  35 enum reboot_type reboot_type = BOOT_KBD;
  36 int reboot_force;
  37
  38 #if defined(CONFIG_X86_32) && defined(CONFIG_SMP)
  39 static int reboot_cpu = -1;
  40 #endif
  41
  42 /* This is set if we need to go through the 'emergency' path.
  43  * When machine_emergency_restart() is called, we may be on
  44  * an inconsistent state and won't be able to do a clean cleanup
  45  */
  46 static int reboot_emergency;
  47
  48 /* This is set by the PCI code if either type 1 or type 2 PCI is detected */
  49 bool port_cf9_safe = false;
  50
  51 /* reboot=b[ios] | s[mp] | t[riple] | k[bd] | e[fi] [, [w]arm | [c]old] | p[ci]
  52    warm   Don't set the cold reboot flag
  53    cold   Set the cold reboot flag
  54    bios   Reboot by jumping through the BIOS (only for X86_32)
  55    smp    Reboot by executing reset on BSP or other CPU (only for X86_32)
  56    triple Force a triple fault (init)
  57    kbd    Use the keyboard controller. cold reset (default)
  58    acpi   Use the RESET_REG in the FADT
  59    efi    Use efi reset_system runtime service
  60    pci    Use the so-called "PCI reset register", CF9
  61    force  Avoid anything that could hang.
  62  */
  63 static int __init reboot_setup(char *str)
  64 {
  65         for (;;) {
  66                 switch (*str) {
  67                 case 'w':
  68                         reboot_mode = 0x1234;
  69                         break;
  70
  71                 case 'c':
  72                         reboot_mode = 0;
  73                         break;
  74
  75 #ifdef CONFIG_X86_32
  76 #ifdef CONFIG_SMP
  77                 case 's':
  78                         if (isdigit(*(str+1))) {
  79                                 reboot_cpu = (int) (*(str+1) - '0');
  80                                 if (isdigit(*(str+2)))
  81                                         reboot_cpu = reboot_cpu*10 + (int)(*(str+2) - '0');
  82                         }
  83                                 /* we will leave sorting out the final value
  84                                    when we are ready to reboot, since we might not
  85                                    have set up boot_cpu_id or smp_num_cpu */
  86                         break;
  87 #endif /* CONFIG_SMP */
  88
  89                 case 'b':
  90 #endif
  91                 case 'a':
  92                 case 'k':
  93                 case 't':
  94                 case 'e':
  95                 case 'p':
  96                         reboot_type = *str;
  97                         break;
  98
  99                 case 'f':
 100                         reboot_force = 1;
 101                         break;
 102                 }
 103
 104                 str = strchr(str, ',');
 105                 if (str)
 106                         str++;
 107                 else
 108                         break;
 109         }
 110         return 1;
 111 }
 112
 113 __setup("reboot=", reboot_setup);
 114
 115
 116 #ifdef CONFIG_X86_32
 117 /*
 118  * Reboot options and system auto-detection code provided by
 119  * Dell Inc. so their systems "just work". :-)
 120  */
 121
 122 /*
 123  * Some machines require the "reboot=b"  commandline option,
 124  * this quirk makes that automatic.
 125  */
 126 static int __init set_bios_reboot(const struct dmi_system_id *d)
 127 {
 128         if (reboot_type != BOOT_BIOS) {
 129                 reboot_type = BOOT_BIOS;
 130                 printk(KERN_INFO "%s series board detected. Selecting BIOS-method for reboots.\n", d->ident);
 131         }
 132         return 0;
 133 }
 134
 135 static struct dmi_system_id __initdata reboot_dmi_table[] = {
 136         {       /* Handle problems with rebooting on Dell E520's */
 137                 .callback = set_bios_reboot,
 138                 .ident = "Dell E520",
 139                 .matches = {
 140                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Inc."),
 141                         DMI_MATCH(DMI_PRODUCT_NAME, "Dell DM061"),
 142                 },
 143         },
 144         {       /* Handle problems with rebooting on Dell 1300's */
 145                 .callback = set_bios_reboot,
 146                 .ident = "Dell PowerEdge 1300",
 147                 .matches = {
 148                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Computer Corporation"),
 149                         DMI_MATCH(DMI_PRODUCT_NAME, "PowerEdge 1300/"),
 150                 },
 151         },
 152         {       /* Handle problems with rebooting on Dell 300's */
 153                 .callback = set_bios_reboot,
 154                 .ident = "Dell PowerEdge 300",
 155                 .matches = {
 156                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Computer Corporation"),
 157                         DMI_MATCH(DMI_PRODUCT_NAME, "PowerEdge 300/"),
 158                 },
 159         },
 160         {       /* Handle problems with rebooting on Dell Optiplex 745's SFF*/
 161                 .callback = set_bios_reboot,
 162                 .ident = "Dell OptiPlex 745",
 163                 .matches = {
 164                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Inc."),
 165                         DMI_MATCH(DMI_PRODUCT_NAME, "OptiPlex 745"),
 166                 },
 167         },
 168         {       /* Handle problems with rebooting on Dell Optiplex 745's DFF*/
 169                 .callback = set_bios_reboot,
 170                 .ident = "Dell OptiPlex 745",
 171                 .matches = {
 172                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Inc."),
 173                         DMI_MATCH(DMI_PRODUCT_NAME, "OptiPlex 745"),
 174                         DMI_MATCH(DMI_BOARD_NAME, "0MM599"),
 175                 },
 176         },
 177         {       /* Handle problems with rebooting on Dell Optiplex 745 with 0KW626 */
 178                 .callback = set_bios_reboot,
 179                 .ident = "Dell OptiPlex 745",
 180                 .matches = {
 181                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Inc."),
 182                         DMI_MATCH(DMI_PRODUCT_NAME, "OptiPlex 745"),
 183                         DMI_MATCH(DMI_BOARD_NAME, "0KW626"),
 184                 },
 185         },
 186         {   /* Handle problems with rebooting on Dell Optiplex 330 with 0KP561 */
 187                 .callback = set_bios_reboot,
 188                 .ident = "Dell OptiPlex 330",
 189                 .matches = {
 190                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Inc."),
 191                         DMI_MATCH(DMI_PRODUCT_NAME, "OptiPlex 330"),
 192                         DMI_MATCH(DMI_BOARD_NAME, "0KP561"),
 193                 },
 194         },
 195         {       /* Handle problems with rebooting on Dell 2400's */
 196                 .callback = set_bios_reboot,
 197                 .ident = "Dell PowerEdge 2400",
 198                 .matches = {
 199                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Computer Corporation"),
 200                         DMI_MATCH(DMI_PRODUCT_NAME, "PowerEdge 2400"),
 201                 },
 202         },
 203         {       /* Handle problems with rebooting on Dell T5400's */
 204                 .callback = set_bios_reboot,
 205                 .ident = "Dell Precision T5400",
 206                 .matches = {
 207                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Inc."),
 208                         DMI_MATCH(DMI_PRODUCT_NAME, "Precision WorkStation T5400"),
 209                 },
 210         },
 211         {       /* Handle problems with rebooting on HP laptops */
 212                 .callback = set_bios_reboot,
 213                 .ident = "HP Compaq Laptop",
 214                 .matches = {
 215                         DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
 216                         DMI_MATCH(DMI_PRODUCT_NAME, "HP Compaq"),
 217                 },
 218         },
 219         {       /* Handle problems with rebooting on Dell XPS710 */
 220                 .callback = set_bios_reboot,
 221                 .ident = "Dell XPS710",
 222                 .matches = {
 223                         DMI_MATCH(DMI_SYS_VENDOR, "Dell Inc."),
 224                         DMI_MATCH(DMI_PRODUCT_NAME, "Dell XPS710"),
 225                 },
 226         },
 227         { }
 228 };
 229
 230 static int __init reboot_init(void)
 231 {
 232         dmi_check_system(reboot_dmi_table);
 233         return 0;
 234 }
 235 core_initcall(reboot_init);
 236
 237 /* The following code and data reboots the machine by switching to real
 238    mode and jumping to the BIOS reset entry point, as if the CPU has
 239    really been reset.  The previous version asked the keyboard
 240    controller to pulse the CPU reset line, which is more thorough, but
 241    doesn't work with at least one type of 486 motherboard.  It is easy
 242    to stop this code working; hence the copious comments. */
 243 static const unsigned long long
 244 real_mode_gdt_entries [3] =
 245 {
 246         0x0000000000000000ULL,  /* Null descriptor */
 247         0x00009b000000ffffULL,  /* 16-bit real-mode 64k code at 0x00000000 */
 248         0x000093000100ffffULL   /* 16-bit real-mode 64k data at 0x00000100 */
 249 };
 250
 251 static const struct desc_ptr
 252 real_mode_gdt = { sizeof (real_mode_gdt_entries) - 1, (long)real_mode_gdt_entries },
 253 real_mode_idt = { 0x3ff, 0 };
 254
 255 /* This is 16-bit protected mode code to disable paging and the cache,
 256    switch to real mode and jump to the BIOS reset code.
 257
 258    The instruction that switches to real mode by writing to CR0 must be
 259    followed immediately by a far jump instruction, which set CS to a
 260    valid value for real mode, and flushes the prefetch queue to avoid
 261    running instructions that have already been decoded in protected
 262    mode.
 263
 264    Clears all the flags except ET, especially PG (paging), PE
 265    (protected-mode enable) and TS (task switch for coprocessor state
 266    save).  Flushes the TLB after paging has been disabled.  Sets CD and
 267    NW, to disable the cache on a 486, and invalidates the cache.  This
 268    is more like the state of a 486 after reset.  I don't know if
 269    something else should be done for other chips.
 270
 271    More could be done here to set up the registers as if a CPU reset had
 272    occurred; hopefully real BIOSs don't assume much. */
 273 static const unsigned char real_mode_switch [] =
 274 {
 275         0x66, 0x0f, 0x20, 0xc0,                 /*    movl  %cr0,%eax        */
 276         0x66, 0x83, 0xe0, 0x11,                 /*    andl  $0x00000011,%eax */
 277         0x66, 0x0d, 0x00, 0x00, 0x00, 0x60,     /*    orl   $0x60000000,%eax */
 278         0x66, 0x0f, 0x22, 0xc0,                 /*    movl  %eax,%cr0        */
 279         0x66, 0x0f, 0x22, 0xd8,                 /*    movl  %eax,%cr3        */
 280         0x66, 0x0f, 0x20, 0xc3,                 /*    movl  %cr0,%ebx        */
 281         0x66, 0x81, 0xe3, 0x00, 0x00, 0x00, 0x60,       /*    andl  $0x60000000,%ebx */
 282         0x74, 0x02,                             /*    jz    f                */
 283         0x0f, 0x09,                             /*    wbinvd                 */
 284         0x24, 0x10,                             /* f: andb  $0x10,al         */
 285         0x66, 0x0f, 0x22, 0xc0                  /*    movl  %eax,%cr0        */
 286 };
 287 static const unsigned char jump_to_bios [] =
 288 {
 289         0xea, 0x00, 0x00, 0xff, 0xff            /*    ljmp  $0xffff,$0x0000  */
 290 };
 291
 292 /*
 293  * Switch to real mode and then execute the code
 294  * specified by the code and length parameters.
 295  * We assume that length will aways be less that 100!
 296  */
 297 void machine_real_restart(const unsigned char *code, int length)
 298 {
 299         local_irq_disable();
 300
 301         /* Write zero to CMOS register number 0x0f, which the BIOS POST
 302            routine will recognize as telling it to do a proper reboot.  (Well
 303            that's what this book in front of me says -- it may only apply to
 304            the Phoenix BIOS though, it's not clear).  At the same time,
 305            disable NMIs by setting the top bit in the CMOS address register,
 306            as we're about to do peculiar things to the CPU.  I'm not sure if
 307            `outb_p' is needed instead of just `outb'.  Use it to be on the
 308            safe side.  (Yes, CMOS_WRITE does outb_p's. -  Paul G.)
 309          */
 310         spin_lock(&rtc_lock);
 311         CMOS_WRITE(0x00, 0x8f);
 312         spin_unlock(&rtc_lock);
 313
 314         /* Remap the kernel at virtual address zero, as well as offset zero
 315            from the kernel segment.  This assumes the kernel segment starts at
 316            virtual address PAGE_OFFSET. */
 317         memcpy(swapper_pg_dir, swapper_pg_dir + KERNEL_PGD_BOUNDARY,
 318                 sizeof(swapper_pg_dir [0]) * KERNEL_PGD_PTRS);
 319
 320         /*
 321          * Use `swapper_pg_dir' as our page directory.
 322          */
 323         load_cr3(swapper_pg_dir);
 324
 325         /* Write 0x1234 to absolute memory location 0x472.  The BIOS reads
 326            this on booting to tell it to "Bypass memory test (also warm
 327            boot)".  This seems like a fairly standard thing that gets set by
 328            REBOOT.COM programs, and the previous reset routine did this
 329            too. */
 330         *((unsigned short *)0x472) = reboot_mode;
 331
 332         /* For the switch to real mode, copy some code to low memory.  It has
 333            to be in the first 64k because it is running in 16-bit mode, and it
 334            has to have the same physical and virtual address, because it turns
 335            off paging.  Copy it near the end of the first page, out of the way
 336            of BIOS variables. */
 337         memcpy((void *)(0x1000 - sizeof(real_mode_switch) - 100),
 338                 real_mode_switch, sizeof (real_mode_switch));
 339         memcpy((void *)(0x1000 - 100), code, length);
 340
 341         /* Set up the IDT for real mode. */
 342         load_idt(&real_mode_idt);
 343
 344         /* Set up a GDT from which we can load segment descriptors for real
 345            mode.  The GDT is not used in real mode; it is just needed here to
 346            prepare the descriptors. */
 347         load_gdt(&real_mode_gdt);
 348
 349         /* Load the data segment registers, and thus the descriptors ready for
 350            real mode.  The base address of each segment is 0x100, 16 times the
 351            selector value being loaded here.  This is so that the segment
 352            registers don't have to be reloaded after switching to real mode:
 353            the values are consistent for real mode operation already. */
 354         __asm__ __volatile__ ("movl $0x0010,%%eax\n"
 355                                 "\tmovl %%eax,%%ds\n"
 356                                 "\tmovl %%eax,%%es\n"
 357                                 "\tmovl %%eax,%%fs\n"
 358                                 "\tmovl %%eax,%%gs\n"
 359                                 "\tmovl %%eax,%%ss" : : : "eax");
 360
 361         /* Jump to the 16-bit code that we copied earlier.  It disables paging
 362            and the cache, switches to real mode, and jumps to the BIOS reset
 363            entry point. */
 364         __asm__ __volatile__ ("ljmp $0x0008,%0"
 365                                 :
 366                                 : "i" ((void *)(0x1000 - sizeof (real_mode_switch) - 100)));
 367 }
 368 #ifdef CONFIG_APM_MODULE
 369 EXPORT_SYMBOL(machine_real_restart);
 370 #endif
 371
 372 #endif /* CONFIG_X86_32 */
 373
 374 static inline void kb_wait(void)
 375 {
 376         int i;
 377
 378         for (i = 0; i < 0x10000; i++) {
 379                 if ((inb(0x64) & 0x02) == 0)
 380                         break;
 381                 udelay(2);
 382         }
 383 }
 384
 385 static void vmxoff_nmi(int cpu, struct die_args *args)
 386 {
 387         cpu_emergency_vmxoff();
 388 }
 389
 390 /* Use NMIs as IPIs to tell all CPUs to disable virtualization
 391  */
 392 static void emergency_vmx_disable_all(void)
 393 {
 394         /* Just make sure we won't change CPUs while doing this */
 395         local_irq_disable();
 396
 397         /* We need to disable VMX on all CPUs before rebooting, otherwise
 398          * we risk hanging up the machine, because the CPU ignore INIT
 399          * signals when VMX is enabled.
 400          *
 401          * We can't take any locks and we may be on an inconsistent
 402          * state, so we use NMIs as IPIs to tell the other CPUs to disable
 403          * VMX and halt.
 404          *
 405          * For safety, we will avoid running the nmi_shootdown_cpus()
 406          * stuff unnecessarily, but we don't have a way to check
 407          * if other CPUs have VMX enabled. So we will call it only if the
 408          * CPU we are running on has VMX enabled.
 409          *
 410          * We will miss cases where VMX is not enabled on all CPUs. This
 411          * shouldn't do much harm because KVM always enable VMX on all
 412          * CPUs anyway. But we can miss it on the small window where KVM
 413          * is still enabling VMX.
 414          */
 415         if (cpu_has_vmx() && cpu_vmx_enabled()) {
 416                 /* Disable VMX on this CPU.
 417                  */
 418                 cpu_vmxoff();
 419
 420                 /* Halt and disable VMX on the other CPUs */
 421                 nmi_shootdown_cpus(vmxoff_nmi);
 422
 423         }
 424 }
 425
 426
 427 void __attribute__((weak)) mach_reboot_fixups(void)
 428 {
 429 }
 430
 431 static void native_machine_emergency_restart(void)
 432 {
 433         int i;
 434
 435         if (reboot_emergency)
 436                 emergency_vmx_disable_all();
 437
 438         /* Tell the BIOS if we want cold or warm reboot */
 439         *((unsigned short *)__va(0x472)) = reboot_mode;
 440
 441         for (;;) {
 442                 /* Could also try the reset bit in the Hammer NB */
 443                 switch (reboot_type) {
 444                 case BOOT_KBD:
 445                         mach_reboot_fixups(); /* for board specific fixups */
 446
 447                         for (i = 0; i < 10; i++) {
 448                                 kb_wait();
 449                                 udelay(50);
 450                                 outb(0xfe, 0x64); /* pulse reset low */
 451                                 udelay(50);
 452                         }
 453
 454                 case BOOT_TRIPLE:
 455                         load_idt(&no_idt);
 456                         __asm__ __volatile__("int3");
 457
 458                         reboot_type = BOOT_KBD;
 459                         break;
 460
 461 #ifdef CONFIG_X86_32
 462                 case BOOT_BIOS:
 463                         machine_real_restart(jump_to_bios, sizeof(jump_to_bios));
 464
 465                         reboot_type = BOOT_KBD;
 466                         break;
 467 #endif
 468
 469                 case BOOT_ACPI:
 470                         acpi_reboot();
 471                         reboot_type = BOOT_KBD;
 472                         break;
 473
 474                 case BOOT_EFI:
 475                         if (efi_enabled)
 476                                 efi.reset_system(reboot_mode ?
 477                                                  EFI_RESET_WARM :
 478                                                  EFI_RESET_COLD,
 479                                                  EFI_SUCCESS, 0, NULL);
 480                         reboot_type = BOOT_KBD;
 481                         break;
 482
 483                 case BOOT_CF9:
 484                         port_cf9_safe = true;
 485                         /* fall through */
 486
 487                 case BOOT_CF9_COND:
 488                         if (port_cf9_safe) {
 489                                 u8 cf9 = inb(0xcf9) & ~6;
 490                                 outb(cf9|2, 0xcf9); /* Request hard reset */
 491                                 udelay(50);
 492                                 outb(cf9|6, 0xcf9); /* Actually do the reset */
 493                                 udelay(50);
 494                         }
 495                         reboot_type = BOOT_KBD;
 496                         break;
 497                 }
 498         }
 499 }
 500
 501 void native_machine_shutdown(void)
 502 {
 503         /* Stop the cpus and apics */
 504 #ifdef CONFIG_SMP
 505
 506         /* The boot cpu is always logical cpu 0 */
 507         int reboot_cpu_id = 0;
 508
 509 #ifdef CONFIG_X86_32
 510         /* See if there has been given a command line override */
 511         if ((reboot_cpu != -1) && (reboot_cpu < nr_cpu_ids) &&
 512                 cpu_online(reboot_cpu))
 513                 reboot_cpu_id = reboot_cpu;
 514 #endif
 515
 516         /* Make certain the cpu I'm about to reboot on is online */
 517         if (!cpu_online(reboot_cpu_id))
 518                 reboot_cpu_id = smp_processor_id();
 519
 520         /* Make certain I only run on the appropriate processor */
 521         set_cpus_allowed_ptr(current, cpumask_of(reboot_cpu_id));
 522
 523         /* O.K Now that I'm on the appropriate processor,
 524          * stop all of the others.
 525          */
 526         smp_send_stop();
 527 #endif
 528
 529         lapic_shutdown();
 530
 531 #ifdef CONFIG_X86_IO_APIC
 532         disable_IO_APIC();
 533 #endif
 534
 535 #ifdef CONFIG_HPET_TIMER
 536         hpet_disable();
 537 #endif
 538
 539 #ifdef CONFIG_X86_64
 540         pci_iommu_shutdown();
 541 #endif
 542 }
 543
 544 static void __machine_emergency_restart(int emergency)
 545 {
 546         reboot_emergency = emergency;
 547         machine_ops.emergency_restart();
 548 }
 549
 550 static void native_machine_restart(char *__unused)
 551 {
 552         printk("machine restart\n");
 553
 554         if (!reboot_force)
 555                 machine_shutdown();
 556         __machine_emergency_restart(0);
 557 }
 558
 559 static void native_machine_halt(void)
 560 {
 561         /* stop other cpus and apics */
 562         machine_shutdown();
 563
 564         /* stop this cpu */
 565         stop_this_cpu(NULL);
 566 }
 567
 568 static void native_machine_power_off(void)
 569 {
 570         if (pm_power_off) {
 571                 if (!reboot_force)
 572                         machine_shutdown();
 573                 pm_power_off();
 574         }
 575 }
 576
 577 struct machine_ops machine_ops = {
 578         .power_off = native_machine_power_off,
 579         .shutdown = native_machine_shutdown,
 580         .emergency_restart = native_machine_emergency_restart,
 581         .restart = native_machine_restart,
 582         .halt = native_machine_halt,
 583 #ifdef CONFIG_KEXEC
 584         .crash_shutdown = native_machine_crash_shutdown,
 585 #endif
 586 };
 587
 588 void machine_power_off(void)
 589 {
 590         machine_ops.power_off();
 591 }
 592
 593 void machine_shutdown(void)
 594 {
 595         machine_ops.shutdown();
 596 }
 597
 598 void machine_emergency_restart(void)
 599 {
 600         __machine_emergency_restart(1);
 601 }
 602
 603 void machine_restart(char *cmd)
 604 {
 605         machine_ops.restart(cmd);
 606 }
 607
 608 void machine_halt(void)
 609 {
 610         machine_ops.halt();
 611 }
 612
 613 #ifdef CONFIG_KEXEC
 614 void machine_crash_shutdown(struct pt_regs *regs)
 615 {
 616         machine_ops.crash_shutdown(regs);
 617 }
 618 #endif
 619
 620
 621 #if defined(CONFIG_SMP)
 622
 623 /* This keeps a track of which one is crashing cpu. */
 624 static int crashing_cpu;
 625 static nmi_shootdown_cb shootdown_callback;
 626
 627 static atomic_t waiting_for_crash_ipi;
 628
 629 static int crash_nmi_callback(struct notifier_block *self,
 630                         unsigned long val, void *data)
 631 {
 632         int cpu;
 633
 634         if (val != DIE_NMI_IPI)
 635                 return NOTIFY_OK;
 636
 637         cpu = raw_smp_processor_id();
 638
 639         /* Don't do anything if this handler is invoked on crashing cpu.
 640          * Otherwise, system will completely hang. Crashing cpu can get
 641          * an NMI if system was initially booted with nmi_watchdog parameter.
 642          */
 643         if (cpu == crashing_cpu)
 644                 return NOTIFY_STOP;
 645         local_irq_disable();
 646
 647         shootdown_callback(cpu, (struct die_args *)data);
 648
 649         atomic_dec(&waiting_for_crash_ipi);
 650         /* Assume hlt works */
 651         halt();
 652         for (;;)
 653                 cpu_relax();
 654
 655         return 1;
 656 }
 657
 658 static void smp_send_nmi_allbutself(void)
 659 {
 660         apic->send_IPI_allbutself(NMI_VECTOR);
 661 }
 662
 663 static struct notifier_block crash_nmi_nb = {
 664         .notifier_call = crash_nmi_callback,
 665 };
 666
 667 /* Halt all other CPUs, calling the specified function on each of them
 668  *
 669  * This function can be used to halt all other CPUs on crash
 670  * or emergency reboot time. The function passed as parameter
 671  * will be called inside a NMI handler on all CPUs.
 672  */
 673 void nmi_shootdown_cpus(nmi_shootdown_cb callback)
 674 {
 675         unsigned long msecs;
 676         local_irq_disable();
 677
 678         /* Make a note of crashing cpu. Will be used in NMI callback.*/
 679         crashing_cpu = safe_smp_processor_id();
 680
 681         shootdown_callback = callback;
 682
 683         atomic_set(&waiting_for_crash_ipi, num_online_cpus() - 1);
 684         /* Would it be better to replace the trap vector here? */
 685         if (register_die_notifier(&crash_nmi_nb))
 686                 return;         /* return what? */
 687         /* Ensure the new callback function is set before sending
 688          * out the NMI
 689          */
 690         wmb();
 691
 692         smp_send_nmi_allbutself();
 693
 694         msecs = 1000; /* Wait at most a second for the other cpus to stop */
 695         while ((atomic_read(&waiting_for_crash_ipi) > 0) && msecs) {
 696                 mdelay(1);
 697                 msecs--;
 698         }
 699
 700         /* Leave the nmi callback set */
 701 }
 702 #else /* !CONFIG_SMP */
 703 void nmi_shootdown_cpus(nmi_shootdown_cb callback)
 704 {
 705         /* No other CPUs to shoot down */
 706 }
 707 #endif