e82eeb2fdfefde6b33cfc4dec68ac2b3353868b6
[sfrench/cifs-2.6.git] / arch / x86 / kernel / smpboot_32.c
1 /*
2  *      x86 SMP booting functions
3  *
4  *      (c) 1995 Alan Cox, Building #3 <alan@redhat.com>
5  *      (c) 1998, 1999, 2000 Ingo Molnar <mingo@redhat.com>
6  *
7  *      Much of the core SMP work is based on previous work by Thomas Radke, to
8  *      whom a great many thanks are extended.
9  *
10  *      Thanks to Intel for making available several different Pentium,
11  *      Pentium Pro and Pentium-II/Xeon MP machines.
12  *      Original development of Linux SMP code supported by Caldera.
13  *
14  *      This code is released under the GNU General Public License version 2 or
15  *      later.
16  *
17  *      Fixes
18  *              Felix Koop      :       NR_CPUS used properly
19  *              Jose Renau      :       Handle single CPU case.
20  *              Alan Cox        :       By repeated request 8) - Total BogoMIPS report.
21  *              Greg Wright     :       Fix for kernel stacks panic.
22  *              Erich Boleyn    :       MP v1.4 and additional changes.
23  *      Matthias Sattler        :       Changes for 2.1 kernel map.
24  *      Michel Lespinasse       :       Changes for 2.1 kernel map.
25  *      Michael Chastain        :       Change trampoline.S to gnu as.
26  *              Alan Cox        :       Dumb bug: 'B' step PPro's are fine
27  *              Ingo Molnar     :       Added APIC timers, based on code
28  *                                      from Jose Renau
29  *              Ingo Molnar     :       various cleanups and rewrites
30  *              Tigran Aivazian :       fixed "0.00 in /proc/uptime on SMP" bug.
31  *      Maciej W. Rozycki       :       Bits for genuine 82489DX APICs
32  *              Martin J. Bligh :       Added support for multi-quad systems
33  *              Dave Jones      :       Report invalid combinations of Athlon CPUs.
34 *               Rusty Russell   :       Hacked into shape for new "hotplug" boot process. */
35
36 #include <linux/module.h>
37 #include <linux/init.h>
38 #include <linux/kernel.h>
39
40 #include <linux/mm.h>
41 #include <linux/sched.h>
42 #include <linux/kernel_stat.h>
43 #include <linux/bootmem.h>
44 #include <linux/notifier.h>
45 #include <linux/cpu.h>
46 #include <linux/percpu.h>
47 #include <linux/nmi.h>
48
49 #include <linux/delay.h>
50 #include <linux/mc146818rtc.h>
51 #include <asm/tlbflush.h>
52 #include <asm/desc.h>
53 #include <asm/arch_hooks.h>
54 #include <asm/nmi.h>
55
56 #include <mach_apic.h>
57 #include <mach_wakecpu.h>
58 #include <smpboot_hooks.h>
59 #include <asm/vmi.h>
60 #include <asm/mtrr.h>
61
62 /* which logical CPU number maps to which CPU (physical APIC ID) */
63 u16 x86_cpu_to_apicid_init[NR_CPUS] __initdata =
64                         { [0 ... NR_CPUS-1] = BAD_APICID };
65 void *x86_cpu_to_apicid_early_ptr;
66 DEFINE_PER_CPU(u16, x86_cpu_to_apicid) = BAD_APICID;
67 EXPORT_PER_CPU_SYMBOL(x86_cpu_to_apicid);
68
69 u16 x86_bios_cpu_apicid_init[NR_CPUS] __initdata
70                                 = { [0 ... NR_CPUS-1] = BAD_APICID };
71 void *x86_bios_cpu_apicid_early_ptr;
72 DEFINE_PER_CPU(u16, x86_bios_cpu_apicid) = BAD_APICID;
73 EXPORT_PER_CPU_SYMBOL(x86_bios_cpu_apicid);
74
75 u8 apicid_2_node[MAX_APICID];
76
77 extern void map_cpu_to_logical_apicid(void);
78 extern void unmap_cpu_to_logical_apicid(int cpu);
79
80 /* State of each CPU. */
81 DEFINE_PER_CPU(int, cpu_state) = { 0 };
82
83 extern void smp_callin(void);
84
85 /*
86  * Activate a secondary processor.
87  */
88 void __cpuinit start_secondary(void *unused)
89 {
90         /*
91          * Don't put *anything* before cpu_init(), SMP booting is too
92          * fragile that we want to limit the things done here to the
93          * most necessary things.
94          */
95 #ifdef CONFIG_VMI
96         vmi_bringup();
97 #endif
98         cpu_init();
99         preempt_disable();
100         smp_callin();
101
102         /* otherwise gcc will move up smp_processor_id before the cpu_init */
103         barrier();
104         /*
105          * Check TSC synchronization with the BP:
106          */
107         check_tsc_sync_target();
108
109         if (nmi_watchdog == NMI_IO_APIC) {
110                 disable_8259A_irq(0);
111                 enable_NMI_through_LVT0();
112                 enable_8259A_irq(0);
113         }
114
115         /* This must be done before setting cpu_online_map */
116         set_cpu_sibling_map(raw_smp_processor_id());
117         wmb();
118
119         /*
120          * We need to hold call_lock, so there is no inconsistency
121          * between the time smp_call_function() determines number of
122          * IPI recipients, and the time when the determination is made
123          * for which cpus receive the IPI. Holding this
124          * lock helps us to not include this cpu in a currently in progress
125          * smp_call_function().
126          */
127         lock_ipi_call_lock();
128         cpu_set(smp_processor_id(), cpu_online_map);
129         unlock_ipi_call_lock();
130         per_cpu(cpu_state, smp_processor_id()) = CPU_ONLINE;
131
132         setup_secondary_clock();
133
134         wmb();
135         cpu_idle();
136 }
137
138 /*
139  * Everything has been set up for the secondary
140  * CPUs - they just need to reload everything
141  * from the task structure
142  * This function must not return.
143  */
144 void __devinit initialize_secondary(void)
145 {
146         /*
147          * We don't actually need to load the full TSS,
148          * basically just the stack pointer and the ip.
149          */
150
151         asm volatile(
152                 "movl %0,%%esp\n\t"
153                 "jmp *%1"
154                 :
155                 :"m" (current->thread.sp),"m" (current->thread.ip));
156 }
157
158 #ifdef CONFIG_HOTPLUG_CPU
159 void cpu_exit_clear(void)
160 {
161         int cpu = raw_smp_processor_id();
162
163         idle_task_exit();
164
165         cpu_uninit();
166         irq_ctx_exit(cpu);
167
168         cpu_clear(cpu, cpu_callout_map);
169         cpu_clear(cpu, cpu_callin_map);
170
171         unmap_cpu_to_logical_apicid(cpu);
172 }
173 #endif
174
175 static int boot_cpu_logical_apicid;
176 /* Where the IO area was mapped on multiquad, always 0 otherwise */
177 void *xquad_portio;
178 #ifdef CONFIG_X86_NUMAQ
179 EXPORT_SYMBOL(xquad_portio);
180 #endif
181
182 static void __init disable_smp(void)
183 {
184         cpu_possible_map = cpumask_of_cpu(0);
185         cpu_present_map = cpumask_of_cpu(0);
186         smpboot_clear_io_apic_irqs();
187         phys_cpu_present_map = physid_mask_of_physid(0);
188         map_cpu_to_logical_apicid();
189         cpu_set(0, per_cpu(cpu_sibling_map, 0));
190         cpu_set(0, per_cpu(cpu_core_map, 0));
191 }
192
193 static int __init smp_sanity_check(unsigned max_cpus)
194 {
195         /*
196          * If we couldn't find an SMP configuration at boot time,
197          * get out of here now!
198          */
199         if (!smp_found_config && !acpi_lapic) {
200                 printk(KERN_NOTICE "SMP motherboard not detected.\n");
201                 disable_smp();
202                 if (APIC_init_uniprocessor())
203                         printk(KERN_NOTICE "Local APIC not detected."
204                                            " Using dummy APIC emulation.\n");
205                 return -1;
206         }
207
208         /*
209          * Should not be necessary because the MP table should list the boot
210          * CPU too, but we do it for the sake of robustness anyway.
211          * Makes no sense to do this check in clustered apic mode, so skip it
212          */
213         if (!check_phys_apicid_present(boot_cpu_physical_apicid)) {
214                 printk("weird, boot CPU (#%d) not listed by the BIOS.\n",
215                                 boot_cpu_physical_apicid);
216                 physid_set(hard_smp_processor_id(), phys_cpu_present_map);
217         }
218
219         /*
220          * If we couldn't find a local APIC, then get out of here now!
221          */
222         if (APIC_INTEGRATED(apic_version[boot_cpu_physical_apicid]) && !cpu_has_apic) {
223                 printk(KERN_ERR "BIOS bug, local APIC #%d not detected!...\n",
224                         boot_cpu_physical_apicid);
225                 printk(KERN_ERR "... forcing use of dummy APIC emulation. (tell your hw vendor)\n");
226                 return -1;
227         }
228
229         verify_local_APIC();
230
231         /*
232          * If SMP should be disabled, then really disable it!
233          */
234         if (!max_cpus) {
235                 smp_found_config = 0;
236                 printk(KERN_INFO "SMP mode deactivated, forcing use of dummy APIC emulation.\n");
237
238                 if (nmi_watchdog == NMI_LOCAL_APIC) {
239                         printk(KERN_INFO "activating minimal APIC for NMI watchdog use.\n");
240                         connect_bsp_APIC();
241                         setup_local_APIC();
242                         end_local_APIC_setup();
243                 }
244                 return -1;
245         }
246         return 0;
247 }
248
249 /*
250  * Cycle through the processors sending APIC IPIs to boot each.
251  */
252 static void __init smp_boot_cpus(unsigned int max_cpus)
253 {
254         /*
255          * Setup boot CPU information
256          */
257         smp_store_cpu_info(0); /* Final full version of the data */
258         printk(KERN_INFO "CPU%d: ", 0);
259         print_cpu_info(&cpu_data(0));
260
261         boot_cpu_physical_apicid = GET_APIC_ID(apic_read(APIC_ID));
262         boot_cpu_logical_apicid = logical_smp_processor_id();
263
264         current_thread_info()->cpu = 0;
265
266         set_cpu_sibling_map(0);
267
268         if (smp_sanity_check(max_cpus) < 0) {
269                 printk(KERN_INFO "SMP disabled\n");
270                 disable_smp();
271                 return;
272         }
273
274         connect_bsp_APIC();
275         setup_local_APIC();
276         end_local_APIC_setup();
277         map_cpu_to_logical_apicid();
278
279
280         setup_portio_remap();
281
282         smpboot_setup_io_apic();
283
284         setup_boot_clock();
285 }
286
287 /* These are wrappers to interface to the new boot process.  Someone
288    who understands all this stuff should rewrite it properly. --RR 15/Jul/02 */
289 void __init native_smp_prepare_cpus(unsigned int max_cpus)
290 {
291         nmi_watchdog_default();
292         cpu_callin_map = cpumask_of_cpu(0);
293         mb();
294         smp_boot_cpus(max_cpus);
295 }
296
297 void __init native_smp_prepare_boot_cpu(void)
298 {
299         unsigned int cpu = smp_processor_id();
300
301         init_gdt(cpu);
302         switch_to_new_gdt();
303
304         cpu_set(cpu, cpu_callout_map);
305         __get_cpu_var(cpu_state) = CPU_ONLINE;
306 }
307
308 extern void impress_friends(void);
309 extern void smp_checks(void);
310
311 void __init native_smp_cpus_done(unsigned int max_cpus)
312 {
313         /*
314          * Cleanup possible dangling ends...
315          */
316         smpboot_restore_warm_reset_vector();
317
318         Dprintk("Boot done.\n");
319
320         impress_friends();
321         smp_checks();
322 #ifdef CONFIG_X86_IO_APIC
323         setup_ioapic_dest();
324 #endif
325         check_nmi_watchdog();
326         zap_low_mappings();
327 }