Merge tag 'x86_urgent_for_v6.7_rc2' of git://git.kernel.org/pub/scm/linux/kernel...
[sfrench/cifs-2.6.git] / arch / x86 / kernel / acpi / boot.c
1 // SPDX-License-Identifier: GPL-2.0-or-later
2 /*
3  *  boot.c - Architecture-Specific Low-Level ACPI Boot Support
4  *
5  *  Copyright (C) 2001, 2002 Paul Diefenbaugh <paul.s.diefenbaugh@intel.com>
6  *  Copyright (C) 2001 Jun Nakajima <jun.nakajima@intel.com>
7  */
8 #define pr_fmt(fmt) "ACPI: " fmt
9
10 #include <linux/init.h>
11 #include <linux/acpi.h>
12 #include <linux/acpi_pmtmr.h>
13 #include <linux/efi.h>
14 #include <linux/cpumask.h>
15 #include <linux/export.h>
16 #include <linux/dmi.h>
17 #include <linux/irq.h>
18 #include <linux/slab.h>
19 #include <linux/memblock.h>
20 #include <linux/ioport.h>
21 #include <linux/pci.h>
22 #include <linux/efi-bgrt.h>
23 #include <linux/serial_core.h>
24 #include <linux/pgtable.h>
25
26 #include <asm/e820/api.h>
27 #include <asm/irqdomain.h>
28 #include <asm/pci_x86.h>
29 #include <asm/io_apic.h>
30 #include <asm/apic.h>
31 #include <asm/io.h>
32 #include <asm/mpspec.h>
33 #include <asm/smp.h>
34 #include <asm/i8259.h>
35 #include <asm/setup.h>
36
37 #include "sleep.h" /* To include x86_acpi_suspend_lowlevel */
38 static int __initdata acpi_force = 0;
39 int acpi_disabled;
40 EXPORT_SYMBOL(acpi_disabled);
41
42 #ifdef  CONFIG_X86_64
43 # include <asm/proto.h>
44 #endif                          /* X86 */
45
46 int acpi_noirq;                         /* skip ACPI IRQ initialization */
47 static int acpi_nobgrt;                 /* skip ACPI BGRT */
48 int acpi_pci_disabled;          /* skip ACPI PCI scan and IRQ initialization */
49 EXPORT_SYMBOL(acpi_pci_disabled);
50
51 int acpi_lapic;
52 int acpi_ioapic;
53 int acpi_strict;
54 int acpi_disable_cmcff;
55 bool acpi_int_src_ovr[NR_IRQS_LEGACY];
56
57 /* ACPI SCI override configuration */
58 u8 acpi_sci_flags __initdata;
59 u32 acpi_sci_override_gsi __initdata = INVALID_ACPI_IRQ;
60 int acpi_skip_timer_override __initdata;
61 int acpi_use_timer_override __initdata;
62 int acpi_fix_pin2_polarity __initdata;
63
64 #ifdef CONFIG_X86_LOCAL_APIC
65 static u64 acpi_lapic_addr __initdata = APIC_DEFAULT_PHYS_BASE;
66 static bool has_lapic_cpus __initdata;
67 static bool acpi_support_online_capable;
68 #endif
69
70 #ifdef CONFIG_X86_64
71 /* Physical address of the Multiprocessor Wakeup Structure mailbox */
72 static u64 acpi_mp_wake_mailbox_paddr;
73 /* Virtual address of the Multiprocessor Wakeup Structure mailbox */
74 static struct acpi_madt_multiproc_wakeup_mailbox *acpi_mp_wake_mailbox;
75 #endif
76
77 #ifdef CONFIG_X86_IO_APIC
78 /*
79  * Locks related to IOAPIC hotplug
80  * Hotplug side:
81  *      ->device_hotplug_lock
82  *              ->acpi_ioapic_lock
83  *                      ->ioapic_lock
84  * Interrupt mapping side:
85  *      ->acpi_ioapic_lock
86  *              ->ioapic_mutex
87  *                      ->ioapic_lock
88  */
89 static DEFINE_MUTEX(acpi_ioapic_lock);
90 #endif
91
92 /* --------------------------------------------------------------------------
93                               Boot-time Configuration
94    -------------------------------------------------------------------------- */
95
96 /*
97  * The default interrupt routing model is PIC (8259).  This gets
98  * overridden if IOAPICs are enumerated (below).
99  */
100 enum acpi_irq_model_id acpi_irq_model = ACPI_IRQ_MODEL_PIC;
101
102
103 /*
104  * ISA irqs by default are the first 16 gsis but can be
105  * any gsi as specified by an interrupt source override.
106  */
107 static u32 isa_irq_to_gsi[NR_IRQS_LEGACY] __read_mostly = {
108         0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15
109 };
110
111 /*
112  * This is just a simple wrapper around early_memremap(),
113  * with sanity checks for phys == 0 and size == 0.
114  */
115 void __init __iomem *__acpi_map_table(unsigned long phys, unsigned long size)
116 {
117
118         if (!phys || !size)
119                 return NULL;
120
121         return early_memremap(phys, size);
122 }
123
124 void __init __acpi_unmap_table(void __iomem *map, unsigned long size)
125 {
126         if (!map || !size)
127                 return;
128
129         early_memunmap(map, size);
130 }
131
132 #ifdef CONFIG_X86_LOCAL_APIC
133 static int __init acpi_parse_madt(struct acpi_table_header *table)
134 {
135         struct acpi_table_madt *madt = NULL;
136
137         if (!boot_cpu_has(X86_FEATURE_APIC))
138                 return -EINVAL;
139
140         madt = (struct acpi_table_madt *)table;
141         if (!madt) {
142                 pr_warn("Unable to map MADT\n");
143                 return -ENODEV;
144         }
145
146         if (madt->address) {
147                 acpi_lapic_addr = (u64) madt->address;
148
149                 pr_debug("Local APIC address 0x%08x\n", madt->address);
150         }
151
152         if (madt->flags & ACPI_MADT_PCAT_COMPAT)
153                 legacy_pic_pcat_compat();
154
155         /* ACPI 6.3 and newer support the online capable bit. */
156         if (acpi_gbl_FADT.header.revision > 6 ||
157             (acpi_gbl_FADT.header.revision == 6 &&
158              acpi_gbl_FADT.minor_revision >= 3))
159                 acpi_support_online_capable = true;
160
161         default_acpi_madt_oem_check(madt->header.oem_id,
162                                     madt->header.oem_table_id);
163
164         return 0;
165 }
166
167 /**
168  * acpi_register_lapic - register a local apic and generates a logic cpu number
169  * @id: local apic id to register
170  * @acpiid: ACPI id to register
171  * @enabled: this cpu is enabled or not
172  *
173  * Returns the logic cpu number which maps to the local apic
174  */
175 static int acpi_register_lapic(int id, u32 acpiid, u8 enabled)
176 {
177         int cpu;
178
179         if (id >= MAX_LOCAL_APIC) {
180                 pr_info("skipped apicid that is too big\n");
181                 return -EINVAL;
182         }
183
184         if (!enabled) {
185                 ++disabled_cpus;
186                 return -EINVAL;
187         }
188
189         cpu = generic_processor_info(id);
190         if (cpu >= 0)
191                 early_per_cpu(x86_cpu_to_acpiid, cpu) = acpiid;
192
193         return cpu;
194 }
195
196 static bool __init acpi_is_processor_usable(u32 lapic_flags)
197 {
198         if (lapic_flags & ACPI_MADT_ENABLED)
199                 return true;
200
201         if (!acpi_support_online_capable ||
202             (lapic_flags & ACPI_MADT_ONLINE_CAPABLE))
203                 return true;
204
205         return false;
206 }
207
208 static int __init
209 acpi_parse_x2apic(union acpi_subtable_headers *header, const unsigned long end)
210 {
211         struct acpi_madt_local_x2apic *processor = NULL;
212 #ifdef CONFIG_X86_X2APIC
213         u32 apic_id;
214         u8 enabled;
215 #endif
216
217         processor = (struct acpi_madt_local_x2apic *)header;
218
219         if (BAD_MADT_ENTRY(processor, end))
220                 return -EINVAL;
221
222         acpi_table_print_madt_entry(&header->common);
223
224 #ifdef CONFIG_X86_X2APIC
225         apic_id = processor->local_apic_id;
226         enabled = processor->lapic_flags & ACPI_MADT_ENABLED;
227
228         /* Ignore invalid ID */
229         if (apic_id == 0xffffffff)
230                 return 0;
231
232         /* don't register processors that cannot be onlined */
233         if (!acpi_is_processor_usable(processor->lapic_flags))
234                 return 0;
235
236         /*
237          * According to https://uefi.org/specs/ACPI/6.5/05_ACPI_Software_Programming_Model.html#processor-local-x2apic-structure
238          * when MADT provides both valid LAPIC and x2APIC entries, the APIC ID
239          * in x2APIC must be equal or greater than 0xff.
240          */
241         if (has_lapic_cpus && apic_id < 0xff)
242                 return 0;
243
244         /*
245          * We need to register disabled CPU as well to permit
246          * counting disabled CPUs. This allows us to size
247          * cpus_possible_map more accurately, to permit
248          * to not preallocating memory for all NR_CPUS
249          * when we use CPU hotplug.
250          */
251         if (!apic_id_valid(apic_id)) {
252                 if (enabled)
253                         pr_warn("x2apic entry ignored\n");
254                 return 0;
255         }
256
257         acpi_register_lapic(apic_id, processor->uid, enabled);
258 #else
259         pr_warn("x2apic entry ignored\n");
260 #endif
261
262         return 0;
263 }
264
265 static int __init
266 acpi_parse_lapic(union acpi_subtable_headers * header, const unsigned long end)
267 {
268         struct acpi_madt_local_apic *processor = NULL;
269
270         processor = (struct acpi_madt_local_apic *)header;
271
272         if (BAD_MADT_ENTRY(processor, end))
273                 return -EINVAL;
274
275         acpi_table_print_madt_entry(&header->common);
276
277         /* Ignore invalid ID */
278         if (processor->id == 0xff)
279                 return 0;
280
281         /* don't register processors that can not be onlined */
282         if (!acpi_is_processor_usable(processor->lapic_flags))
283                 return 0;
284
285         /*
286          * We need to register disabled CPU as well to permit
287          * counting disabled CPUs. This allows us to size
288          * cpus_possible_map more accurately, to permit
289          * to not preallocating memory for all NR_CPUS
290          * when we use CPU hotplug.
291          */
292         acpi_register_lapic(processor->id,      /* APIC ID */
293                             processor->processor_id, /* ACPI ID */
294                             processor->lapic_flags & ACPI_MADT_ENABLED);
295
296         return 0;
297 }
298
299 static int __init
300 acpi_parse_sapic(union acpi_subtable_headers *header, const unsigned long end)
301 {
302         struct acpi_madt_local_sapic *processor = NULL;
303
304         processor = (struct acpi_madt_local_sapic *)header;
305
306         if (BAD_MADT_ENTRY(processor, end))
307                 return -EINVAL;
308
309         acpi_table_print_madt_entry(&header->common);
310
311         acpi_register_lapic((processor->id << 8) | processor->eid,/* APIC ID */
312                             processor->processor_id, /* ACPI ID */
313                             processor->lapic_flags & ACPI_MADT_ENABLED);
314
315         return 0;
316 }
317
318 static int __init
319 acpi_parse_lapic_addr_ovr(union acpi_subtable_headers * header,
320                           const unsigned long end)
321 {
322         struct acpi_madt_local_apic_override *lapic_addr_ovr = NULL;
323
324         lapic_addr_ovr = (struct acpi_madt_local_apic_override *)header;
325
326         if (BAD_MADT_ENTRY(lapic_addr_ovr, end))
327                 return -EINVAL;
328
329         acpi_table_print_madt_entry(&header->common);
330
331         acpi_lapic_addr = lapic_addr_ovr->address;
332
333         return 0;
334 }
335
336 static int __init
337 acpi_parse_x2apic_nmi(union acpi_subtable_headers *header,
338                       const unsigned long end)
339 {
340         struct acpi_madt_local_x2apic_nmi *x2apic_nmi = NULL;
341
342         x2apic_nmi = (struct acpi_madt_local_x2apic_nmi *)header;
343
344         if (BAD_MADT_ENTRY(x2apic_nmi, end))
345                 return -EINVAL;
346
347         acpi_table_print_madt_entry(&header->common);
348
349         if (x2apic_nmi->lint != 1)
350                 pr_warn("NMI not connected to LINT 1!\n");
351
352         return 0;
353 }
354
355 static int __init
356 acpi_parse_lapic_nmi(union acpi_subtable_headers * header, const unsigned long end)
357 {
358         struct acpi_madt_local_apic_nmi *lapic_nmi = NULL;
359
360         lapic_nmi = (struct acpi_madt_local_apic_nmi *)header;
361
362         if (BAD_MADT_ENTRY(lapic_nmi, end))
363                 return -EINVAL;
364
365         acpi_table_print_madt_entry(&header->common);
366
367         if (lapic_nmi->lint != 1)
368                 pr_warn("NMI not connected to LINT 1!\n");
369
370         return 0;
371 }
372
373 #ifdef CONFIG_X86_64
374 static int acpi_wakeup_cpu(u32 apicid, unsigned long start_ip)
375 {
376         /*
377          * Remap mailbox memory only for the first call to acpi_wakeup_cpu().
378          *
379          * Wakeup of secondary CPUs is fully serialized in the core code.
380          * No need to protect acpi_mp_wake_mailbox from concurrent accesses.
381          */
382         if (!acpi_mp_wake_mailbox) {
383                 acpi_mp_wake_mailbox = memremap(acpi_mp_wake_mailbox_paddr,
384                                                 sizeof(*acpi_mp_wake_mailbox),
385                                                 MEMREMAP_WB);
386         }
387
388         /*
389          * Mailbox memory is shared between the firmware and OS. Firmware will
390          * listen on mailbox command address, and once it receives the wakeup
391          * command, the CPU associated with the given apicid will be booted.
392          *
393          * The value of 'apic_id' and 'wakeup_vector' must be visible to the
394          * firmware before the wakeup command is visible.  smp_store_release()
395          * ensures ordering and visibility.
396          */
397         acpi_mp_wake_mailbox->apic_id       = apicid;
398         acpi_mp_wake_mailbox->wakeup_vector = start_ip;
399         smp_store_release(&acpi_mp_wake_mailbox->command,
400                           ACPI_MP_WAKE_COMMAND_WAKEUP);
401
402         /*
403          * Wait for the CPU to wake up.
404          *
405          * The CPU being woken up is essentially in a spin loop waiting to be
406          * woken up. It should not take long for it wake up and acknowledge by
407          * zeroing out ->command.
408          *
409          * ACPI specification doesn't provide any guidance on how long kernel
410          * has to wait for a wake up acknowledgement. It also doesn't provide
411          * a way to cancel a wake up request if it takes too long.
412          *
413          * In TDX environment, the VMM has control over how long it takes to
414          * wake up secondary. It can postpone scheduling secondary vCPU
415          * indefinitely. Giving up on wake up request and reporting error opens
416          * possible attack vector for VMM: it can wake up a secondary CPU when
417          * kernel doesn't expect it. Wait until positive result of the wake up
418          * request.
419          */
420         while (READ_ONCE(acpi_mp_wake_mailbox->command))
421                 cpu_relax();
422
423         return 0;
424 }
425 #endif /* CONFIG_X86_64 */
426 #endif /* CONFIG_X86_LOCAL_APIC */
427
428 #ifdef CONFIG_X86_IO_APIC
429 #define MP_ISA_BUS              0
430
431 static int __init mp_register_ioapic_irq(u8 bus_irq, u8 polarity,
432                                                 u8 trigger, u32 gsi);
433
434 static void __init mp_override_legacy_irq(u8 bus_irq, u8 polarity, u8 trigger,
435                                           u32 gsi)
436 {
437         /*
438          * Check bus_irq boundary.
439          */
440         if (bus_irq >= NR_IRQS_LEGACY) {
441                 pr_warn("Invalid bus_irq %u for legacy override\n", bus_irq);
442                 return;
443         }
444
445         /*
446          * TBD: This check is for faulty timer entries, where the override
447          *      erroneously sets the trigger to level, resulting in a HUGE
448          *      increase of timer interrupts!
449          */
450         if ((bus_irq == 0) && (trigger == 3))
451                 trigger = 1;
452
453         if (mp_register_ioapic_irq(bus_irq, polarity, trigger, gsi) < 0)
454                 return;
455         /*
456          * Reset default identity mapping if gsi is also an legacy IRQ,
457          * otherwise there will be more than one entry with the same GSI
458          * and acpi_isa_irq_to_gsi() may give wrong result.
459          */
460         if (gsi < nr_legacy_irqs() && isa_irq_to_gsi[gsi] == gsi)
461                 isa_irq_to_gsi[gsi] = INVALID_ACPI_IRQ;
462         isa_irq_to_gsi[bus_irq] = gsi;
463 }
464
465 static void mp_config_acpi_gsi(struct device *dev, u32 gsi, int trigger,
466                         int polarity)
467 {
468 #ifdef CONFIG_X86_MPPARSE
469         struct mpc_intsrc mp_irq;
470         struct pci_dev *pdev;
471         unsigned char number;
472         unsigned int devfn;
473         int ioapic;
474         u8 pin;
475
476         if (!acpi_ioapic)
477                 return;
478         if (!dev || !dev_is_pci(dev))
479                 return;
480
481         pdev = to_pci_dev(dev);
482         number = pdev->bus->number;
483         devfn = pdev->devfn;
484         pin = pdev->pin;
485         /* print the entry should happen on mptable identically */
486         mp_irq.type = MP_INTSRC;
487         mp_irq.irqtype = mp_INT;
488         mp_irq.irqflag = (trigger == ACPI_EDGE_SENSITIVE ? 4 : 0x0c) |
489                                 (polarity == ACPI_ACTIVE_HIGH ? 1 : 3);
490         mp_irq.srcbus = number;
491         mp_irq.srcbusirq = (((devfn >> 3) & 0x1f) << 2) | ((pin - 1) & 3);
492         ioapic = mp_find_ioapic(gsi);
493         mp_irq.dstapic = mpc_ioapic_id(ioapic);
494         mp_irq.dstirq = mp_find_ioapic_pin(ioapic, gsi);
495
496         mp_save_irq(&mp_irq);
497 #endif
498 }
499
500 static int __init mp_register_ioapic_irq(u8 bus_irq, u8 polarity,
501                                                 u8 trigger, u32 gsi)
502 {
503         struct mpc_intsrc mp_irq;
504         int ioapic, pin;
505
506         /* Convert 'gsi' to 'ioapic.pin'(INTIN#) */
507         ioapic = mp_find_ioapic(gsi);
508         if (ioapic < 0) {
509                 pr_warn("Failed to find ioapic for gsi : %u\n", gsi);
510                 return ioapic;
511         }
512
513         pin = mp_find_ioapic_pin(ioapic, gsi);
514
515         mp_irq.type = MP_INTSRC;
516         mp_irq.irqtype = mp_INT;
517         mp_irq.irqflag = (trigger << 2) | polarity;
518         mp_irq.srcbus = MP_ISA_BUS;
519         mp_irq.srcbusirq = bus_irq;
520         mp_irq.dstapic = mpc_ioapic_id(ioapic);
521         mp_irq.dstirq = pin;
522
523         mp_save_irq(&mp_irq);
524
525         return 0;
526 }
527
528 static int __init
529 acpi_parse_ioapic(union acpi_subtable_headers * header, const unsigned long end)
530 {
531         struct acpi_madt_io_apic *ioapic = NULL;
532         struct ioapic_domain_cfg cfg = {
533                 .type = IOAPIC_DOMAIN_DYNAMIC,
534                 .ops = &mp_ioapic_irqdomain_ops,
535         };
536
537         ioapic = (struct acpi_madt_io_apic *)header;
538
539         if (BAD_MADT_ENTRY(ioapic, end))
540                 return -EINVAL;
541
542         acpi_table_print_madt_entry(&header->common);
543
544         /* Statically assign IRQ numbers for IOAPICs hosting legacy IRQs */
545         if (ioapic->global_irq_base < nr_legacy_irqs())
546                 cfg.type = IOAPIC_DOMAIN_LEGACY;
547
548         mp_register_ioapic(ioapic->id, ioapic->address, ioapic->global_irq_base,
549                            &cfg);
550
551         return 0;
552 }
553
554 /*
555  * Parse Interrupt Source Override for the ACPI SCI
556  */
557 static void __init acpi_sci_ioapic_setup(u8 bus_irq, u16 polarity, u16 trigger, u32 gsi)
558 {
559         if (trigger == 0)       /* compatible SCI trigger is level */
560                 trigger = 3;
561
562         if (polarity == 0)      /* compatible SCI polarity is low */
563                 polarity = 3;
564
565         /* Command-line over-ride via acpi_sci= */
566         if (acpi_sci_flags & ACPI_MADT_TRIGGER_MASK)
567                 trigger = (acpi_sci_flags & ACPI_MADT_TRIGGER_MASK) >> 2;
568
569         if (acpi_sci_flags & ACPI_MADT_POLARITY_MASK)
570                 polarity = acpi_sci_flags & ACPI_MADT_POLARITY_MASK;
571
572         if (bus_irq < NR_IRQS_LEGACY)
573                 mp_override_legacy_irq(bus_irq, polarity, trigger, gsi);
574         else
575                 mp_register_ioapic_irq(bus_irq, polarity, trigger, gsi);
576
577         acpi_penalize_sci_irq(bus_irq, trigger, polarity);
578
579         /*
580          * stash over-ride to indicate we've been here
581          * and for later update of acpi_gbl_FADT
582          */
583         acpi_sci_override_gsi = gsi;
584         return;
585 }
586
587 static int __init
588 acpi_parse_int_src_ovr(union acpi_subtable_headers * header,
589                        const unsigned long end)
590 {
591         struct acpi_madt_interrupt_override *intsrc = NULL;
592
593         intsrc = (struct acpi_madt_interrupt_override *)header;
594
595         if (BAD_MADT_ENTRY(intsrc, end))
596                 return -EINVAL;
597
598         acpi_table_print_madt_entry(&header->common);
599
600         if (intsrc->source_irq < NR_IRQS_LEGACY)
601                 acpi_int_src_ovr[intsrc->source_irq] = true;
602
603         if (intsrc->source_irq == acpi_gbl_FADT.sci_interrupt) {
604                 acpi_sci_ioapic_setup(intsrc->source_irq,
605                                       intsrc->inti_flags & ACPI_MADT_POLARITY_MASK,
606                                       (intsrc->inti_flags & ACPI_MADT_TRIGGER_MASK) >> 2,
607                                       intsrc->global_irq);
608                 return 0;
609         }
610
611         if (intsrc->source_irq == 0) {
612                 if (acpi_skip_timer_override) {
613                         pr_warn("BIOS IRQ0 override ignored.\n");
614                         return 0;
615                 }
616
617                 if ((intsrc->global_irq == 2) && acpi_fix_pin2_polarity
618                         && (intsrc->inti_flags & ACPI_MADT_POLARITY_MASK)) {
619                         intsrc->inti_flags &= ~ACPI_MADT_POLARITY_MASK;
620                         pr_warn("BIOS IRQ0 pin2 override: forcing polarity to high active.\n");
621                 }
622         }
623
624         mp_override_legacy_irq(intsrc->source_irq,
625                                 intsrc->inti_flags & ACPI_MADT_POLARITY_MASK,
626                                 (intsrc->inti_flags & ACPI_MADT_TRIGGER_MASK) >> 2,
627                                 intsrc->global_irq);
628
629         return 0;
630 }
631
632 static int __init
633 acpi_parse_nmi_src(union acpi_subtable_headers * header, const unsigned long end)
634 {
635         struct acpi_madt_nmi_source *nmi_src = NULL;
636
637         nmi_src = (struct acpi_madt_nmi_source *)header;
638
639         if (BAD_MADT_ENTRY(nmi_src, end))
640                 return -EINVAL;
641
642         acpi_table_print_madt_entry(&header->common);
643
644         /* TBD: Support nimsrc entries? */
645
646         return 0;
647 }
648
649 #endif                          /* CONFIG_X86_IO_APIC */
650
651 /*
652  * acpi_pic_sci_set_trigger()
653  *
654  * use ELCR to set PIC-mode trigger type for SCI
655  *
656  * If a PIC-mode SCI is not recognized or gives spurious IRQ7's
657  * it may require Edge Trigger -- use "acpi_sci=edge"
658  *
659  * Port 0x4d0-4d1 are ELCR1 and ELCR2, the Edge/Level Control Registers
660  * for the 8259 PIC.  bit[n] = 1 means irq[n] is Level, otherwise Edge.
661  * ELCR1 is IRQs 0-7 (IRQ 0, 1, 2 must be 0)
662  * ELCR2 is IRQs 8-15 (IRQ 8, 13 must be 0)
663  */
664
665 void __init acpi_pic_sci_set_trigger(unsigned int irq, u16 trigger)
666 {
667         unsigned int mask = 1 << irq;
668         unsigned int old, new;
669
670         /* Real old ELCR mask */
671         old = inb(PIC_ELCR1) | (inb(PIC_ELCR2) << 8);
672
673         /*
674          * If we use ACPI to set PCI IRQs, then we should clear ELCR
675          * since we will set it correctly as we enable the PCI irq
676          * routing.
677          */
678         new = acpi_noirq ? old : 0;
679
680         /*
681          * Update SCI information in the ELCR, it isn't in the PCI
682          * routing tables..
683          */
684         switch (trigger) {
685         case 1:         /* Edge - clear */
686                 new &= ~mask;
687                 break;
688         case 3:         /* Level - set */
689                 new |= mask;
690                 break;
691         }
692
693         if (old == new)
694                 return;
695
696         pr_warn("setting ELCR to %04x (from %04x)\n", new, old);
697         outb(new, PIC_ELCR1);
698         outb(new >> 8, PIC_ELCR2);
699 }
700
701 int acpi_gsi_to_irq(u32 gsi, unsigned int *irqp)
702 {
703         int rc, irq, trigger, polarity;
704
705         if (acpi_irq_model == ACPI_IRQ_MODEL_PIC) {
706                 *irqp = gsi;
707                 return 0;
708         }
709
710         rc = acpi_get_override_irq(gsi, &trigger, &polarity);
711         if (rc)
712                 return rc;
713
714         trigger = trigger ? ACPI_LEVEL_SENSITIVE : ACPI_EDGE_SENSITIVE;
715         polarity = polarity ? ACPI_ACTIVE_LOW : ACPI_ACTIVE_HIGH;
716         irq = acpi_register_gsi(NULL, gsi, trigger, polarity);
717         if (irq < 0)
718                 return irq;
719
720         *irqp = irq;
721         return 0;
722 }
723 EXPORT_SYMBOL_GPL(acpi_gsi_to_irq);
724
725 int acpi_isa_irq_to_gsi(unsigned isa_irq, u32 *gsi)
726 {
727         if (isa_irq < nr_legacy_irqs() &&
728             isa_irq_to_gsi[isa_irq] != INVALID_ACPI_IRQ) {
729                 *gsi = isa_irq_to_gsi[isa_irq];
730                 return 0;
731         }
732
733         return -1;
734 }
735
736 static int acpi_register_gsi_pic(struct device *dev, u32 gsi,
737                                  int trigger, int polarity)
738 {
739 #ifdef CONFIG_PCI
740         /*
741          * Make sure all (legacy) PCI IRQs are set as level-triggered.
742          */
743         if (trigger == ACPI_LEVEL_SENSITIVE)
744                 elcr_set_level_irq(gsi);
745 #endif
746
747         return gsi;
748 }
749
750 #ifdef CONFIG_X86_LOCAL_APIC
751 static int acpi_register_gsi_ioapic(struct device *dev, u32 gsi,
752                                     int trigger, int polarity)
753 {
754         int irq = gsi;
755 #ifdef CONFIG_X86_IO_APIC
756         int node;
757         struct irq_alloc_info info;
758
759         node = dev ? dev_to_node(dev) : NUMA_NO_NODE;
760         trigger = trigger == ACPI_EDGE_SENSITIVE ? 0 : 1;
761         polarity = polarity == ACPI_ACTIVE_HIGH ? 0 : 1;
762         ioapic_set_alloc_attr(&info, node, trigger, polarity);
763
764         mutex_lock(&acpi_ioapic_lock);
765         irq = mp_map_gsi_to_irq(gsi, IOAPIC_MAP_ALLOC, &info);
766         /* Don't set up the ACPI SCI because it's already set up */
767         if (irq >= 0 && enable_update_mptable && gsi != acpi_gbl_FADT.sci_interrupt)
768                 mp_config_acpi_gsi(dev, gsi, trigger, polarity);
769         mutex_unlock(&acpi_ioapic_lock);
770 #endif
771
772         return irq;
773 }
774
775 static void acpi_unregister_gsi_ioapic(u32 gsi)
776 {
777 #ifdef CONFIG_X86_IO_APIC
778         int irq;
779
780         mutex_lock(&acpi_ioapic_lock);
781         irq = mp_map_gsi_to_irq(gsi, 0, NULL);
782         if (irq > 0)
783                 mp_unmap_irq(irq);
784         mutex_unlock(&acpi_ioapic_lock);
785 #endif
786 }
787 #endif
788
789 int (*__acpi_register_gsi)(struct device *dev, u32 gsi,
790                            int trigger, int polarity) = acpi_register_gsi_pic;
791 void (*__acpi_unregister_gsi)(u32 gsi) = NULL;
792
793 #ifdef CONFIG_ACPI_SLEEP
794 int (*acpi_suspend_lowlevel)(void) = x86_acpi_suspend_lowlevel;
795 #else
796 int (*acpi_suspend_lowlevel)(void);
797 #endif
798
799 /*
800  * success: return IRQ number (>=0)
801  * failure: return < 0
802  */
803 int acpi_register_gsi(struct device *dev, u32 gsi, int trigger, int polarity)
804 {
805         return __acpi_register_gsi(dev, gsi, trigger, polarity);
806 }
807 EXPORT_SYMBOL_GPL(acpi_register_gsi);
808
809 void acpi_unregister_gsi(u32 gsi)
810 {
811         if (__acpi_unregister_gsi)
812                 __acpi_unregister_gsi(gsi);
813 }
814 EXPORT_SYMBOL_GPL(acpi_unregister_gsi);
815
816 #ifdef CONFIG_X86_LOCAL_APIC
817 static void __init acpi_set_irq_model_ioapic(void)
818 {
819         acpi_irq_model = ACPI_IRQ_MODEL_IOAPIC;
820         __acpi_register_gsi = acpi_register_gsi_ioapic;
821         __acpi_unregister_gsi = acpi_unregister_gsi_ioapic;
822         acpi_ioapic = 1;
823 }
824 #endif
825
826 /*
827  *  ACPI based hotplug support for CPU
828  */
829 #ifdef CONFIG_ACPI_HOTPLUG_CPU
830 #include <acpi/processor.h>
831
832 static int acpi_map_cpu2node(acpi_handle handle, int cpu, int physid)
833 {
834 #ifdef CONFIG_ACPI_NUMA
835         int nid;
836
837         nid = acpi_get_node(handle);
838         if (nid != NUMA_NO_NODE) {
839                 set_apicid_to_node(physid, nid);
840                 numa_set_node(cpu, nid);
841         }
842 #endif
843         return 0;
844 }
845
846 int acpi_map_cpu(acpi_handle handle, phys_cpuid_t physid, u32 acpi_id,
847                  int *pcpu)
848 {
849         int cpu;
850
851         cpu = acpi_register_lapic(physid, acpi_id, ACPI_MADT_ENABLED);
852         if (cpu < 0) {
853                 pr_info("Unable to map lapic to logical cpu number\n");
854                 return cpu;
855         }
856
857         acpi_processor_set_pdc(handle);
858         acpi_map_cpu2node(handle, cpu, physid);
859
860         *pcpu = cpu;
861         return 0;
862 }
863 EXPORT_SYMBOL(acpi_map_cpu);
864
865 int acpi_unmap_cpu(int cpu)
866 {
867 #ifdef CONFIG_ACPI_NUMA
868         set_apicid_to_node(per_cpu(x86_cpu_to_apicid, cpu), NUMA_NO_NODE);
869 #endif
870
871         per_cpu(x86_cpu_to_apicid, cpu) = BAD_APICID;
872         set_cpu_present(cpu, false);
873         num_processors--;
874
875         return (0);
876 }
877 EXPORT_SYMBOL(acpi_unmap_cpu);
878 #endif                          /* CONFIG_ACPI_HOTPLUG_CPU */
879
880 int acpi_register_ioapic(acpi_handle handle, u64 phys_addr, u32 gsi_base)
881 {
882         int ret = -ENOSYS;
883 #ifdef CONFIG_ACPI_HOTPLUG_IOAPIC
884         int ioapic_id;
885         u64 addr;
886         struct ioapic_domain_cfg cfg = {
887                 .type = IOAPIC_DOMAIN_DYNAMIC,
888                 .ops = &mp_ioapic_irqdomain_ops,
889         };
890
891         ioapic_id = acpi_get_ioapic_id(handle, gsi_base, &addr);
892         if (ioapic_id < 0) {
893                 unsigned long long uid;
894                 acpi_status status;
895
896                 status = acpi_evaluate_integer(handle, METHOD_NAME__UID,
897                                                NULL, &uid);
898                 if (ACPI_FAILURE(status)) {
899                         acpi_handle_warn(handle, "failed to get IOAPIC ID.\n");
900                         return -EINVAL;
901                 }
902                 ioapic_id = (int)uid;
903         }
904
905         mutex_lock(&acpi_ioapic_lock);
906         ret  = mp_register_ioapic(ioapic_id, phys_addr, gsi_base, &cfg);
907         mutex_unlock(&acpi_ioapic_lock);
908 #endif
909
910         return ret;
911 }
912 EXPORT_SYMBOL(acpi_register_ioapic);
913
914 int acpi_unregister_ioapic(acpi_handle handle, u32 gsi_base)
915 {
916         int ret = -ENOSYS;
917
918 #ifdef CONFIG_ACPI_HOTPLUG_IOAPIC
919         mutex_lock(&acpi_ioapic_lock);
920         ret  = mp_unregister_ioapic(gsi_base);
921         mutex_unlock(&acpi_ioapic_lock);
922 #endif
923
924         return ret;
925 }
926 EXPORT_SYMBOL(acpi_unregister_ioapic);
927
928 /**
929  * acpi_ioapic_registered - Check whether IOAPIC associated with @gsi_base
930  *                          has been registered
931  * @handle:     ACPI handle of the IOAPIC device
932  * @gsi_base:   GSI base associated with the IOAPIC
933  *
934  * Assume caller holds some type of lock to serialize acpi_ioapic_registered()
935  * with acpi_register_ioapic()/acpi_unregister_ioapic().
936  */
937 int acpi_ioapic_registered(acpi_handle handle, u32 gsi_base)
938 {
939         int ret = 0;
940
941 #ifdef CONFIG_ACPI_HOTPLUG_IOAPIC
942         mutex_lock(&acpi_ioapic_lock);
943         ret  = mp_ioapic_registered(gsi_base);
944         mutex_unlock(&acpi_ioapic_lock);
945 #endif
946
947         return ret;
948 }
949
950 static int __init acpi_parse_sbf(struct acpi_table_header *table)
951 {
952         struct acpi_table_boot *sb = (struct acpi_table_boot *)table;
953
954         sbf_port = sb->cmos_index;      /* Save CMOS port */
955
956         return 0;
957 }
958
959 #ifdef CONFIG_HPET_TIMER
960 #include <asm/hpet.h>
961
962 static struct resource *hpet_res __initdata;
963
964 static int __init acpi_parse_hpet(struct acpi_table_header *table)
965 {
966         struct acpi_table_hpet *hpet_tbl = (struct acpi_table_hpet *)table;
967
968         if (hpet_tbl->address.space_id != ACPI_SPACE_MEM) {
969                 pr_warn("HPET timers must be located in memory.\n");
970                 return -1;
971         }
972
973         hpet_address = hpet_tbl->address.address;
974         hpet_blockid = hpet_tbl->sequence;
975
976         /*
977          * Some broken BIOSes advertise HPET at 0x0. We really do not
978          * want to allocate a resource there.
979          */
980         if (!hpet_address) {
981                 pr_warn("HPET id: %#x base: %#lx is invalid\n", hpet_tbl->id, hpet_address);
982                 return 0;
983         }
984 #ifdef CONFIG_X86_64
985         /*
986          * Some even more broken BIOSes advertise HPET at
987          * 0xfed0000000000000 instead of 0xfed00000. Fix it up and add
988          * some noise:
989          */
990         if (hpet_address == 0xfed0000000000000UL) {
991                 if (!hpet_force_user) {
992                         pr_warn("HPET id: %#x base: 0xfed0000000000000 is bogus, try hpet=force on the kernel command line to fix it up to 0xfed00000.\n",
993                                 hpet_tbl->id);
994                         hpet_address = 0;
995                         return 0;
996                 }
997                 pr_warn("HPET id: %#x base: 0xfed0000000000000 fixed up to 0xfed00000.\n",
998                         hpet_tbl->id);
999                 hpet_address >>= 32;
1000         }
1001 #endif
1002         pr_info("HPET id: %#x base: %#lx\n", hpet_tbl->id, hpet_address);
1003
1004         /*
1005          * Allocate and initialize the HPET firmware resource for adding into
1006          * the resource tree during the lateinit timeframe.
1007          */
1008 #define HPET_RESOURCE_NAME_SIZE 9
1009         hpet_res = memblock_alloc(sizeof(*hpet_res) + HPET_RESOURCE_NAME_SIZE,
1010                                   SMP_CACHE_BYTES);
1011         if (!hpet_res)
1012                 panic("%s: Failed to allocate %zu bytes\n", __func__,
1013                       sizeof(*hpet_res) + HPET_RESOURCE_NAME_SIZE);
1014
1015         hpet_res->name = (void *)&hpet_res[1];
1016         hpet_res->flags = IORESOURCE_MEM;
1017         snprintf((char *)hpet_res->name, HPET_RESOURCE_NAME_SIZE, "HPET %u",
1018                  hpet_tbl->sequence);
1019
1020         hpet_res->start = hpet_address;
1021         hpet_res->end = hpet_address + (1 * 1024) - 1;
1022
1023         return 0;
1024 }
1025
1026 /*
1027  * hpet_insert_resource inserts the HPET resources used into the resource
1028  * tree.
1029  */
1030 static __init int hpet_insert_resource(void)
1031 {
1032         if (!hpet_res)
1033                 return 1;
1034
1035         return insert_resource(&iomem_resource, hpet_res);
1036 }
1037
1038 late_initcall(hpet_insert_resource);
1039
1040 #else
1041 #define acpi_parse_hpet NULL
1042 #endif
1043
1044 static int __init acpi_parse_fadt(struct acpi_table_header *table)
1045 {
1046         if (!(acpi_gbl_FADT.boot_flags & ACPI_FADT_LEGACY_DEVICES)) {
1047                 pr_debug("no legacy devices present\n");
1048                 x86_platform.legacy.devices.pnpbios = 0;
1049         }
1050
1051         if (acpi_gbl_FADT.header.revision >= FADT2_REVISION_ID &&
1052             !(acpi_gbl_FADT.boot_flags & ACPI_FADT_8042) &&
1053             x86_platform.legacy.i8042 != X86_LEGACY_I8042_PLATFORM_ABSENT) {
1054                 pr_debug("i8042 controller is absent\n");
1055                 x86_platform.legacy.i8042 = X86_LEGACY_I8042_FIRMWARE_ABSENT;
1056         }
1057
1058         if (acpi_gbl_FADT.boot_flags & ACPI_FADT_NO_CMOS_RTC) {
1059                 pr_debug("not registering RTC platform device\n");
1060                 x86_platform.legacy.rtc = 0;
1061         }
1062
1063         if (acpi_gbl_FADT.boot_flags & ACPI_FADT_NO_VGA) {
1064                 pr_debug("probing for VGA not safe\n");
1065                 x86_platform.legacy.no_vga = 1;
1066         }
1067
1068 #ifdef CONFIG_X86_PM_TIMER
1069         /* detect the location of the ACPI PM Timer */
1070         if (acpi_gbl_FADT.header.revision >= FADT2_REVISION_ID) {
1071                 /* FADT rev. 2 */
1072                 if (acpi_gbl_FADT.xpm_timer_block.space_id !=
1073                     ACPI_ADR_SPACE_SYSTEM_IO)
1074                         return 0;
1075
1076                 pmtmr_ioport = acpi_gbl_FADT.xpm_timer_block.address;
1077                 /*
1078                  * "X" fields are optional extensions to the original V1.0
1079                  * fields, so we must selectively expand V1.0 fields if the
1080                  * corresponding X field is zero.
1081                  */
1082                 if (!pmtmr_ioport)
1083                         pmtmr_ioport = acpi_gbl_FADT.pm_timer_block;
1084         } else {
1085                 /* FADT rev. 1 */
1086                 pmtmr_ioport = acpi_gbl_FADT.pm_timer_block;
1087         }
1088         if (pmtmr_ioport)
1089                 pr_info("PM-Timer IO Port: %#x\n", pmtmr_ioport);
1090 #endif
1091         return 0;
1092 }
1093
1094 #ifdef  CONFIG_X86_LOCAL_APIC
1095 /*
1096  * Parse LAPIC entries in MADT
1097  * returns 0 on success, < 0 on error
1098  */
1099
1100 static int __init early_acpi_parse_madt_lapic_addr_ovr(void)
1101 {
1102         int count;
1103
1104         if (!boot_cpu_has(X86_FEATURE_APIC))
1105                 return -ENODEV;
1106
1107         /*
1108          * Note that the LAPIC address is obtained from the MADT (32-bit value)
1109          * and (optionally) overridden by a LAPIC_ADDR_OVR entry (64-bit value).
1110          */
1111
1112         count = acpi_table_parse_madt(ACPI_MADT_TYPE_LOCAL_APIC_OVERRIDE,
1113                                       acpi_parse_lapic_addr_ovr, 0);
1114         if (count < 0) {
1115                 pr_err("Error parsing LAPIC address override entry\n");
1116                 return count;
1117         }
1118
1119         register_lapic_address(acpi_lapic_addr);
1120
1121         return count;
1122 }
1123
1124 static int __init acpi_parse_madt_lapic_entries(void)
1125 {
1126         int count, x2count = 0;
1127
1128         if (!boot_cpu_has(X86_FEATURE_APIC))
1129                 return -ENODEV;
1130
1131         count = acpi_table_parse_madt(ACPI_MADT_TYPE_LOCAL_SAPIC,
1132                                       acpi_parse_sapic, MAX_LOCAL_APIC);
1133
1134         if (!count) {
1135                 count = acpi_table_parse_madt(ACPI_MADT_TYPE_LOCAL_APIC,
1136                                         acpi_parse_lapic, MAX_LOCAL_APIC);
1137                 has_lapic_cpus = count > 0;
1138                 x2count = acpi_table_parse_madt(ACPI_MADT_TYPE_LOCAL_X2APIC,
1139                                         acpi_parse_x2apic, MAX_LOCAL_APIC);
1140         }
1141         if (!count && !x2count) {
1142                 pr_err("No LAPIC entries present\n");
1143                 /* TBD: Cleanup to allow fallback to MPS */
1144                 return -ENODEV;
1145         } else if (count < 0 || x2count < 0) {
1146                 pr_err("Error parsing LAPIC entry\n");
1147                 /* TBD: Cleanup to allow fallback to MPS */
1148                 return count;
1149         }
1150
1151         x2count = acpi_table_parse_madt(ACPI_MADT_TYPE_LOCAL_X2APIC_NMI,
1152                                         acpi_parse_x2apic_nmi, 0);
1153         count = acpi_table_parse_madt(ACPI_MADT_TYPE_LOCAL_APIC_NMI,
1154                                       acpi_parse_lapic_nmi, 0);
1155         if (count < 0 || x2count < 0) {
1156                 pr_err("Error parsing LAPIC NMI entry\n");
1157                 /* TBD: Cleanup to allow fallback to MPS */
1158                 return count;
1159         }
1160         return 0;
1161 }
1162
1163 #ifdef CONFIG_X86_64
1164 static int __init acpi_parse_mp_wake(union acpi_subtable_headers *header,
1165                                      const unsigned long end)
1166 {
1167         struct acpi_madt_multiproc_wakeup *mp_wake;
1168
1169         if (!IS_ENABLED(CONFIG_SMP))
1170                 return -ENODEV;
1171
1172         mp_wake = (struct acpi_madt_multiproc_wakeup *)header;
1173         if (BAD_MADT_ENTRY(mp_wake, end))
1174                 return -EINVAL;
1175
1176         acpi_table_print_madt_entry(&header->common);
1177
1178         acpi_mp_wake_mailbox_paddr = mp_wake->base_address;
1179
1180         apic_update_callback(wakeup_secondary_cpu_64, acpi_wakeup_cpu);
1181
1182         return 0;
1183 }
1184 #endif                          /* CONFIG_X86_64 */
1185 #endif                          /* CONFIG_X86_LOCAL_APIC */
1186
1187 #ifdef  CONFIG_X86_IO_APIC
1188 static void __init mp_config_acpi_legacy_irqs(void)
1189 {
1190         int i;
1191         struct mpc_intsrc mp_irq;
1192
1193 #ifdef CONFIG_EISA
1194         /*
1195          * Fabricate the legacy ISA bus (bus #31).
1196          */
1197         mp_bus_id_to_type[MP_ISA_BUS] = MP_BUS_ISA;
1198 #endif
1199         set_bit(MP_ISA_BUS, mp_bus_not_pci);
1200         pr_debug("Bus #%d is ISA (nIRQs: %d)\n", MP_ISA_BUS, nr_legacy_irqs());
1201
1202         /*
1203          * Use the default configuration for the IRQs 0-15.  Unless
1204          * overridden by (MADT) interrupt source override entries.
1205          */
1206         for (i = 0; i < nr_legacy_irqs(); i++) {
1207                 int ioapic, pin;
1208                 unsigned int dstapic;
1209                 int idx;
1210                 u32 gsi;
1211
1212                 /* Locate the gsi that irq i maps to. */
1213                 if (acpi_isa_irq_to_gsi(i, &gsi))
1214                         continue;
1215
1216                 /*
1217                  * Locate the IOAPIC that manages the ISA IRQ.
1218                  */
1219                 ioapic = mp_find_ioapic(gsi);
1220                 if (ioapic < 0)
1221                         continue;
1222                 pin = mp_find_ioapic_pin(ioapic, gsi);
1223                 dstapic = mpc_ioapic_id(ioapic);
1224
1225                 for (idx = 0; idx < mp_irq_entries; idx++) {
1226                         struct mpc_intsrc *irq = mp_irqs + idx;
1227
1228                         /* Do we already have a mapping for this ISA IRQ? */
1229                         if (irq->srcbus == MP_ISA_BUS && irq->srcbusirq == i)
1230                                 break;
1231
1232                         /* Do we already have a mapping for this IOAPIC pin */
1233                         if (irq->dstapic == dstapic && irq->dstirq == pin)
1234                                 break;
1235                 }
1236
1237                 if (idx != mp_irq_entries) {
1238                         pr_debug("ACPI: IRQ%d used by override.\n", i);
1239                         continue;       /* IRQ already used */
1240                 }
1241
1242                 mp_irq.type = MP_INTSRC;
1243                 mp_irq.irqflag = 0;     /* Conforming */
1244                 mp_irq.srcbus = MP_ISA_BUS;
1245                 mp_irq.dstapic = dstapic;
1246                 mp_irq.irqtype = mp_INT;
1247                 mp_irq.srcbusirq = i; /* Identity mapped */
1248                 mp_irq.dstirq = pin;
1249
1250                 mp_save_irq(&mp_irq);
1251         }
1252 }
1253
1254 /*
1255  * Parse IOAPIC related entries in MADT
1256  * returns 0 on success, < 0 on error
1257  */
1258 static int __init acpi_parse_madt_ioapic_entries(void)
1259 {
1260         int count;
1261
1262         /*
1263          * ACPI interpreter is required to complete interrupt setup,
1264          * so if it is off, don't enumerate the io-apics with ACPI.
1265          * If MPS is present, it will handle them,
1266          * otherwise the system will stay in PIC mode
1267          */
1268         if (acpi_disabled || acpi_noirq)
1269                 return -ENODEV;
1270
1271         if (!boot_cpu_has(X86_FEATURE_APIC))
1272                 return -ENODEV;
1273
1274         /*
1275          * if "noapic" boot option, don't look for IO-APICs
1276          */
1277         if (ioapic_is_disabled) {
1278                 pr_info("Skipping IOAPIC probe due to 'noapic' option.\n");
1279                 return -ENODEV;
1280         }
1281
1282         count = acpi_table_parse_madt(ACPI_MADT_TYPE_IO_APIC, acpi_parse_ioapic,
1283                                       MAX_IO_APICS);
1284         if (!count) {
1285                 pr_err("No IOAPIC entries present\n");
1286                 return -ENODEV;
1287         } else if (count < 0) {
1288                 pr_err("Error parsing IOAPIC entry\n");
1289                 return count;
1290         }
1291
1292         count = acpi_table_parse_madt(ACPI_MADT_TYPE_INTERRUPT_OVERRIDE,
1293                                       acpi_parse_int_src_ovr, nr_irqs);
1294         if (count < 0) {
1295                 pr_err("Error parsing interrupt source overrides entry\n");
1296                 /* TBD: Cleanup to allow fallback to MPS */
1297                 return count;
1298         }
1299
1300         /*
1301          * If BIOS did not supply an INT_SRC_OVR for the SCI
1302          * pretend we got one so we can set the SCI flags.
1303          * But ignore setting up SCI on hardware reduced platforms.
1304          */
1305         if (acpi_sci_override_gsi == INVALID_ACPI_IRQ && !acpi_gbl_reduced_hardware)
1306                 acpi_sci_ioapic_setup(acpi_gbl_FADT.sci_interrupt, 0, 0,
1307                                       acpi_gbl_FADT.sci_interrupt);
1308
1309         /* Fill in identity legacy mappings where no override */
1310         mp_config_acpi_legacy_irqs();
1311
1312         count = acpi_table_parse_madt(ACPI_MADT_TYPE_NMI_SOURCE,
1313                                       acpi_parse_nmi_src, nr_irqs);
1314         if (count < 0) {
1315                 pr_err("Error parsing NMI SRC entry\n");
1316                 /* TBD: Cleanup to allow fallback to MPS */
1317                 return count;
1318         }
1319
1320         return 0;
1321 }
1322 #else
1323 static inline int acpi_parse_madt_ioapic_entries(void)
1324 {
1325         return -1;
1326 }
1327 #endif  /* !CONFIG_X86_IO_APIC */
1328
1329 static void __init early_acpi_process_madt(void)
1330 {
1331 #ifdef CONFIG_X86_LOCAL_APIC
1332         int error;
1333
1334         if (!acpi_table_parse(ACPI_SIG_MADT, acpi_parse_madt)) {
1335
1336                 /*
1337                  * Parse MADT LAPIC entries
1338                  */
1339                 error = early_acpi_parse_madt_lapic_addr_ovr();
1340                 if (!error) {
1341                         acpi_lapic = 1;
1342                         smp_found_config = 1;
1343                 }
1344                 if (error == -EINVAL) {
1345                         /*
1346                          * Dell Precision Workstation 410, 610 come here.
1347                          */
1348                         pr_err("Invalid BIOS MADT, disabling ACPI\n");
1349                         disable_acpi();
1350                 }
1351         }
1352 #endif
1353 }
1354
1355 static void __init acpi_process_madt(void)
1356 {
1357 #ifdef CONFIG_X86_LOCAL_APIC
1358         int error;
1359
1360         if (!acpi_table_parse(ACPI_SIG_MADT, acpi_parse_madt)) {
1361
1362                 /*
1363                  * Parse MADT LAPIC entries
1364                  */
1365                 error = acpi_parse_madt_lapic_entries();
1366                 if (!error) {
1367                         acpi_lapic = 1;
1368
1369                         /*
1370                          * Parse MADT IO-APIC entries
1371                          */
1372                         mutex_lock(&acpi_ioapic_lock);
1373                         error = acpi_parse_madt_ioapic_entries();
1374                         mutex_unlock(&acpi_ioapic_lock);
1375                         if (!error) {
1376                                 acpi_set_irq_model_ioapic();
1377
1378                                 smp_found_config = 1;
1379                         }
1380
1381 #ifdef CONFIG_X86_64
1382                         /*
1383                          * Parse MADT MP Wake entry.
1384                          */
1385                         acpi_table_parse_madt(ACPI_MADT_TYPE_MULTIPROC_WAKEUP,
1386                                               acpi_parse_mp_wake, 1);
1387 #endif
1388                 }
1389                 if (error == -EINVAL) {
1390                         /*
1391                          * Dell Precision Workstation 410, 610 come here.
1392                          */
1393                         pr_err("Invalid BIOS MADT, disabling ACPI\n");
1394                         disable_acpi();
1395                 }
1396         } else {
1397                 /*
1398                  * ACPI found no MADT, and so ACPI wants UP PIC mode.
1399                  * In the event an MPS table was found, forget it.
1400                  * Boot with "acpi=off" to use MPS on such a system.
1401                  */
1402                 if (smp_found_config) {
1403                         pr_warn("No APIC-table, disabling MPS\n");
1404                         smp_found_config = 0;
1405                 }
1406         }
1407
1408         /*
1409          * ACPI supports both logical (e.g. Hyper-Threading) and physical
1410          * processors, where MPS only supports physical.
1411          */
1412         if (acpi_lapic && acpi_ioapic)
1413                 pr_info("Using ACPI (MADT) for SMP configuration information\n");
1414         else if (acpi_lapic)
1415                 pr_info("Using ACPI for processor (LAPIC) configuration information\n");
1416 #endif
1417         return;
1418 }
1419
1420 static int __init disable_acpi_irq(const struct dmi_system_id *d)
1421 {
1422         if (!acpi_force) {
1423                 pr_notice("%s detected: force use of acpi=noirq\n", d->ident);
1424                 acpi_noirq_set();
1425         }
1426         return 0;
1427 }
1428
1429 static int __init disable_acpi_pci(const struct dmi_system_id *d)
1430 {
1431         if (!acpi_force) {
1432                 pr_notice("%s detected: force use of pci=noacpi\n", d->ident);
1433                 acpi_disable_pci();
1434         }
1435         return 0;
1436 }
1437
1438 static int __init disable_acpi_xsdt(const struct dmi_system_id *d)
1439 {
1440         if (!acpi_force) {
1441                 pr_notice("%s detected: force use of acpi=rsdt\n", d->ident);
1442                 acpi_gbl_do_not_use_xsdt = TRUE;
1443         } else {
1444                 pr_notice("Warning: DMI blacklist says broken, but acpi XSDT forced\n");
1445         }
1446         return 0;
1447 }
1448
1449 static int __init dmi_disable_acpi(const struct dmi_system_id *d)
1450 {
1451         if (!acpi_force) {
1452                 pr_notice("%s detected: acpi off\n", d->ident);
1453                 disable_acpi();
1454         } else {
1455                 pr_notice("Warning: DMI blacklist says broken, but acpi forced\n");
1456         }
1457         return 0;
1458 }
1459
1460 /*
1461  * Force ignoring BIOS IRQ0 override
1462  */
1463 static int __init dmi_ignore_irq0_timer_override(const struct dmi_system_id *d)
1464 {
1465         if (!acpi_skip_timer_override) {
1466                 pr_notice("%s detected: Ignoring BIOS IRQ0 override\n",
1467                         d->ident);
1468                 acpi_skip_timer_override = 1;
1469         }
1470         return 0;
1471 }
1472
1473 /*
1474  * ACPI offers an alternative platform interface model that removes
1475  * ACPI hardware requirements for platforms that do not implement
1476  * the PC Architecture.
1477  *
1478  * We initialize the Hardware-reduced ACPI model here:
1479  */
1480 void __init acpi_generic_reduced_hw_init(void)
1481 {
1482         /*
1483          * Override x86_init functions and bypass legacy PIC in
1484          * hardware reduced ACPI mode.
1485          */
1486         x86_init.timers.timer_init      = x86_init_noop;
1487         x86_init.irqs.pre_vector_init   = x86_init_noop;
1488         legacy_pic                      = &null_legacy_pic;
1489 }
1490
1491 static void __init acpi_reduced_hw_init(void)
1492 {
1493         if (acpi_gbl_reduced_hardware)
1494                 x86_init.acpi.reduced_hw_early_init();
1495 }
1496
1497 /*
1498  * If your system is blacklisted here, but you find that acpi=force
1499  * works for you, please contact linux-acpi@vger.kernel.org
1500  */
1501 static const struct dmi_system_id acpi_dmi_table[] __initconst = {
1502         /*
1503          * Boxes that need ACPI disabled
1504          */
1505         {
1506          .callback = dmi_disable_acpi,
1507          .ident = "IBM Thinkpad",
1508          .matches = {
1509                      DMI_MATCH(DMI_BOARD_VENDOR, "IBM"),
1510                      DMI_MATCH(DMI_BOARD_NAME, "2629H1G"),
1511                      },
1512          },
1513
1514         /*
1515          * Boxes that need ACPI PCI IRQ routing disabled
1516          */
1517         {
1518          .callback = disable_acpi_irq,
1519          .ident = "ASUS A7V",
1520          .matches = {
1521                      DMI_MATCH(DMI_BOARD_VENDOR, "ASUSTeK Computer INC"),
1522                      DMI_MATCH(DMI_BOARD_NAME, "<A7V>"),
1523                      /* newer BIOS, Revision 1011, does work */
1524                      DMI_MATCH(DMI_BIOS_VERSION,
1525                                "ASUS A7V ACPI BIOS Revision 1007"),
1526                      },
1527          },
1528         {
1529                 /*
1530                  * Latest BIOS for IBM 600E (1.16) has bad pcinum
1531                  * for LPC bridge, which is needed for the PCI
1532                  * interrupt links to work. DSDT fix is in bug 5966.
1533                  * 2645, 2646 model numbers are shared with 600/600E/600X
1534                  */
1535          .callback = disable_acpi_irq,
1536          .ident = "IBM Thinkpad 600 Series 2645",
1537          .matches = {
1538                      DMI_MATCH(DMI_BOARD_VENDOR, "IBM"),
1539                      DMI_MATCH(DMI_BOARD_NAME, "2645"),
1540                      },
1541          },
1542         {
1543          .callback = disable_acpi_irq,
1544          .ident = "IBM Thinkpad 600 Series 2646",
1545          .matches = {
1546                      DMI_MATCH(DMI_BOARD_VENDOR, "IBM"),
1547                      DMI_MATCH(DMI_BOARD_NAME, "2646"),
1548                      },
1549          },
1550         /*
1551          * Boxes that need ACPI PCI IRQ routing and PCI scan disabled
1552          */
1553         {                       /* _BBN 0 bug */
1554          .callback = disable_acpi_pci,
1555          .ident = "ASUS PR-DLS",
1556          .matches = {
1557                      DMI_MATCH(DMI_BOARD_VENDOR, "ASUSTeK Computer INC."),
1558                      DMI_MATCH(DMI_BOARD_NAME, "PR-DLS"),
1559                      DMI_MATCH(DMI_BIOS_VERSION,
1560                                "ASUS PR-DLS ACPI BIOS Revision 1010"),
1561                      DMI_MATCH(DMI_BIOS_DATE, "03/21/2003")
1562                      },
1563          },
1564         {
1565          .callback = disable_acpi_pci,
1566          .ident = "Acer TravelMate 36x Laptop",
1567          .matches = {
1568                      DMI_MATCH(DMI_SYS_VENDOR, "Acer"),
1569                      DMI_MATCH(DMI_PRODUCT_NAME, "TravelMate 360"),
1570                      },
1571          },
1572         /*
1573          * Boxes that need ACPI XSDT use disabled due to corrupted tables
1574          */
1575         {
1576          .callback = disable_acpi_xsdt,
1577          .ident = "Advantech DAC-BJ01",
1578          .matches = {
1579                      DMI_MATCH(DMI_SYS_VENDOR, "NEC"),
1580                      DMI_MATCH(DMI_PRODUCT_NAME, "Bearlake CRB Board"),
1581                      DMI_MATCH(DMI_BIOS_VERSION, "V1.12"),
1582                      DMI_MATCH(DMI_BIOS_DATE, "02/01/2011"),
1583                      },
1584          },
1585         {}
1586 };
1587
1588 /* second table for DMI checks that should run after early-quirks */
1589 static const struct dmi_system_id acpi_dmi_table_late[] __initconst = {
1590         /*
1591          * HP laptops which use a DSDT reporting as HP/SB400/10000,
1592          * which includes some code which overrides all temperature
1593          * trip points to 16C if the INTIN2 input of the I/O APIC
1594          * is enabled.  This input is incorrectly designated the
1595          * ISA IRQ 0 via an interrupt source override even though
1596          * it is wired to the output of the master 8259A and INTIN0
1597          * is not connected at all.  Force ignoring BIOS IRQ0
1598          * override in that cases.
1599          */
1600         {
1601          .callback = dmi_ignore_irq0_timer_override,
1602          .ident = "HP nx6115 laptop",
1603          .matches = {
1604                      DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1605                      DMI_MATCH(DMI_PRODUCT_NAME, "HP Compaq nx6115"),
1606                      },
1607          },
1608         {
1609          .callback = dmi_ignore_irq0_timer_override,
1610          .ident = "HP NX6125 laptop",
1611          .matches = {
1612                      DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1613                      DMI_MATCH(DMI_PRODUCT_NAME, "HP Compaq nx6125"),
1614                      },
1615          },
1616         {
1617          .callback = dmi_ignore_irq0_timer_override,
1618          .ident = "HP NX6325 laptop",
1619          .matches = {
1620                      DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1621                      DMI_MATCH(DMI_PRODUCT_NAME, "HP Compaq nx6325"),
1622                      },
1623          },
1624         {
1625          .callback = dmi_ignore_irq0_timer_override,
1626          .ident = "HP 6715b laptop",
1627          .matches = {
1628                      DMI_MATCH(DMI_SYS_VENDOR, "Hewlett-Packard"),
1629                      DMI_MATCH(DMI_PRODUCT_NAME, "HP Compaq 6715b"),
1630                      },
1631          },
1632         {
1633          .callback = dmi_ignore_irq0_timer_override,
1634          .ident = "FUJITSU SIEMENS",
1635          .matches = {
1636                      DMI_MATCH(DMI_SYS_VENDOR, "FUJITSU SIEMENS"),
1637                      DMI_MATCH(DMI_PRODUCT_NAME, "AMILO PRO V2030"),
1638                      },
1639          },
1640         {}
1641 };
1642
1643 /*
1644  * acpi_boot_table_init() and acpi_boot_init()
1645  *  called from setup_arch(), always.
1646  *      1. checksums all tables
1647  *      2. enumerates lapics
1648  *      3. enumerates io-apics
1649  *
1650  * acpi_table_init() is separate to allow reading SRAT without
1651  * other side effects.
1652  *
1653  * side effects of acpi_boot_init:
1654  *      acpi_lapic = 1 if LAPIC found
1655  *      acpi_ioapic = 1 if IOAPIC found
1656  *      if (acpi_lapic && acpi_ioapic) smp_found_config = 1;
1657  *      if acpi_blacklisted() acpi_disabled = 1;
1658  *      acpi_irq_model=...
1659  *      ...
1660  */
1661
1662 void __init acpi_boot_table_init(void)
1663 {
1664         dmi_check_system(acpi_dmi_table);
1665
1666         /*
1667          * If acpi_disabled, bail out
1668          */
1669         if (acpi_disabled)
1670                 return;
1671
1672         /*
1673          * Initialize the ACPI boot-time table parser.
1674          */
1675         if (acpi_locate_initial_tables())
1676                 disable_acpi();
1677         else
1678                 acpi_reserve_initial_tables();
1679 }
1680
1681 int __init early_acpi_boot_init(void)
1682 {
1683         if (acpi_disabled)
1684                 return 1;
1685
1686         acpi_table_init_complete();
1687
1688         acpi_table_parse(ACPI_SIG_BOOT, acpi_parse_sbf);
1689
1690         /*
1691          * blacklist may disable ACPI entirely
1692          */
1693         if (acpi_blacklisted()) {
1694                 if (acpi_force) {
1695                         pr_warn("acpi=force override\n");
1696                 } else {
1697                         pr_warn("Disabling ACPI support\n");
1698                         disable_acpi();
1699                         return 1;
1700                 }
1701         }
1702
1703         /*
1704          * Process the Multiple APIC Description Table (MADT), if present
1705          */
1706         early_acpi_process_madt();
1707
1708         /*
1709          * Hardware-reduced ACPI mode initialization:
1710          */
1711         acpi_reduced_hw_init();
1712
1713         return 0;
1714 }
1715
1716 int __init acpi_boot_init(void)
1717 {
1718         /* those are executed after early-quirks are executed */
1719         dmi_check_system(acpi_dmi_table_late);
1720
1721         /*
1722          * If acpi_disabled, bail out
1723          */
1724         if (acpi_disabled)
1725                 return 1;
1726
1727         acpi_table_parse(ACPI_SIG_BOOT, acpi_parse_sbf);
1728
1729         /*
1730          * set sci_int and PM timer address
1731          */
1732         acpi_table_parse(ACPI_SIG_FADT, acpi_parse_fadt);
1733
1734         /*
1735          * Process the Multiple APIC Description Table (MADT), if present
1736          */
1737         acpi_process_madt();
1738
1739         acpi_table_parse(ACPI_SIG_HPET, acpi_parse_hpet);
1740         if (IS_ENABLED(CONFIG_ACPI_BGRT) && !acpi_nobgrt)
1741                 acpi_table_parse(ACPI_SIG_BGRT, acpi_parse_bgrt);
1742
1743         if (!acpi_noirq)
1744                 x86_init.pci.init = pci_acpi_init;
1745
1746         /* Do not enable ACPI SPCR console by default */
1747         acpi_parse_spcr(earlycon_acpi_spcr_enable, false);
1748         return 0;
1749 }
1750
1751 static int __init parse_acpi(char *arg)
1752 {
1753         if (!arg)
1754                 return -EINVAL;
1755
1756         /* "acpi=off" disables both ACPI table parsing and interpreter */
1757         if (strcmp(arg, "off") == 0) {
1758                 disable_acpi();
1759         }
1760         /* acpi=force to over-ride black-list */
1761         else if (strcmp(arg, "force") == 0) {
1762                 acpi_force = 1;
1763                 acpi_disabled = 0;
1764         }
1765         /* acpi=strict disables out-of-spec workarounds */
1766         else if (strcmp(arg, "strict") == 0) {
1767                 acpi_strict = 1;
1768         }
1769         /* acpi=rsdt use RSDT instead of XSDT */
1770         else if (strcmp(arg, "rsdt") == 0) {
1771                 acpi_gbl_do_not_use_xsdt = TRUE;
1772         }
1773         /* "acpi=noirq" disables ACPI interrupt routing */
1774         else if (strcmp(arg, "noirq") == 0) {
1775                 acpi_noirq_set();
1776         }
1777         /* "acpi=copy_dsdt" copies DSDT */
1778         else if (strcmp(arg, "copy_dsdt") == 0) {
1779                 acpi_gbl_copy_dsdt_locally = 1;
1780         }
1781         /* "acpi=nocmcff" disables FF mode for corrected errors */
1782         else if (strcmp(arg, "nocmcff") == 0) {
1783                 acpi_disable_cmcff = 1;
1784         } else {
1785                 /* Core will printk when we return error. */
1786                 return -EINVAL;
1787         }
1788         return 0;
1789 }
1790 early_param("acpi", parse_acpi);
1791
1792 static int __init parse_acpi_bgrt(char *arg)
1793 {
1794         acpi_nobgrt = true;
1795         return 0;
1796 }
1797 early_param("bgrt_disable", parse_acpi_bgrt);
1798
1799 /* FIXME: Using pci= for an ACPI parameter is a travesty. */
1800 static int __init parse_pci(char *arg)
1801 {
1802         if (arg && strcmp(arg, "noacpi") == 0)
1803                 acpi_disable_pci();
1804         return 0;
1805 }
1806 early_param("pci", parse_pci);
1807
1808 int __init acpi_mps_check(void)
1809 {
1810 #if defined(CONFIG_X86_LOCAL_APIC) && !defined(CONFIG_X86_MPPARSE)
1811 /* mptable code is not built-in*/
1812         if (acpi_disabled || acpi_noirq) {
1813                 pr_warn("MPS support code is not built-in, using acpi=off or acpi=noirq or pci=noacpi may have problem\n");
1814                 return 1;
1815         }
1816 #endif
1817         return 0;
1818 }
1819
1820 #ifdef CONFIG_X86_IO_APIC
1821 static int __init parse_acpi_skip_timer_override(char *arg)
1822 {
1823         acpi_skip_timer_override = 1;
1824         return 0;
1825 }
1826 early_param("acpi_skip_timer_override", parse_acpi_skip_timer_override);
1827
1828 static int __init parse_acpi_use_timer_override(char *arg)
1829 {
1830         acpi_use_timer_override = 1;
1831         return 0;
1832 }
1833 early_param("acpi_use_timer_override", parse_acpi_use_timer_override);
1834 #endif /* CONFIG_X86_IO_APIC */
1835
1836 static int __init setup_acpi_sci(char *s)
1837 {
1838         if (!s)
1839                 return -EINVAL;
1840         if (!strcmp(s, "edge"))
1841                 acpi_sci_flags =  ACPI_MADT_TRIGGER_EDGE |
1842                         (acpi_sci_flags & ~ACPI_MADT_TRIGGER_MASK);
1843         else if (!strcmp(s, "level"))
1844                 acpi_sci_flags = ACPI_MADT_TRIGGER_LEVEL |
1845                         (acpi_sci_flags & ~ACPI_MADT_TRIGGER_MASK);
1846         else if (!strcmp(s, "high"))
1847                 acpi_sci_flags = ACPI_MADT_POLARITY_ACTIVE_HIGH |
1848                         (acpi_sci_flags & ~ACPI_MADT_POLARITY_MASK);
1849         else if (!strcmp(s, "low"))
1850                 acpi_sci_flags = ACPI_MADT_POLARITY_ACTIVE_LOW |
1851                         (acpi_sci_flags & ~ACPI_MADT_POLARITY_MASK);
1852         else
1853                 return -EINVAL;
1854         return 0;
1855 }
1856 early_param("acpi_sci", setup_acpi_sci);
1857
1858 int __acpi_acquire_global_lock(unsigned int *lock)
1859 {
1860         unsigned int old, new, val;
1861
1862         old = READ_ONCE(*lock);
1863         do {
1864                 val = (old >> 1) & 0x1;
1865                 new = (old & ~0x3) + 2 + val;
1866         } while (!try_cmpxchg(lock, &old, new));
1867
1868         if (val)
1869                 return 0;
1870
1871         return -1;
1872 }
1873
1874 int __acpi_release_global_lock(unsigned int *lock)
1875 {
1876         unsigned int old, new;
1877
1878         old = READ_ONCE(*lock);
1879         do {
1880                 new = old & ~0x3;
1881         } while (!try_cmpxchg(lock, &old, new));
1882         return old & 0x1;
1883 }
1884
1885 void __init arch_reserve_mem_area(acpi_physical_address addr, size_t size)
1886 {
1887         e820__range_add(addr, size, E820_TYPE_NVS);
1888         e820__update_table_print();
1889 }
1890
1891 void x86_default_set_root_pointer(u64 addr)
1892 {
1893         boot_params.acpi_rsdp_addr = addr;
1894 }
1895
1896 u64 x86_default_get_root_pointer(void)
1897 {
1898         return boot_params.acpi_rsdp_addr;
1899 }