kernel/irq/irqdomain.c

   1 // SPDX-License-Identifier: GPL-2.0
   2
   3 #define pr_fmt(fmt)  "irq: " fmt
   4
   5 #include <linux/acpi.h>
   6 #include <linux/debugfs.h>
   7 #include <linux/hardirq.h>
   8 #include <linux/interrupt.h>
   9 #include <linux/irq.h>
  10 #include <linux/irqdesc.h>
  11 #include <linux/irqdomain.h>
  12 #include <linux/module.h>
  13 #include <linux/mutex.h>
  14 #include <linux/of.h>
  15 #include <linux/of_address.h>
  16 #include <linux/of_irq.h>
  17 #include <linux/topology.h>
  18 #include <linux/seq_file.h>
  19 #include <linux/slab.h>
  20 #include <linux/smp.h>
  21 #include <linux/fs.h>
  22
  23 static LIST_HEAD(irq_domain_list);
  24 static DEFINE_MUTEX(irq_domain_mutex);
  25
  26 static struct irq_domain *irq_default_domain;
  27
  28 static void irq_domain_check_hierarchy(struct irq_domain *domain);
  29
  30 struct irqchip_fwid {
  31         struct fwnode_handle    fwnode;
  32         unsigned int            type;
  33         char                    *name;
  34         phys_addr_t             *pa;
  35 };
  36
  37 #ifdef CONFIG_GENERIC_IRQ_DEBUGFS
  38 static void debugfs_add_domain_dir(struct irq_domain *d);
  39 static void debugfs_remove_domain_dir(struct irq_domain *d);
  40 #else
  41 static inline void debugfs_add_domain_dir(struct irq_domain *d) { }
  42 static inline void debugfs_remove_domain_dir(struct irq_domain *d) { }
  43 #endif
  44
  45 const struct fwnode_operations irqchip_fwnode_ops;
  46 EXPORT_SYMBOL_GPL(irqchip_fwnode_ops);
  47
  48 /**
  49  * __irq_domain_alloc_fwnode - Allocate a fwnode_handle suitable for
  50  *                           identifying an irq domain
  51  * @type:       Type of irqchip_fwnode. See linux/irqdomain.h
  52  * @id:         Optional user provided id if name != NULL
  53  * @name:       Optional user provided domain name
  54  * @pa:         Optional user-provided physical address
  55  *
  56  * Allocate a struct irqchip_fwid, and return a poiner to the embedded
  57  * fwnode_handle (or NULL on failure).
  58  *
  59  * Note: The types IRQCHIP_FWNODE_NAMED and IRQCHIP_FWNODE_NAMED_ID are
  60  * solely to transport name information to irqdomain creation code. The
  61  * node is not stored. For other types the pointer is kept in the irq
  62  * domain struct.
  63  */
  64 struct fwnode_handle *__irq_domain_alloc_fwnode(unsigned int type, int id,
  65                                                 const char *name,
  66                                                 phys_addr_t *pa)
  67 {
  68         struct irqchip_fwid *fwid;
  69         char *n;
  70
  71         fwid = kzalloc(sizeof(*fwid), GFP_KERNEL);
  72
  73         switch (type) {
  74         case IRQCHIP_FWNODE_NAMED:
  75                 n = kasprintf(GFP_KERNEL, "%s", name);
  76                 break;
  77         case IRQCHIP_FWNODE_NAMED_ID:
  78                 n = kasprintf(GFP_KERNEL, "%s-%d", name, id);
  79                 break;
  80         default:
  81                 n = kasprintf(GFP_KERNEL, "irqchip@%pa", pa);
  82                 break;
  83         }
  84
  85         if (!fwid || !n) {
  86                 kfree(fwid);
  87                 kfree(n);
  88                 return NULL;
  89         }
  90
  91         fwid->type = type;
  92         fwid->name = n;
  93         fwid->pa = pa;
  94         fwid->fwnode.ops = &irqchip_fwnode_ops;
  95         return &fwid->fwnode;
  96 }
  97 EXPORT_SYMBOL_GPL(__irq_domain_alloc_fwnode);
  98
  99 /**
 100  * irq_domain_free_fwnode - Free a non-OF-backed fwnode_handle
 101  *
 102  * Free a fwnode_handle allocated with irq_domain_alloc_fwnode.
 103  */
 104 void irq_domain_free_fwnode(struct fwnode_handle *fwnode)
 105 {
 106         struct irqchip_fwid *fwid;
 107
 108         if (WARN_ON(!is_fwnode_irqchip(fwnode)))
 109                 return;
 110
 111         fwid = container_of(fwnode, struct irqchip_fwid, fwnode);
 112         kfree(fwid->name);
 113         kfree(fwid);
 114 }
 115 EXPORT_SYMBOL_GPL(irq_domain_free_fwnode);
 116
 117 /**
 118  * __irq_domain_add() - Allocate a new irq_domain data structure
 119  * @fwnode: firmware node for the interrupt controller
 120  * @size: Size of linear map; 0 for radix mapping only
 121  * @hwirq_max: Maximum number of interrupts supported by controller
 122  * @direct_max: Maximum value of direct maps; Use ~0 for no limit; 0 for no
 123  *              direct mapping
 124  * @ops: domain callbacks
 125  * @host_data: Controller private data pointer
 126  *
 127  * Allocates and initializes an irq_domain structure.
 128  * Returns pointer to IRQ domain, or NULL on failure.
 129  */
 130 struct irq_domain *__irq_domain_add(struct fwnode_handle *fwnode, int size,
 131                                     irq_hw_number_t hwirq_max, int direct_max,
 132                                     const struct irq_domain_ops *ops,
 133                                     void *host_data)
 134 {
 135         struct irqchip_fwid *fwid;
 136         struct irq_domain *domain;
 137
 138         static atomic_t unknown_domains;
 139
 140         domain = kzalloc_node(sizeof(*domain) + (sizeof(unsigned int) * size),
 141                               GFP_KERNEL, of_node_to_nid(to_of_node(fwnode)));
 142         if (!domain)
 143                 return NULL;
 144
 145         if (is_fwnode_irqchip(fwnode)) {
 146                 fwid = container_of(fwnode, struct irqchip_fwid, fwnode);
 147
 148                 switch (fwid->type) {
 149                 case IRQCHIP_FWNODE_NAMED:
 150                 case IRQCHIP_FWNODE_NAMED_ID:
 151                         domain->fwnode = fwnode;
 152                         domain->name = kstrdup(fwid->name, GFP_KERNEL);
 153                         if (!domain->name) {
 154                                 kfree(domain);
 155                                 return NULL;
 156                         }
 157                         domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
 158                         break;
 159                 default:
 160                         domain->fwnode = fwnode;
 161                         domain->name = fwid->name;
 162                         break;
 163                 }
 164         } else if (is_of_node(fwnode) || is_acpi_device_node(fwnode) ||
 165                    is_software_node(fwnode)) {
 166                 char *name;
 167
 168                 /*
 169                  * fwnode paths contain '/', which debugfs is legitimately
 170                  * unhappy about. Replace them with ':', which does
 171                  * the trick and is not as offensive as '\'...
 172                  */
 173                 name = kasprintf(GFP_KERNEL, "%pfw", fwnode);
 174                 if (!name) {
 175                         kfree(domain);
 176                         return NULL;
 177                 }
 178
 179                 strreplace(name, '/', ':');
 180
 181                 domain->name = name;
 182                 domain->fwnode = fwnode;
 183                 domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
 184         }
 185
 186         if (!domain->name) {
 187                 if (fwnode)
 188                         pr_err("Invalid fwnode type for irqdomain\n");
 189                 domain->name = kasprintf(GFP_KERNEL, "unknown-%d",
 190                                          atomic_inc_return(&unknown_domains));
 191                 if (!domain->name) {
 192                         kfree(domain);
 193                         return NULL;
 194                 }
 195                 domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
 196         }
 197
 198         fwnode_handle_get(fwnode);
 199
 200         /* Fill structure */
 201         INIT_RADIX_TREE(&domain->revmap_tree, GFP_KERNEL);
 202         mutex_init(&domain->revmap_tree_mutex);
 203         domain->ops = ops;
 204         domain->host_data = host_data;
 205         domain->hwirq_max = hwirq_max;
 206         domain->revmap_size = size;
 207         domain->revmap_direct_max_irq = direct_max;
 208         irq_domain_check_hierarchy(domain);
 209
 210         mutex_lock(&irq_domain_mutex);
 211         debugfs_add_domain_dir(domain);
 212         list_add(&domain->link, &irq_domain_list);
 213         mutex_unlock(&irq_domain_mutex);
 214
 215         pr_debug("Added domain %s\n", domain->name);
 216         return domain;
 217 }
 218 EXPORT_SYMBOL_GPL(__irq_domain_add);
 219
 220 /**
 221  * irq_domain_remove() - Remove an irq domain.
 222  * @domain: domain to remove
 223  *
 224  * This routine is used to remove an irq domain. The caller must ensure
 225  * that all mappings within the domain have been disposed of prior to
 226  * use, depending on the revmap type.
 227  */
 228 void irq_domain_remove(struct irq_domain *domain)
 229 {
 230         mutex_lock(&irq_domain_mutex);
 231         debugfs_remove_domain_dir(domain);
 232
 233         WARN_ON(!radix_tree_empty(&domain->revmap_tree));
 234
 235         list_del(&domain->link);
 236
 237         /*
 238          * If the going away domain is the default one, reset it.
 239          */
 240         if (unlikely(irq_default_domain == domain))
 241                 irq_set_default_host(NULL);
 242
 243         mutex_unlock(&irq_domain_mutex);
 244
 245         pr_debug("Removed domain %s\n", domain->name);
 246
 247         fwnode_handle_put(domain->fwnode);
 248         if (domain->flags & IRQ_DOMAIN_NAME_ALLOCATED)
 249                 kfree(domain->name);
 250         kfree(domain);
 251 }
 252 EXPORT_SYMBOL_GPL(irq_domain_remove);
 253
 254 void irq_domain_update_bus_token(struct irq_domain *domain,
 255                                  enum irq_domain_bus_token bus_token)
 256 {
 257         char *name;
 258
 259         if (domain->bus_token == bus_token)
 260                 return;
 261
 262         mutex_lock(&irq_domain_mutex);
 263
 264         domain->bus_token = bus_token;
 265
 266         name = kasprintf(GFP_KERNEL, "%s-%d", domain->name, bus_token);
 267         if (!name) {
 268                 mutex_unlock(&irq_domain_mutex);
 269                 return;
 270         }
 271
 272         debugfs_remove_domain_dir(domain);
 273
 274         if (domain->flags & IRQ_DOMAIN_NAME_ALLOCATED)
 275                 kfree(domain->name);
 276         else
 277                 domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
 278
 279         domain->name = name;
 280         debugfs_add_domain_dir(domain);
 281
 282         mutex_unlock(&irq_domain_mutex);
 283 }
 284 EXPORT_SYMBOL_GPL(irq_domain_update_bus_token);
 285
 286 /**
 287  * irq_domain_add_simple() - Register an irq_domain and optionally map a range of irqs
 288  * @of_node: pointer to interrupt controller's device tree node.
 289  * @size: total number of irqs in mapping
 290  * @first_irq: first number of irq block assigned to the domain,
 291  *      pass zero to assign irqs on-the-fly. If first_irq is non-zero, then
 292  *      pre-map all of the irqs in the domain to virqs starting at first_irq.
 293  * @ops: domain callbacks
 294  * @host_data: Controller private data pointer
 295  *
 296  * Allocates an irq_domain, and optionally if first_irq is positive then also
 297  * allocate irq_descs and map all of the hwirqs to virqs starting at first_irq.
 298  *
 299  * This is intended to implement the expected behaviour for most
 300  * interrupt controllers. If device tree is used, then first_irq will be 0 and
 301  * irqs get mapped dynamically on the fly. However, if the controller requires
 302  * static virq assignments (non-DT boot) then it will set that up correctly.
 303  */
 304 struct irq_domain *irq_domain_add_simple(struct device_node *of_node,
 305                                          unsigned int size,
 306                                          unsigned int first_irq,
 307                                          const struct irq_domain_ops *ops,
 308                                          void *host_data)
 309 {
 310         struct irq_domain *domain;
 311
 312         domain = __irq_domain_add(of_node_to_fwnode(of_node), size, size, 0, ops, host_data);
 313         if (!domain)
 314                 return NULL;
 315
 316         if (first_irq > 0) {
 317                 if (IS_ENABLED(CONFIG_SPARSE_IRQ)) {
 318                         /* attempt to allocated irq_descs */
 319                         int rc = irq_alloc_descs(first_irq, first_irq, size,
 320                                                  of_node_to_nid(of_node));
 321                         if (rc < 0)
 322                                 pr_info("Cannot allocate irq_descs @ IRQ%d, assuming pre-allocated\n",
 323                                         first_irq);
 324                 }
 325                 irq_domain_associate_many(domain, first_irq, 0, size);
 326         }
 327
 328         return domain;
 329 }
 330 EXPORT_SYMBOL_GPL(irq_domain_add_simple);
 331
 332 /**
 333  * irq_domain_add_legacy() - Allocate and register a legacy revmap irq_domain.
 334  * @of_node: pointer to interrupt controller's device tree node.
 335  * @size: total number of irqs in legacy mapping
 336  * @first_irq: first number of irq block assigned to the domain
 337  * @first_hwirq: first hwirq number to use for the translation. Should normally
 338  *               be '0', but a positive integer can be used if the effective
 339  *               hwirqs numbering does not begin at zero.
 340  * @ops: map/unmap domain callbacks
 341  * @host_data: Controller private data pointer
 342  *
 343  * Note: the map() callback will be called before this function returns
 344  * for all legacy interrupts except 0 (which is always the invalid irq for
 345  * a legacy controller).
 346  */
 347 struct irq_domain *irq_domain_add_legacy(struct device_node *of_node,
 348                                          unsigned int size,
 349                                          unsigned int first_irq,
 350                                          irq_hw_number_t first_hwirq,
 351                                          const struct irq_domain_ops *ops,
 352                                          void *host_data)
 353 {
 354         struct irq_domain *domain;
 355
 356         domain = __irq_domain_add(of_node_to_fwnode(of_node), first_hwirq + size,
 357                                   first_hwirq + size, 0, ops, host_data);
 358         if (domain)
 359                 irq_domain_associate_many(domain, first_irq, first_hwirq, size);
 360
 361         return domain;
 362 }
 363 EXPORT_SYMBOL_GPL(irq_domain_add_legacy);
 364
 365 /**
 366  * irq_find_matching_fwspec() - Locates a domain for a given fwspec
 367  * @fwspec: FW specifier for an interrupt
 368  * @bus_token: domain-specific data
 369  */
 370 struct irq_domain *irq_find_matching_fwspec(struct irq_fwspec *fwspec,
 371                                             enum irq_domain_bus_token bus_token)
 372 {
 373         struct irq_domain *h, *found = NULL;
 374         struct fwnode_handle *fwnode = fwspec->fwnode;
 375         int rc;
 376
 377         /* We might want to match the legacy controller last since
 378          * it might potentially be set to match all interrupts in
 379          * the absence of a device node. This isn't a problem so far
 380          * yet though...
 381          *
 382          * bus_token == DOMAIN_BUS_ANY matches any domain, any other
 383          * values must generate an exact match for the domain to be
 384          * selected.
 385          */
 386         mutex_lock(&irq_domain_mutex);
 387         list_for_each_entry(h, &irq_domain_list, link) {
 388                 if (h->ops->select && fwspec->param_count)
 389                         rc = h->ops->select(h, fwspec, bus_token);
 390                 else if (h->ops->match)
 391                         rc = h->ops->match(h, to_of_node(fwnode), bus_token);
 392                 else
 393                         rc = ((fwnode != NULL) && (h->fwnode == fwnode) &&
 394                               ((bus_token == DOMAIN_BUS_ANY) ||
 395                                (h->bus_token == bus_token)));
 396
 397                 if (rc) {
 398                         found = h;
 399                         break;
 400                 }
 401         }
 402         mutex_unlock(&irq_domain_mutex);
 403         return found;
 404 }
 405 EXPORT_SYMBOL_GPL(irq_find_matching_fwspec);
 406
 407 /**
 408  * irq_domain_check_msi_remap - Check whether all MSI irq domains implement
 409  * IRQ remapping
 410  *
 411  * Return: false if any MSI irq domain does not support IRQ remapping,
 412  * true otherwise (including if there is no MSI irq domain)
 413  */
 414 bool irq_domain_check_msi_remap(void)
 415 {
 416         struct irq_domain *h;
 417         bool ret = true;
 418
 419         mutex_lock(&irq_domain_mutex);
 420         list_for_each_entry(h, &irq_domain_list, link) {
 421                 if (irq_domain_is_msi(h) &&
 422                     !irq_domain_hierarchical_is_msi_remap(h)) {
 423                         ret = false;
 424                         break;
 425                 }
 426         }
 427         mutex_unlock(&irq_domain_mutex);
 428         return ret;
 429 }
 430 EXPORT_SYMBOL_GPL(irq_domain_check_msi_remap);
 431
 432 /**
 433  * irq_set_default_host() - Set a "default" irq domain
 434  * @domain: default domain pointer
 435  *
 436  * For convenience, it's possible to set a "default" domain that will be used
 437  * whenever NULL is passed to irq_create_mapping(). It makes life easier for
 438  * platforms that want to manipulate a few hard coded interrupt numbers that
 439  * aren't properly represented in the device-tree.
 440  */
 441 void irq_set_default_host(struct irq_domain *domain)
 442 {
 443         pr_debug("Default domain set to @0x%p\n", domain);
 444
 445         irq_default_domain = domain;
 446 }
 447 EXPORT_SYMBOL_GPL(irq_set_default_host);
 448
 449 /**
 450  * irq_get_default_host() - Retrieve the "default" irq domain
 451  *
 452  * Returns: the default domain, if any.
 453  *
 454  * Modern code should never use this. This should only be used on
 455  * systems that cannot implement a firmware->fwnode mapping (which
 456  * both DT and ACPI provide).
 457  */
 458 struct irq_domain *irq_get_default_host(void)
 459 {
 460         return irq_default_domain;
 461 }
 462
 463 static void irq_domain_clear_mapping(struct irq_domain *domain,
 464                                      irq_hw_number_t hwirq)
 465 {
 466         if (hwirq < domain->revmap_size) {
 467                 domain->linear_revmap[hwirq] = 0;
 468         } else {
 469                 mutex_lock(&domain->revmap_tree_mutex);
 470                 radix_tree_delete(&domain->revmap_tree, hwirq);
 471                 mutex_unlock(&domain->revmap_tree_mutex);
 472         }
 473 }
 474
 475 static void irq_domain_set_mapping(struct irq_domain *domain,
 476                                    irq_hw_number_t hwirq,
 477                                    struct irq_data *irq_data)
 478 {
 479         if (hwirq < domain->revmap_size) {
 480                 domain->linear_revmap[hwirq] = irq_data->irq;
 481         } else {
 482                 mutex_lock(&domain->revmap_tree_mutex);
 483                 radix_tree_insert(&domain->revmap_tree, hwirq, irq_data);
 484                 mutex_unlock(&domain->revmap_tree_mutex);
 485         }
 486 }
 487
 488 void irq_domain_disassociate(struct irq_domain *domain, unsigned int irq)
 489 {
 490         struct irq_data *irq_data = irq_get_irq_data(irq);
 491         irq_hw_number_t hwirq;
 492
 493         if (WARN(!irq_data || irq_data->domain != domain,
 494                  "virq%i doesn't exist; cannot disassociate\n", irq))
 495                 return;
 496
 497         hwirq = irq_data->hwirq;
 498         irq_set_status_flags(irq, IRQ_NOREQUEST);
 499
 500         /* remove chip and handler */
 501         irq_set_chip_and_handler(irq, NULL, NULL);
 502
 503         /* Make sure it's completed */
 504         synchronize_irq(irq);
 505
 506         /* Tell the PIC about it */
 507         if (domain->ops->unmap)
 508                 domain->ops->unmap(domain, irq);
 509         smp_mb();
 510
 511         irq_data->domain = NULL;
 512         irq_data->hwirq = 0;
 513         domain->mapcount--;
 514
 515         /* Clear reverse map for this hwirq */
 516         irq_domain_clear_mapping(domain, hwirq);
 517 }
 518
 519 int irq_domain_associate(struct irq_domain *domain, unsigned int virq,
 520                          irq_hw_number_t hwirq)
 521 {
 522         struct irq_data *irq_data = irq_get_irq_data(virq);
 523         int ret;
 524
 525         if (WARN(hwirq >= domain->hwirq_max,
 526                  "error: hwirq 0x%x is too large for %s\n", (int)hwirq, domain->name))
 527                 return -EINVAL;
 528         if (WARN(!irq_data, "error: virq%i is not allocated", virq))
 529                 return -EINVAL;
 530         if (WARN(irq_data->domain, "error: virq%i is already associated", virq))
 531                 return -EINVAL;
 532
 533         mutex_lock(&irq_domain_mutex);
 534         irq_data->hwirq = hwirq;
 535         irq_data->domain = domain;
 536         if (domain->ops->map) {
 537                 ret = domain->ops->map(domain, virq, hwirq);
 538                 if (ret != 0) {
 539                         /*
 540                          * If map() returns -EPERM, this interrupt is protected
 541                          * by the firmware or some other service and shall not
 542                          * be mapped. Don't bother telling the user about it.
 543                          */
 544                         if (ret != -EPERM) {
 545                                 pr_info("%s didn't like hwirq-0x%lx to VIRQ%i mapping (rc=%d)\n",
 546                                        domain->name, hwirq, virq, ret);
 547                         }
 548                         irq_data->domain = NULL;
 549                         irq_data->hwirq = 0;
 550                         mutex_unlock(&irq_domain_mutex);
 551                         return ret;
 552                 }
 553
 554                 /* If not already assigned, give the domain the chip's name */
 555                 if (!domain->name && irq_data->chip)
 556                         domain->name = irq_data->chip->name;
 557         }
 558
 559         domain->mapcount++;
 560         irq_domain_set_mapping(domain, hwirq, irq_data);
 561         mutex_unlock(&irq_domain_mutex);
 562
 563         irq_clear_status_flags(virq, IRQ_NOREQUEST);
 564
 565         return 0;
 566 }
 567 EXPORT_SYMBOL_GPL(irq_domain_associate);
 568
 569 void irq_domain_associate_many(struct irq_domain *domain, unsigned int irq_base,
 570                                irq_hw_number_t hwirq_base, int count)
 571 {
 572         struct device_node *of_node;
 573         int i;
 574
 575         of_node = irq_domain_get_of_node(domain);
 576         pr_debug("%s(%s, irqbase=%i, hwbase=%i, count=%i)\n", __func__,
 577                 of_node_full_name(of_node), irq_base, (int)hwirq_base, count);
 578
 579         for (i = 0; i < count; i++) {
 580                 irq_domain_associate(domain, irq_base + i, hwirq_base + i);
 581         }
 582 }
 583 EXPORT_SYMBOL_GPL(irq_domain_associate_many);
 584
 585 /**
 586  * irq_create_direct_mapping() - Allocate an irq for direct mapping
 587  * @domain: domain to allocate the irq for or NULL for default domain
 588  *
 589  * This routine is used for irq controllers which can choose the hardware
 590  * interrupt numbers they generate. In such a case it's simplest to use
 591  * the linux irq as the hardware interrupt number. It still uses the linear
 592  * or radix tree to store the mapping, but the irq controller can optimize
 593  * the revmap path by using the hwirq directly.
 594  */
 595 unsigned int irq_create_direct_mapping(struct irq_domain *domain)
 596 {
 597         struct device_node *of_node;
 598         unsigned int virq;
 599
 600         if (domain == NULL)
 601                 domain = irq_default_domain;
 602
 603         of_node = irq_domain_get_of_node(domain);
 604         virq = irq_alloc_desc_from(1, of_node_to_nid(of_node));
 605         if (!virq) {
 606                 pr_debug("create_direct virq allocation failed\n");
 607                 return 0;
 608         }
 609         if (virq >= domain->revmap_direct_max_irq) {
 610                 pr_err("ERROR: no free irqs available below %i maximum\n",
 611                         domain->revmap_direct_max_irq);
 612                 irq_free_desc(virq);
 613                 return 0;
 614         }
 615         pr_debug("create_direct obtained virq %d\n", virq);
 616
 617         if (irq_domain_associate(domain, virq, virq)) {
 618                 irq_free_desc(virq);
 619                 return 0;
 620         }
 621
 622         return virq;
 623 }
 624 EXPORT_SYMBOL_GPL(irq_create_direct_mapping);
 625
 626 /**
 627  * irq_create_mapping_affinity() - Map a hardware interrupt into linux irq space
 628  * @domain: domain owning this hardware interrupt or NULL for default domain
 629  * @hwirq: hardware irq number in that domain space
 630  * @affinity: irq affinity
 631  *
 632  * Only one mapping per hardware interrupt is permitted. Returns a linux
 633  * irq number.
 634  * If the sense/trigger is to be specified, set_irq_type() should be called
 635  * on the number returned from that call.
 636  */
 637 unsigned int irq_create_mapping_affinity(struct irq_domain *domain,
 638                                        irq_hw_number_t hwirq,
 639                                        const struct irq_affinity_desc *affinity)
 640 {
 641         struct device_node *of_node;
 642         int virq;
 643
 644         pr_debug("irq_create_mapping(0x%p, 0x%lx)\n", domain, hwirq);
 645
 646         /* Look for default domain if nececssary */
 647         if (domain == NULL)
 648                 domain = irq_default_domain;
 649         if (domain == NULL) {
 650                 WARN(1, "%s(, %lx) called with NULL domain\n", __func__, hwirq);
 651                 return 0;
 652         }
 653         pr_debug("-> using domain @%p\n", domain);
 654
 655         of_node = irq_domain_get_of_node(domain);
 656
 657         /* Check if mapping already exists */
 658         virq = irq_find_mapping(domain, hwirq);
 659         if (virq) {
 660                 pr_debug("-> existing mapping on virq %d\n", virq);
 661                 return virq;
 662         }
 663
 664         /* Allocate a virtual interrupt number */
 665         virq = irq_domain_alloc_descs(-1, 1, hwirq, of_node_to_nid(of_node),
 666                                       affinity);
 667         if (virq <= 0) {
 668                 pr_debug("-> virq allocation failed\n");
 669                 return 0;
 670         }
 671
 672         if (irq_domain_associate(domain, virq, hwirq)) {
 673                 irq_free_desc(virq);
 674                 return 0;
 675         }
 676
 677         pr_debug("irq %lu on domain %s mapped to virtual irq %u\n",
 678                 hwirq, of_node_full_name(of_node), virq);
 679
 680         return virq;
 681 }
 682 EXPORT_SYMBOL_GPL(irq_create_mapping_affinity);
 683
 684 /**
 685  * irq_create_strict_mappings() - Map a range of hw irqs to fixed linux irqs
 686  * @domain: domain owning the interrupt range
 687  * @irq_base: beginning of linux IRQ range
 688  * @hwirq_base: beginning of hardware IRQ range
 689  * @count: Number of interrupts to map
 690  *
 691  * This routine is used for allocating and mapping a range of hardware
 692  * irqs to linux irqs where the linux irq numbers are at pre-defined
 693  * locations. For use by controllers that already have static mappings
 694  * to insert in to the domain.
 695  *
 696  * Non-linear users can use irq_create_identity_mapping() for IRQ-at-a-time
 697  * domain insertion.
 698  *
 699  * 0 is returned upon success, while any failure to establish a static
 700  * mapping is treated as an error.
 701  */
 702 int irq_create_strict_mappings(struct irq_domain *domain, unsigned int irq_base,
 703                                irq_hw_number_t hwirq_base, int count)
 704 {
 705         struct device_node *of_node;
 706         int ret;
 707
 708         of_node = irq_domain_get_of_node(domain);
 709         ret = irq_alloc_descs(irq_base, irq_base, count,
 710                               of_node_to_nid(of_node));
 711         if (unlikely(ret < 0))
 712                 return ret;
 713
 714         irq_domain_associate_many(domain, irq_base, hwirq_base, count);
 715         return 0;
 716 }
 717 EXPORT_SYMBOL_GPL(irq_create_strict_mappings);
 718
 719 static int irq_domain_translate(struct irq_domain *d,
 720                                 struct irq_fwspec *fwspec,
 721                                 irq_hw_number_t *hwirq, unsigned int *type)
 722 {
 723 #ifdef CONFIG_IRQ_DOMAIN_HIERARCHY
 724         if (d->ops->translate)
 725                 return d->ops->translate(d, fwspec, hwirq, type);
 726 #endif
 727         if (d->ops->xlate)
 728                 return d->ops->xlate(d, to_of_node(fwspec->fwnode),
 729                                      fwspec->param, fwspec->param_count,
 730                                      hwirq, type);
 731
 732         /* If domain has no translation, then we assume interrupt line */
 733         *hwirq = fwspec->param[0];
 734         return 0;
 735 }
 736
 737 static void of_phandle_args_to_fwspec(struct device_node *np, const u32 *args,
 738                                       unsigned int count,
 739                                       struct irq_fwspec *fwspec)
 740 {
 741         int i;
 742
 743         fwspec->fwnode = np ? &np->fwnode : NULL;
 744         fwspec->param_count = count;
 745
 746         for (i = 0; i < count; i++)
 747                 fwspec->param[i] = args[i];
 748 }
 749
 750 unsigned int irq_create_fwspec_mapping(struct irq_fwspec *fwspec)
 751 {
 752         struct irq_domain *domain;
 753         struct irq_data *irq_data;
 754         irq_hw_number_t hwirq;
 755         unsigned int type = IRQ_TYPE_NONE;
 756         int virq;
 757
 758         if (fwspec->fwnode) {
 759                 domain = irq_find_matching_fwspec(fwspec, DOMAIN_BUS_WIRED);
 760                 if (!domain)
 761                         domain = irq_find_matching_fwspec(fwspec, DOMAIN_BUS_ANY);
 762         } else {
 763                 domain = irq_default_domain;
 764         }
 765
 766         if (!domain) {
 767                 pr_warn("no irq domain found for %s !\n",
 768                         of_node_full_name(to_of_node(fwspec->fwnode)));
 769                 return 0;
 770         }
 771
 772         if (irq_domain_translate(domain, fwspec, &hwirq, &type))
 773                 return 0;
 774
 775         /*
 776          * WARN if the irqchip returns a type with bits
 777          * outside the sense mask set and clear these bits.
 778          */
 779         if (WARN_ON(type & ~IRQ_TYPE_SENSE_MASK))
 780                 type &= IRQ_TYPE_SENSE_MASK;
 781
 782         /*
 783          * If we've already configured this interrupt,
 784          * don't do it again, or hell will break loose.
 785          */
 786         virq = irq_find_mapping(domain, hwirq);
 787         if (virq) {
 788                 /*
 789                  * If the trigger type is not specified or matches the
 790                  * current trigger type then we are done so return the
 791                  * interrupt number.
 792                  */
 793                 if (type == IRQ_TYPE_NONE || type == irq_get_trigger_type(virq))
 794                         return virq;
 795
 796                 /*
 797                  * If the trigger type has not been set yet, then set
 798                  * it now and return the interrupt number.
 799                  */
 800                 if (irq_get_trigger_type(virq) == IRQ_TYPE_NONE) {
 801                         irq_data = irq_get_irq_data(virq);
 802                         if (!irq_data)
 803                                 return 0;
 804
 805                         irqd_set_trigger_type(irq_data, type);
 806                         return virq;
 807                 }
 808
 809                 pr_warn("type mismatch, failed to map hwirq-%lu for %s!\n",
 810                         hwirq, of_node_full_name(to_of_node(fwspec->fwnode)));
 811                 return 0;
 812         }
 813
 814         if (irq_domain_is_hierarchy(domain)) {
 815                 virq = irq_domain_alloc_irqs(domain, 1, NUMA_NO_NODE, fwspec);
 816                 if (virq <= 0)
 817                         return 0;
 818         } else {
 819                 /* Create mapping */
 820                 virq = irq_create_mapping(domain, hwirq);
 821                 if (!virq)
 822                         return virq;
 823         }
 824
 825         irq_data = irq_get_irq_data(virq);
 826         if (!irq_data) {
 827                 if (irq_domain_is_hierarchy(domain))
 828                         irq_domain_free_irqs(virq, 1);
 829                 else
 830                         irq_dispose_mapping(virq);
 831                 return 0;
 832         }
 833
 834         /* Store trigger type */
 835         irqd_set_trigger_type(irq_data, type);
 836
 837         return virq;
 838 }
 839 EXPORT_SYMBOL_GPL(irq_create_fwspec_mapping);
 840
 841 unsigned int irq_create_of_mapping(struct of_phandle_args *irq_data)
 842 {
 843         struct irq_fwspec fwspec;
 844
 845         of_phandle_args_to_fwspec(irq_data->np, irq_data->args,
 846                                   irq_data->args_count, &fwspec);
 847
 848         return irq_create_fwspec_mapping(&fwspec);
 849 }
 850 EXPORT_SYMBOL_GPL(irq_create_of_mapping);
 851
 852 /**
 853  * irq_dispose_mapping() - Unmap an interrupt
 854  * @virq: linux irq number of the interrupt to unmap
 855  */
 856 void irq_dispose_mapping(unsigned int virq)
 857 {
 858         struct irq_data *irq_data = irq_get_irq_data(virq);
 859         struct irq_domain *domain;
 860
 861         if (!virq || !irq_data)
 862                 return;
 863
 864         domain = irq_data->domain;
 865         if (WARN_ON(domain == NULL))
 866                 return;
 867
 868         if (irq_domain_is_hierarchy(domain)) {
 869                 irq_domain_free_irqs(virq, 1);
 870         } else {
 871                 irq_domain_disassociate(domain, virq);
 872                 irq_free_desc(virq);
 873         }
 874 }
 875 EXPORT_SYMBOL_GPL(irq_dispose_mapping);
 876
 877 /**
 878  * irq_find_mapping() - Find a linux irq from a hw irq number.
 879  * @domain: domain owning this hardware interrupt
 880  * @hwirq: hardware irq number in that domain space
 881  */
 882 unsigned int irq_find_mapping(struct irq_domain *domain,
 883                               irq_hw_number_t hwirq)
 884 {
 885         struct irq_data *data;
 886
 887         /* Look for default domain if nececssary */
 888         if (domain == NULL)
 889                 domain = irq_default_domain;
 890         if (domain == NULL)
 891                 return 0;
 892
 893         if (hwirq < domain->revmap_direct_max_irq) {
 894                 data = irq_domain_get_irq_data(domain, hwirq);
 895                 if (data && data->hwirq == hwirq)
 896                         return hwirq;
 897         }
 898
 899         /* Check if the hwirq is in the linear revmap. */
 900         if (hwirq < domain->revmap_size)
 901                 return domain->linear_revmap[hwirq];
 902
 903         rcu_read_lock();
 904         data = radix_tree_lookup(&domain->revmap_tree, hwirq);
 905         rcu_read_unlock();
 906         return data ? data->irq : 0;
 907 }
 908 EXPORT_SYMBOL_GPL(irq_find_mapping);
 909
 910 /**
 911  * irq_domain_xlate_onecell() - Generic xlate for direct one cell bindings
 912  *
 913  * Device Tree IRQ specifier translation function which works with one cell
 914  * bindings where the cell value maps directly to the hwirq number.
 915  */
 916 int irq_domain_xlate_onecell(struct irq_domain *d, struct device_node *ctrlr,
 917                              const u32 *intspec, unsigned int intsize,
 918                              unsigned long *out_hwirq, unsigned int *out_type)
 919 {
 920         if (WARN_ON(intsize < 1))
 921                 return -EINVAL;
 922         *out_hwirq = intspec[0];
 923         *out_type = IRQ_TYPE_NONE;
 924         return 0;
 925 }
 926 EXPORT_SYMBOL_GPL(irq_domain_xlate_onecell);
 927
 928 /**
 929  * irq_domain_xlate_twocell() - Generic xlate for direct two cell bindings
 930  *
 931  * Device Tree IRQ specifier translation function which works with two cell
 932  * bindings where the cell values map directly to the hwirq number
 933  * and linux irq flags.
 934  */
 935 int irq_domain_xlate_twocell(struct irq_domain *d, struct device_node *ctrlr,
 936                         const u32 *intspec, unsigned int intsize,
 937                         irq_hw_number_t *out_hwirq, unsigned int *out_type)
 938 {
 939         struct irq_fwspec fwspec;
 940
 941         of_phandle_args_to_fwspec(ctrlr, intspec, intsize, &fwspec);
 942         return irq_domain_translate_twocell(d, &fwspec, out_hwirq, out_type);
 943 }
 944 EXPORT_SYMBOL_GPL(irq_domain_xlate_twocell);
 945
 946 /**
 947  * irq_domain_xlate_onetwocell() - Generic xlate for one or two cell bindings
 948  *
 949  * Device Tree IRQ specifier translation function which works with either one
 950  * or two cell bindings where the cell values map directly to the hwirq number
 951  * and linux irq flags.
 952  *
 953  * Note: don't use this function unless your interrupt controller explicitly
 954  * supports both one and two cell bindings.  For the majority of controllers
 955  * the _onecell() or _twocell() variants above should be used.
 956  */
 957 int irq_domain_xlate_onetwocell(struct irq_domain *d,
 958                                 struct device_node *ctrlr,
 959                                 const u32 *intspec, unsigned int intsize,
 960                                 unsigned long *out_hwirq, unsigned int *out_type)
 961 {
 962         if (WARN_ON(intsize < 1))
 963                 return -EINVAL;
 964         *out_hwirq = intspec[0];
 965         if (intsize > 1)
 966                 *out_type = intspec[1] & IRQ_TYPE_SENSE_MASK;
 967         else
 968                 *out_type = IRQ_TYPE_NONE;
 969         return 0;
 970 }
 971 EXPORT_SYMBOL_GPL(irq_domain_xlate_onetwocell);
 972
 973 const struct irq_domain_ops irq_domain_simple_ops = {
 974         .xlate = irq_domain_xlate_onetwocell,
 975 };
 976 EXPORT_SYMBOL_GPL(irq_domain_simple_ops);
 977
 978 /**
 979  * irq_domain_translate_onecell() - Generic translate for direct one cell
 980  * bindings
 981  */
 982 int irq_domain_translate_onecell(struct irq_domain *d,
 983                                  struct irq_fwspec *fwspec,
 984                                  unsigned long *out_hwirq,
 985                                  unsigned int *out_type)
 986 {
 987         if (WARN_ON(fwspec->param_count < 1))
 988                 return -EINVAL;
 989         *out_hwirq = fwspec->param[0];
 990         *out_type = IRQ_TYPE_NONE;
 991         return 0;
 992 }
 993 EXPORT_SYMBOL_GPL(irq_domain_translate_onecell);
 994
 995 /**
 996  * irq_domain_translate_twocell() - Generic translate for direct two cell
 997  * bindings
 998  *
 999  * Device Tree IRQ specifier translation function which works with two cell
1000  * bindings where the cell values map directly to the hwirq number
1001  * and linux irq flags.
1002  */
1003 int irq_domain_translate_twocell(struct irq_domain *d,
1004                                  struct irq_fwspec *fwspec,
1005                                  unsigned long *out_hwirq,
1006                                  unsigned int *out_type)
1007 {
1008         if (WARN_ON(fwspec->param_count < 2))
1009                 return -EINVAL;
1010         *out_hwirq = fwspec->param[0];
1011         *out_type = fwspec->param[1] & IRQ_TYPE_SENSE_MASK;
1012         return 0;
1013 }
1014 EXPORT_SYMBOL_GPL(irq_domain_translate_twocell);
1015
1016 int irq_domain_alloc_descs(int virq, unsigned int cnt, irq_hw_number_t hwirq,
1017                            int node, const struct irq_affinity_desc *affinity)
1018 {
1019         unsigned int hint;
1020
1021         if (virq >= 0) {
1022                 virq = __irq_alloc_descs(virq, virq, cnt, node, THIS_MODULE,
1023                                          affinity);
1024         } else {
1025                 hint = hwirq % nr_irqs;
1026                 if (hint == 0)
1027                         hint++;
1028                 virq = __irq_alloc_descs(-1, hint, cnt, node, THIS_MODULE,
1029                                          affinity);
1030                 if (virq <= 0 && hint > 1) {
1031                         virq = __irq_alloc_descs(-1, 1, cnt, node, THIS_MODULE,
1032                                                  affinity);
1033                 }
1034         }
1035
1036         return virq;
1037 }
1038
1039 /**
1040  * irq_domain_reset_irq_data - Clear hwirq, chip and chip_data in @irq_data
1041  * @irq_data:   The pointer to irq_data
1042  */
1043 void irq_domain_reset_irq_data(struct irq_data *irq_data)
1044 {
1045         irq_data->hwirq = 0;
1046         irq_data->chip = &no_irq_chip;
1047         irq_data->chip_data = NULL;
1048 }
1049 EXPORT_SYMBOL_GPL(irq_domain_reset_irq_data);
1050
1051 #ifdef  CONFIG_IRQ_DOMAIN_HIERARCHY
1052 /**
1053  * irq_domain_create_hierarchy - Add a irqdomain into the hierarchy
1054  * @parent:     Parent irq domain to associate with the new domain
1055  * @flags:      Irq domain flags associated to the domain
1056  * @size:       Size of the domain. See below
1057  * @fwnode:     Optional fwnode of the interrupt controller
1058  * @ops:        Pointer to the interrupt domain callbacks
1059  * @host_data:  Controller private data pointer
1060  *
1061  * If @size is 0 a tree domain is created, otherwise a linear domain.
1062  *
1063  * If successful the parent is associated to the new domain and the
1064  * domain flags are set.
1065  * Returns pointer to IRQ domain, or NULL on failure.
1066  */
1067 struct irq_domain *irq_domain_create_hierarchy(struct irq_domain *parent,
1068                                             unsigned int flags,
1069                                             unsigned int size,
1070                                             struct fwnode_handle *fwnode,
1071                                             const struct irq_domain_ops *ops,
1072                                             void *host_data)
1073 {
1074         struct irq_domain *domain;
1075
1076         if (size)
1077                 domain = irq_domain_create_linear(fwnode, size, ops, host_data);
1078         else
1079                 domain = irq_domain_create_tree(fwnode, ops, host_data);
1080         if (domain) {
1081                 domain->parent = parent;
1082                 domain->flags |= flags;
1083         }
1084
1085         return domain;
1086 }
1087 EXPORT_SYMBOL_GPL(irq_domain_create_hierarchy);
1088
1089 static void irq_domain_insert_irq(int virq)
1090 {
1091         struct irq_data *data;
1092
1093         for (data = irq_get_irq_data(virq); data; data = data->parent_data) {
1094                 struct irq_domain *domain = data->domain;
1095
1096                 domain->mapcount++;
1097                 irq_domain_set_mapping(domain, data->hwirq, data);
1098
1099                 /* If not already assigned, give the domain the chip's name */
1100                 if (!domain->name && data->chip)
1101                         domain->name = data->chip->name;
1102         }
1103
1104         irq_clear_status_flags(virq, IRQ_NOREQUEST);
1105 }
1106
1107 static void irq_domain_remove_irq(int virq)
1108 {
1109         struct irq_data *data;
1110
1111         irq_set_status_flags(virq, IRQ_NOREQUEST);
1112         irq_set_chip_and_handler(virq, NULL, NULL);
1113         synchronize_irq(virq);
1114         smp_mb();
1115
1116         for (data = irq_get_irq_data(virq); data; data = data->parent_data) {
1117                 struct irq_domain *domain = data->domain;
1118                 irq_hw_number_t hwirq = data->hwirq;
1119
1120                 domain->mapcount--;
1121                 irq_domain_clear_mapping(domain, hwirq);
1122         }
1123 }
1124
1125 static struct irq_data *irq_domain_insert_irq_data(struct irq_domain *domain,
1126                                                    struct irq_data *child)
1127 {
1128         struct irq_data *irq_data;
1129
1130         irq_data = kzalloc_node(sizeof(*irq_data), GFP_KERNEL,
1131                                 irq_data_get_node(child));
1132         if (irq_data) {
1133                 child->parent_data = irq_data;
1134                 irq_data->irq = child->irq;
1135                 irq_data->common = child->common;
1136                 irq_data->domain = domain;
1137         }
1138
1139         return irq_data;
1140 }
1141
1142 static void __irq_domain_free_hierarchy(struct irq_data *irq_data)
1143 {
1144         struct irq_data *tmp;
1145
1146         while (irq_data) {
1147                 tmp = irq_data;
1148                 irq_data = irq_data->parent_data;
1149                 kfree(tmp);
1150         }
1151 }
1152
1153 static void irq_domain_free_irq_data(unsigned int virq, unsigned int nr_irqs)
1154 {
1155         struct irq_data *irq_data, *tmp;
1156         int i;
1157
1158         for (i = 0; i < nr_irqs; i++) {
1159                 irq_data = irq_get_irq_data(virq + i);
1160                 tmp = irq_data->parent_data;
1161                 irq_data->parent_data = NULL;
1162                 irq_data->domain = NULL;
1163
1164                 __irq_domain_free_hierarchy(tmp);
1165         }
1166 }
1167
1168 /**
1169  * irq_domain_disconnect_hierarchy - Mark the first unused level of a hierarchy
1170  * @domain:     IRQ domain from which the hierarchy is to be disconnected
1171  * @virq:       IRQ number where the hierarchy is to be trimmed
1172  *
1173  * Marks the @virq level belonging to @domain as disconnected.
1174  * Returns -EINVAL if @virq doesn't have a valid irq_data pointing
1175  * to @domain.
1176  *
1177  * Its only use is to be able to trim levels of hierarchy that do not
1178  * have any real meaning for this interrupt, and that the driver marks
1179  * as such from its .alloc() callback.
1180  */
1181 int irq_domain_disconnect_hierarchy(struct irq_domain *domain,
1182                                     unsigned int virq)
1183 {
1184         struct irq_data *irqd;
1185
1186         irqd = irq_domain_get_irq_data(domain, virq);
1187         if (!irqd)
1188                 return -EINVAL;
1189
1190         irqd->chip = ERR_PTR(-ENOTCONN);
1191         return 0;
1192 }
1193
1194 static int irq_domain_trim_hierarchy(unsigned int virq)
1195 {
1196         struct irq_data *tail, *irqd, *irq_data;
1197
1198         irq_data = irq_get_irq_data(virq);
1199         tail = NULL;
1200
1201         /* The first entry must have a valid irqchip */
1202         if (!irq_data->chip || IS_ERR(irq_data->chip))
1203                 return -EINVAL;
1204
1205         /*
1206          * Validate that the irq_data chain is sane in the presence of
1207          * a hierarchy trimming marker.
1208          */
1209         for (irqd = irq_data->parent_data; irqd; irq_data = irqd, irqd = irqd->parent_data) {
1210                 /* Can't have a valid irqchip after a trim marker */
1211                 if (irqd->chip && tail)
1212                         return -EINVAL;
1213
1214                 /* Can't have an empty irqchip before a trim marker */
1215                 if (!irqd->chip && !tail)
1216                         return -EINVAL;
1217
1218                 if (IS_ERR(irqd->chip)) {
1219                         /* Only -ENOTCONN is a valid trim marker */
1220                         if (PTR_ERR(irqd->chip) != -ENOTCONN)
1221                                 return -EINVAL;
1222
1223                         tail = irq_data;
1224                 }
1225         }
1226
1227         /* No trim marker, nothing to do */
1228         if (!tail)
1229                 return 0;
1230
1231         pr_info("IRQ%d: trimming hierarchy from %s\n",
1232                 virq, tail->parent_data->domain->name);
1233
1234         /* Sever the inner part of the hierarchy...  */
1235         irqd = tail;
1236         tail = tail->parent_data;
1237         irqd->parent_data = NULL;
1238         __irq_domain_free_hierarchy(tail);
1239
1240         return 0;
1241 }
1242
1243 static int irq_domain_alloc_irq_data(struct irq_domain *domain,
1244                                      unsigned int virq, unsigned int nr_irqs)
1245 {
1246         struct irq_data *irq_data;
1247         struct irq_domain *parent;
1248         int i;
1249
1250         /* The outermost irq_data is embedded in struct irq_desc */
1251         for (i = 0; i < nr_irqs; i++) {
1252                 irq_data = irq_get_irq_data(virq + i);
1253                 irq_data->domain = domain;
1254
1255                 for (parent = domain->parent; parent; parent = parent->parent) {
1256                         irq_data = irq_domain_insert_irq_data(parent, irq_data);
1257                         if (!irq_data) {
1258                                 irq_domain_free_irq_data(virq, i + 1);
1259                                 return -ENOMEM;
1260                         }
1261                 }
1262         }
1263
1264         return 0;
1265 }
1266
1267 /**
1268  * irq_domain_get_irq_data - Get irq_data associated with @virq and @domain
1269  * @domain:     domain to match
1270  * @virq:       IRQ number to get irq_data
1271  */
1272 struct irq_data *irq_domain_get_irq_data(struct irq_domain *domain,
1273                                          unsigned int virq)
1274 {
1275         struct irq_data *irq_data;
1276
1277         for (irq_data = irq_get_irq_data(virq); irq_data;
1278              irq_data = irq_data->parent_data)
1279                 if (irq_data->domain == domain)
1280                         return irq_data;
1281
1282         return NULL;
1283 }
1284 EXPORT_SYMBOL_GPL(irq_domain_get_irq_data);
1285
1286 /**
1287  * irq_domain_set_hwirq_and_chip - Set hwirq and irqchip of @virq at @domain
1288  * @domain:     Interrupt domain to match
1289  * @virq:       IRQ number
1290  * @hwirq:      The hwirq number
1291  * @chip:       The associated interrupt chip
1292  * @chip_data:  The associated chip data
1293  */
1294 int irq_domain_set_hwirq_and_chip(struct irq_domain *domain, unsigned int virq,
1295                                   irq_hw_number_t hwirq, struct irq_chip *chip,
1296                                   void *chip_data)
1297 {
1298         struct irq_data *irq_data = irq_domain_get_irq_data(domain, virq);
1299
1300         if (!irq_data)
1301                 return -ENOENT;
1302
1303         irq_data->hwirq = hwirq;
1304         irq_data->chip = chip ? chip : &no_irq_chip;
1305         irq_data->chip_data = chip_data;
1306
1307         return 0;
1308 }
1309 EXPORT_SYMBOL_GPL(irq_domain_set_hwirq_and_chip);
1310
1311 /**
1312  * irq_domain_set_info - Set the complete data for a @virq in @domain
1313  * @domain:             Interrupt domain to match
1314  * @virq:               IRQ number
1315  * @hwirq:              The hardware interrupt number
1316  * @chip:               The associated interrupt chip
1317  * @chip_data:          The associated interrupt chip data
1318  * @handler:            The interrupt flow handler
1319  * @handler_data:       The interrupt flow handler data
1320  * @handler_name:       The interrupt handler name
1321  */
1322 void irq_domain_set_info(struct irq_domain *domain, unsigned int virq,
1323                          irq_hw_number_t hwirq, struct irq_chip *chip,
1324                          void *chip_data, irq_flow_handler_t handler,
1325                          void *handler_data, const char *handler_name)
1326 {
1327         irq_domain_set_hwirq_and_chip(domain, virq, hwirq, chip, chip_data);
1328         __irq_set_handler(virq, handler, 0, handler_name);
1329         irq_set_handler_data(virq, handler_data);
1330 }
1331 EXPORT_SYMBOL(irq_domain_set_info);
1332
1333 /**
1334  * irq_domain_free_irqs_common - Clear irq_data and free the parent
1335  * @domain:     Interrupt domain to match
1336  * @virq:       IRQ number to start with
1337  * @nr_irqs:    The number of irqs to free
1338  */
1339 void irq_domain_free_irqs_common(struct irq_domain *domain, unsigned int virq,
1340                                  unsigned int nr_irqs)
1341 {
1342         struct irq_data *irq_data;
1343         int i;
1344
1345         for (i = 0; i < nr_irqs; i++) {
1346                 irq_data = irq_domain_get_irq_data(domain, virq + i);
1347                 if (irq_data)
1348                         irq_domain_reset_irq_data(irq_data);
1349         }
1350         irq_domain_free_irqs_parent(domain, virq, nr_irqs);
1351 }
1352 EXPORT_SYMBOL_GPL(irq_domain_free_irqs_common);
1353
1354 /**
1355  * irq_domain_free_irqs_top - Clear handler and handler data, clear irqdata and free parent
1356  * @domain:     Interrupt domain to match
1357  * @virq:       IRQ number to start with
1358  * @nr_irqs:    The number of irqs to free
1359  */
1360 void irq_domain_free_irqs_top(struct irq_domain *domain, unsigned int virq,
1361                               unsigned int nr_irqs)
1362 {
1363         int i;
1364
1365         for (i = 0; i < nr_irqs; i++) {
1366                 irq_set_handler_data(virq + i, NULL);
1367                 irq_set_handler(virq + i, NULL);
1368         }
1369         irq_domain_free_irqs_common(domain, virq, nr_irqs);
1370 }
1371
1372 static void irq_domain_free_irqs_hierarchy(struct irq_domain *domain,
1373                                            unsigned int irq_base,
1374                                            unsigned int nr_irqs)
1375 {
1376         if (domain->ops->free)
1377                 domain->ops->free(domain, irq_base, nr_irqs);
1378 }
1379
1380 int irq_domain_alloc_irqs_hierarchy(struct irq_domain *domain,
1381                                     unsigned int irq_base,
1382                                     unsigned int nr_irqs, void *arg)
1383 {
1384         if (!domain->ops->alloc) {
1385                 pr_debug("domain->ops->alloc() is NULL\n");
1386                 return -ENOSYS;
1387         }
1388
1389         return domain->ops->alloc(domain, irq_base, nr_irqs, arg);
1390 }
1391
1392 /**
1393  * __irq_domain_alloc_irqs - Allocate IRQs from domain
1394  * @domain:     domain to allocate from
1395  * @irq_base:   allocate specified IRQ number if irq_base >= 0
1396  * @nr_irqs:    number of IRQs to allocate
1397  * @node:       NUMA node id for memory allocation
1398  * @arg:        domain specific argument
1399  * @realloc:    IRQ descriptors have already been allocated if true
1400  * @affinity:   Optional irq affinity mask for multiqueue devices
1401  *
1402  * Allocate IRQ numbers and initialized all data structures to support
1403  * hierarchy IRQ domains.
1404  * Parameter @realloc is mainly to support legacy IRQs.
1405  * Returns error code or allocated IRQ number
1406  *
1407  * The whole process to setup an IRQ has been split into two steps.
1408  * The first step, __irq_domain_alloc_irqs(), is to allocate IRQ
1409  * descriptor and required hardware resources. The second step,
1410  * irq_domain_activate_irq(), is to program hardwares with preallocated
1411  * resources. In this way, it's easier to rollback when failing to
1412  * allocate resources.
1413  */
1414 int __irq_domain_alloc_irqs(struct irq_domain *domain, int irq_base,
1415                             unsigned int nr_irqs, int node, void *arg,
1416                             bool realloc, const struct irq_affinity_desc *affinity)
1417 {
1418         int i, ret, virq;
1419
1420         if (domain == NULL) {
1421                 domain = irq_default_domain;
1422                 if (WARN(!domain, "domain is NULL; cannot allocate IRQ\n"))
1423                         return -EINVAL;
1424         }
1425
1426         if (realloc && irq_base >= 0) {
1427                 virq = irq_base;
1428         } else {
1429                 virq = irq_domain_alloc_descs(irq_base, nr_irqs, 0, node,
1430                                               affinity);
1431                 if (virq < 0) {
1432                         pr_debug("cannot allocate IRQ(base %d, count %d)\n",
1433                                  irq_base, nr_irqs);
1434                         return virq;
1435                 }
1436         }
1437
1438         if (irq_domain_alloc_irq_data(domain, virq, nr_irqs)) {
1439                 pr_debug("cannot allocate memory for IRQ%d\n", virq);
1440                 ret = -ENOMEM;
1441                 goto out_free_desc;
1442         }
1443
1444         mutex_lock(&irq_domain_mutex);
1445         ret = irq_domain_alloc_irqs_hierarchy(domain, virq, nr_irqs, arg);
1446         if (ret < 0) {
1447                 mutex_unlock(&irq_domain_mutex);
1448                 goto out_free_irq_data;
1449         }
1450
1451         for (i = 0; i < nr_irqs; i++) {
1452                 ret = irq_domain_trim_hierarchy(virq + i);
1453                 if (ret) {
1454                         mutex_unlock(&irq_domain_mutex);
1455                         goto out_free_irq_data;
1456                 }
1457         }
1458
1459         for (i = 0; i < nr_irqs; i++)
1460                 irq_domain_insert_irq(virq + i);
1461         mutex_unlock(&irq_domain_mutex);
1462
1463         return virq;
1464
1465 out_free_irq_data:
1466         irq_domain_free_irq_data(virq, nr_irqs);
1467 out_free_desc:
1468         irq_free_descs(virq, nr_irqs);
1469         return ret;
1470 }
1471
1472 /* The irq_data was moved, fix the revmap to refer to the new location */
1473 static void irq_domain_fix_revmap(struct irq_data *d)
1474 {
1475         void __rcu **slot;
1476
1477         if (d->hwirq < d->domain->revmap_size)
1478                 return; /* Not using radix tree. */
1479
1480         /* Fix up the revmap. */
1481         mutex_lock(&d->domain->revmap_tree_mutex);
1482         slot = radix_tree_lookup_slot(&d->domain->revmap_tree, d->hwirq);
1483         if (slot)
1484                 radix_tree_replace_slot(&d->domain->revmap_tree, slot, d);
1485         mutex_unlock(&d->domain->revmap_tree_mutex);
1486 }
1487
1488 /**
1489  * irq_domain_push_irq() - Push a domain in to the top of a hierarchy.
1490  * @domain:     Domain to push.
1491  * @virq:       Irq to push the domain in to.
1492  * @arg:        Passed to the irq_domain_ops alloc() function.
1493  *
1494  * For an already existing irqdomain hierarchy, as might be obtained
1495  * via a call to pci_enable_msix(), add an additional domain to the
1496  * head of the processing chain.  Must be called before request_irq()
1497  * has been called.
1498  */
1499 int irq_domain_push_irq(struct irq_domain *domain, int virq, void *arg)
1500 {
1501         struct irq_data *child_irq_data;
1502         struct irq_data *root_irq_data = irq_get_irq_data(virq);
1503         struct irq_desc *desc;
1504         int rv = 0;
1505
1506         /*
1507          * Check that no action has been set, which indicates the virq
1508          * is in a state where this function doesn't have to deal with
1509          * races between interrupt handling and maintaining the
1510          * hierarchy.  This will catch gross misuse.  Attempting to
1511          * make the check race free would require holding locks across
1512          * calls to struct irq_domain_ops->alloc(), which could lead
1513          * to deadlock, so we just do a simple check before starting.
1514          */
1515         desc = irq_to_desc(virq);
1516         if (!desc)
1517                 return -EINVAL;
1518         if (WARN_ON(desc->action))
1519                 return -EBUSY;
1520
1521         if (domain == NULL)
1522                 return -EINVAL;
1523
1524         if (WARN_ON(!irq_domain_is_hierarchy(domain)))
1525                 return -EINVAL;
1526
1527         if (!root_irq_data)
1528                 return -EINVAL;
1529
1530         if (domain->parent != root_irq_data->domain)
1531                 return -EINVAL;
1532
1533         child_irq_data = kzalloc_node(sizeof(*child_irq_data), GFP_KERNEL,
1534                                       irq_data_get_node(root_irq_data));
1535         if (!child_irq_data)
1536                 return -ENOMEM;
1537
1538         mutex_lock(&irq_domain_mutex);
1539
1540         /* Copy the original irq_data. */
1541         *child_irq_data = *root_irq_data;
1542
1543         /*
1544          * Overwrite the root_irq_data, which is embedded in struct
1545          * irq_desc, with values for this domain.
1546          */
1547         root_irq_data->parent_data = child_irq_data;
1548         root_irq_data->domain = domain;
1549         root_irq_data->mask = 0;
1550         root_irq_data->hwirq = 0;
1551         root_irq_data->chip = NULL;
1552         root_irq_data->chip_data = NULL;
1553
1554         /* May (probably does) set hwirq, chip, etc. */
1555         rv = irq_domain_alloc_irqs_hierarchy(domain, virq, 1, arg);
1556         if (rv) {
1557                 /* Restore the original irq_data. */
1558                 *root_irq_data = *child_irq_data;
1559                 kfree(child_irq_data);
1560                 goto error;
1561         }
1562
1563         irq_domain_fix_revmap(child_irq_data);
1564         irq_domain_set_mapping(domain, root_irq_data->hwirq, root_irq_data);
1565
1566 error:
1567         mutex_unlock(&irq_domain_mutex);
1568
1569         return rv;
1570 }
1571 EXPORT_SYMBOL_GPL(irq_domain_push_irq);
1572
1573 /**
1574  * irq_domain_pop_irq() - Remove a domain from the top of a hierarchy.
1575  * @domain:     Domain to remove.
1576  * @virq:       Irq to remove the domain from.
1577  *
1578  * Undo the effects of a call to irq_domain_push_irq().  Must be
1579  * called either before request_irq() or after free_irq().
1580  */
1581 int irq_domain_pop_irq(struct irq_domain *domain, int virq)
1582 {
1583         struct irq_data *root_irq_data = irq_get_irq_data(virq);
1584         struct irq_data *child_irq_data;
1585         struct irq_data *tmp_irq_data;
1586         struct irq_desc *desc;
1587
1588         /*
1589          * Check that no action is set, which indicates the virq is in
1590          * a state where this function doesn't have to deal with races
1591          * between interrupt handling and maintaining the hierarchy.
1592          * This will catch gross misuse.  Attempting to make the check
1593          * race free would require holding locks across calls to
1594          * struct irq_domain_ops->free(), which could lead to
1595          * deadlock, so we just do a simple check before starting.
1596          */
1597         desc = irq_to_desc(virq);
1598         if (!desc)
1599                 return -EINVAL;
1600         if (WARN_ON(desc->action))
1601                 return -EBUSY;
1602
1603         if (domain == NULL)
1604                 return -EINVAL;
1605
1606         if (!root_irq_data)
1607                 return -EINVAL;
1608
1609         tmp_irq_data = irq_domain_get_irq_data(domain, virq);
1610
1611         /* We can only "pop" if this domain is at the top of the list */
1612         if (WARN_ON(root_irq_data != tmp_irq_data))
1613                 return -EINVAL;
1614
1615         if (WARN_ON(root_irq_data->domain != domain))
1616                 return -EINVAL;
1617
1618         child_irq_data = root_irq_data->parent_data;
1619         if (WARN_ON(!child_irq_data))
1620                 return -EINVAL;
1621
1622         mutex_lock(&irq_domain_mutex);
1623
1624         root_irq_data->parent_data = NULL;
1625
1626         irq_domain_clear_mapping(domain, root_irq_data->hwirq);
1627         irq_domain_free_irqs_hierarchy(domain, virq, 1);
1628
1629         /* Restore the original irq_data. */
1630         *root_irq_data = *child_irq_data;
1631
1632         irq_domain_fix_revmap(root_irq_data);
1633
1634         mutex_unlock(&irq_domain_mutex);
1635
1636         kfree(child_irq_data);
1637
1638         return 0;
1639 }
1640 EXPORT_SYMBOL_GPL(irq_domain_pop_irq);
1641
1642 /**
1643  * irq_domain_free_irqs - Free IRQ number and associated data structures
1644  * @virq:       base IRQ number
1645  * @nr_irqs:    number of IRQs to free
1646  */
1647 void irq_domain_free_irqs(unsigned int virq, unsigned int nr_irqs)
1648 {
1649         struct irq_data *data = irq_get_irq_data(virq);
1650         int i;
1651
1652         if (WARN(!data || !data->domain || !data->domain->ops->free,
1653                  "NULL pointer, cannot free irq\n"))
1654                 return;
1655
1656         mutex_lock(&irq_domain_mutex);
1657         for (i = 0; i < nr_irqs; i++)
1658                 irq_domain_remove_irq(virq + i);
1659         irq_domain_free_irqs_hierarchy(data->domain, virq, nr_irqs);
1660         mutex_unlock(&irq_domain_mutex);
1661
1662         irq_domain_free_irq_data(virq, nr_irqs);
1663         irq_free_descs(virq, nr_irqs);
1664 }
1665
1666 /**
1667  * irq_domain_alloc_irqs_parent - Allocate interrupts from parent domain
1668  * @irq_base:   Base IRQ number
1669  * @nr_irqs:    Number of IRQs to allocate
1670  * @arg:        Allocation data (arch/domain specific)
1671  *
1672  * Check whether the domain has been setup recursive. If not allocate
1673  * through the parent domain.
1674  */
1675 int irq_domain_alloc_irqs_parent(struct irq_domain *domain,
1676                                  unsigned int irq_base, unsigned int nr_irqs,
1677                                  void *arg)
1678 {
1679         if (!domain->parent)
1680                 return -ENOSYS;
1681
1682         return irq_domain_alloc_irqs_hierarchy(domain->parent, irq_base,
1683                                                nr_irqs, arg);
1684 }
1685 EXPORT_SYMBOL_GPL(irq_domain_alloc_irqs_parent);
1686
1687 /**
1688  * irq_domain_free_irqs_parent - Free interrupts from parent domain
1689  * @irq_base:   Base IRQ number
1690  * @nr_irqs:    Number of IRQs to free
1691  *
1692  * Check whether the domain has been setup recursive. If not free
1693  * through the parent domain.
1694  */
1695 void irq_domain_free_irqs_parent(struct irq_domain *domain,
1696                                  unsigned int irq_base, unsigned int nr_irqs)
1697 {
1698         if (!domain->parent)
1699                 return;
1700
1701         irq_domain_free_irqs_hierarchy(domain->parent, irq_base, nr_irqs);
1702 }
1703 EXPORT_SYMBOL_GPL(irq_domain_free_irqs_parent);
1704
1705 static void __irq_domain_deactivate_irq(struct irq_data *irq_data)
1706 {
1707         if (irq_data && irq_data->domain) {
1708                 struct irq_domain *domain = irq_data->domain;
1709
1710                 if (domain->ops->deactivate)
1711                         domain->ops->deactivate(domain, irq_data);
1712                 if (irq_data->parent_data)
1713                         __irq_domain_deactivate_irq(irq_data->parent_data);
1714         }
1715 }
1716
1717 static int __irq_domain_activate_irq(struct irq_data *irqd, bool reserve)
1718 {
1719         int ret = 0;
1720
1721         if (irqd && irqd->domain) {
1722                 struct irq_domain *domain = irqd->domain;
1723
1724                 if (irqd->parent_data)
1725                         ret = __irq_domain_activate_irq(irqd->parent_data,
1726                                                         reserve);
1727                 if (!ret && domain->ops->activate) {
1728                         ret = domain->ops->activate(domain, irqd, reserve);
1729                         /* Rollback in case of error */
1730                         if (ret && irqd->parent_data)
1731                                 __irq_domain_deactivate_irq(irqd->parent_data);
1732                 }
1733         }
1734         return ret;
1735 }
1736
1737 /**
1738  * irq_domain_activate_irq - Call domain_ops->activate recursively to activate
1739  *                           interrupt
1740  * @irq_data:   Outermost irq_data associated with interrupt
1741  * @reserve:    If set only reserve an interrupt vector instead of assigning one
1742  *
1743  * This is the second step to call domain_ops->activate to program interrupt
1744  * controllers, so the interrupt could actually get delivered.
1745  */
1746 int irq_domain_activate_irq(struct irq_data *irq_data, bool reserve)
1747 {
1748         int ret = 0;
1749
1750         if (!irqd_is_activated(irq_data))
1751                 ret = __irq_domain_activate_irq(irq_data, reserve);
1752         if (!ret)
1753                 irqd_set_activated(irq_data);
1754         return ret;
1755 }
1756
1757 /**
1758  * irq_domain_deactivate_irq - Call domain_ops->deactivate recursively to
1759  *                             deactivate interrupt
1760  * @irq_data: outermost irq_data associated with interrupt
1761  *
1762  * It calls domain_ops->deactivate to program interrupt controllers to disable
1763  * interrupt delivery.
1764  */
1765 void irq_domain_deactivate_irq(struct irq_data *irq_data)
1766 {
1767         if (irqd_is_activated(irq_data)) {
1768                 __irq_domain_deactivate_irq(irq_data);
1769                 irqd_clr_activated(irq_data);
1770         }
1771 }
1772
1773 static void irq_domain_check_hierarchy(struct irq_domain *domain)
1774 {
1775         /* Hierarchy irq_domains must implement callback alloc() */
1776         if (domain->ops->alloc)
1777                 domain->flags |= IRQ_DOMAIN_FLAG_HIERARCHY;
1778 }
1779
1780 /**
1781  * irq_domain_hierarchical_is_msi_remap - Check if the domain or any
1782  * parent has MSI remapping support
1783  * @domain: domain pointer
1784  */
1785 bool irq_domain_hierarchical_is_msi_remap(struct irq_domain *domain)
1786 {
1787         for (; domain; domain = domain->parent) {
1788                 if (irq_domain_is_msi_remap(domain))
1789                         return true;
1790         }
1791         return false;
1792 }
1793 #else   /* CONFIG_IRQ_DOMAIN_HIERARCHY */
1794 /**
1795  * irq_domain_get_irq_data - Get irq_data associated with @virq and @domain
1796  * @domain:     domain to match
1797  * @virq:       IRQ number to get irq_data
1798  */
1799 struct irq_data *irq_domain_get_irq_data(struct irq_domain *domain,
1800                                          unsigned int virq)
1801 {
1802         struct irq_data *irq_data = irq_get_irq_data(virq);
1803
1804         return (irq_data && irq_data->domain == domain) ? irq_data : NULL;
1805 }
1806 EXPORT_SYMBOL_GPL(irq_domain_get_irq_data);
1807
1808 /**
1809  * irq_domain_set_info - Set the complete data for a @virq in @domain
1810  * @domain:             Interrupt domain to match
1811  * @virq:               IRQ number
1812  * @hwirq:              The hardware interrupt number
1813  * @chip:               The associated interrupt chip
1814  * @chip_data:          The associated interrupt chip data
1815  * @handler:            The interrupt flow handler
1816  * @handler_data:       The interrupt flow handler data
1817  * @handler_name:       The interrupt handler name
1818  */
1819 void irq_domain_set_info(struct irq_domain *domain, unsigned int virq,
1820                          irq_hw_number_t hwirq, struct irq_chip *chip,
1821                          void *chip_data, irq_flow_handler_t handler,
1822                          void *handler_data, const char *handler_name)
1823 {
1824         irq_set_chip_and_handler_name(virq, chip, handler, handler_name);
1825         irq_set_chip_data(virq, chip_data);
1826         irq_set_handler_data(virq, handler_data);
1827 }
1828
1829 static void irq_domain_check_hierarchy(struct irq_domain *domain)
1830 {
1831 }
1832 #endif  /* CONFIG_IRQ_DOMAIN_HIERARCHY */
1833
1834 #ifdef CONFIG_GENERIC_IRQ_DEBUGFS
1835 static struct dentry *domain_dir;
1836
1837 static void
1838 irq_domain_debug_show_one(struct seq_file *m, struct irq_domain *d, int ind)
1839 {
1840         seq_printf(m, "%*sname:   %s\n", ind, "", d->name);
1841         seq_printf(m, "%*ssize:   %u\n", ind + 1, "",
1842                    d->revmap_size + d->revmap_direct_max_irq);
1843         seq_printf(m, "%*smapped: %u\n", ind + 1, "", d->mapcount);
1844         seq_printf(m, "%*sflags:  0x%08x\n", ind +1 , "", d->flags);
1845         if (d->ops && d->ops->debug_show)
1846                 d->ops->debug_show(m, d, NULL, ind + 1);
1847 #ifdef  CONFIG_IRQ_DOMAIN_HIERARCHY
1848         if (!d->parent)
1849                 return;
1850         seq_printf(m, "%*sparent: %s\n", ind + 1, "", d->parent->name);
1851         irq_domain_debug_show_one(m, d->parent, ind + 4);
1852 #endif
1853 }
1854
1855 static int irq_domain_debug_show(struct seq_file *m, void *p)
1856 {
1857         struct irq_domain *d = m->private;
1858
1859         /* Default domain? Might be NULL */
1860         if (!d) {
1861                 if (!irq_default_domain)
1862                         return 0;
1863                 d = irq_default_domain;
1864         }
1865         irq_domain_debug_show_one(m, d, 0);
1866         return 0;
1867 }
1868 DEFINE_SHOW_ATTRIBUTE(irq_domain_debug);
1869
1870 static void debugfs_add_domain_dir(struct irq_domain *d)
1871 {
1872         if (!d->name || !domain_dir || d->debugfs_file)
1873                 return;
1874         d->debugfs_file = debugfs_create_file(d->name, 0444, domain_dir, d,
1875                                               &irq_domain_debug_fops);
1876 }
1877
1878 static void debugfs_remove_domain_dir(struct irq_domain *d)
1879 {
1880         debugfs_remove(d->debugfs_file);
1881         d->debugfs_file = NULL;
1882 }
1883
1884 void __init irq_domain_debugfs_init(struct dentry *root)
1885 {
1886         struct irq_domain *d;
1887
1888         domain_dir = debugfs_create_dir("domains", root);
1889
1890         debugfs_create_file("default", 0444, domain_dir, NULL,
1891                             &irq_domain_debug_fops);
1892         mutex_lock(&irq_domain_mutex);
1893         list_for_each_entry(d, &irq_domain_list, link)
1894                 debugfs_add_domain_dir(d);
1895         mutex_unlock(&irq_domain_mutex);
1896 }
1897 #endif