drivers/bus/fsl-mc/fsl-mc-bus.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Freescale Management Complex (MC) bus driver
   4  *
   5  * Copyright (C) 2014-2016 Freescale Semiconductor, Inc.
   6  * Copyright 2019-2020 NXP
   7  * Author: German Rivera <German.Rivera@freescale.com>
   8  *
   9  */
  10
  11 #define pr_fmt(fmt) "fsl-mc: " fmt
  12
  13 #include <linux/module.h>
  14 #include <linux/of_device.h>
  15 #include <linux/of_address.h>
  16 #include <linux/ioport.h>
  17 #include <linux/slab.h>
  18 #include <linux/limits.h>
  19 #include <linux/bitops.h>
  20 #include <linux/msi.h>
  21 #include <linux/dma-mapping.h>
  22 #include <linux/acpi.h>
  23 #include <linux/iommu.h>
  24 #include <linux/dma-map-ops.h>
  25
  26 #include "fsl-mc-private.h"
  27
  28 /*
  29  * Default DMA mask for devices on a fsl-mc bus
  30  */
  31 #define FSL_MC_DEFAULT_DMA_MASK (~0ULL)
  32
  33 static struct fsl_mc_version mc_version;
  34
  35 /**
  36  * struct fsl_mc - Private data of a "fsl,qoriq-mc" platform device
  37  * @root_mc_bus_dev: fsl-mc device representing the root DPRC
  38  * @num_translation_ranges: number of entries in addr_translation_ranges
  39  * @translation_ranges: array of bus to system address translation ranges
  40  * @fsl_mc_regs: base address of register bank
  41  */
  42 struct fsl_mc {
  43         struct fsl_mc_device *root_mc_bus_dev;
  44         u8 num_translation_ranges;
  45         struct fsl_mc_addr_translation_range *translation_ranges;
  46         void __iomem *fsl_mc_regs;
  47 };
  48
  49 /**
  50  * struct fsl_mc_addr_translation_range - bus to system address translation
  51  * range
  52  * @mc_region_type: Type of MC region for the range being translated
  53  * @start_mc_offset: Start MC offset of the range being translated
  54  * @end_mc_offset: MC offset of the first byte after the range (last MC
  55  * offset of the range is end_mc_offset - 1)
  56  * @start_phys_addr: system physical address corresponding to start_mc_addr
  57  */
  58 struct fsl_mc_addr_translation_range {
  59         enum dprc_region_type mc_region_type;
  60         u64 start_mc_offset;
  61         u64 end_mc_offset;
  62         phys_addr_t start_phys_addr;
  63 };
  64
  65 #define FSL_MC_GCR1     0x0
  66 #define GCR1_P1_STOP    BIT(31)
  67 #define GCR1_P2_STOP    BIT(30)
  68
  69 #define FSL_MC_FAPR     0x28
  70 #define MC_FAPR_PL      BIT(18)
  71 #define MC_FAPR_BMT     BIT(17)
  72
  73 static phys_addr_t mc_portal_base_phys_addr;
  74
  75 /**
  76  * fsl_mc_bus_match - device to driver matching callback
  77  * @dev: the fsl-mc device to match against
  78  * @drv: the device driver to search for matching fsl-mc object type
  79  * structures
  80  *
  81  * Returns 1 on success, 0 otherwise.
  82  */
  83 static int fsl_mc_bus_match(struct device *dev, struct device_driver *drv)
  84 {
  85         const struct fsl_mc_device_id *id;
  86         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
  87         struct fsl_mc_driver *mc_drv = to_fsl_mc_driver(drv);
  88         bool found = false;
  89
  90         /* When driver_override is set, only bind to the matching driver */
  91         if (mc_dev->driver_override) {
  92                 found = !strcmp(mc_dev->driver_override, mc_drv->driver.name);
  93                 goto out;
  94         }
  95
  96         if (!mc_drv->match_id_table)
  97                 goto out;
  98
  99         /*
 100          * If the object is not 'plugged' don't match.
 101          * Only exception is the root DPRC, which is a special case.
 102          */
 103         if ((mc_dev->obj_desc.state & FSL_MC_OBJ_STATE_PLUGGED) == 0 &&
 104             !fsl_mc_is_root_dprc(&mc_dev->dev))
 105                 goto out;
 106
 107         /*
 108          * Traverse the match_id table of the given driver, trying to find
 109          * a matching for the given device.
 110          */
 111         for (id = mc_drv->match_id_table; id->vendor != 0x0; id++) {
 112                 if (id->vendor == mc_dev->obj_desc.vendor &&
 113                     strcmp(id->obj_type, mc_dev->obj_desc.type) == 0) {
 114                         found = true;
 115
 116                         break;
 117                 }
 118         }
 119
 120 out:
 121         dev_dbg(dev, "%smatched\n", found ? "" : "not ");
 122         return found;
 123 }
 124
 125 /*
 126  * fsl_mc_bus_uevent - callback invoked when a device is added
 127  */
 128 static int fsl_mc_bus_uevent(struct device *dev, struct kobj_uevent_env *env)
 129 {
 130         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 131
 132         if (add_uevent_var(env, "MODALIAS=fsl-mc:v%08Xd%s",
 133                            mc_dev->obj_desc.vendor,
 134                            mc_dev->obj_desc.type))
 135                 return -ENOMEM;
 136
 137         return 0;
 138 }
 139
 140 static int fsl_mc_dma_configure(struct device *dev)
 141 {
 142         struct device *dma_dev = dev;
 143         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 144         struct fsl_mc_driver *mc_drv = to_fsl_mc_driver(dev->driver);
 145         u32 input_id = mc_dev->icid;
 146         int ret;
 147
 148         while (dev_is_fsl_mc(dma_dev))
 149                 dma_dev = dma_dev->parent;
 150
 151         if (dev_of_node(dma_dev))
 152                 ret = of_dma_configure_id(dev, dma_dev->of_node, 0, &input_id);
 153         else
 154                 ret = acpi_dma_configure_id(dev, DEV_DMA_COHERENT, &input_id);
 155
 156         if (!ret && !mc_drv->driver_managed_dma) {
 157                 ret = iommu_device_use_default_domain(dev);
 158                 if (ret)
 159                         arch_teardown_dma_ops(dev);
 160         }
 161
 162         return ret;
 163 }
 164
 165 static void fsl_mc_dma_cleanup(struct device *dev)
 166 {
 167         struct fsl_mc_driver *mc_drv = to_fsl_mc_driver(dev->driver);
 168
 169         if (!mc_drv->driver_managed_dma)
 170                 iommu_device_unuse_default_domain(dev);
 171 }
 172
 173 static ssize_t modalias_show(struct device *dev, struct device_attribute *attr,
 174                              char *buf)
 175 {
 176         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 177
 178         return sprintf(buf, "fsl-mc:v%08Xd%s\n", mc_dev->obj_desc.vendor,
 179                        mc_dev->obj_desc.type);
 180 }
 181 static DEVICE_ATTR_RO(modalias);
 182
 183 static ssize_t driver_override_store(struct device *dev,
 184                                      struct device_attribute *attr,
 185                                      const char *buf, size_t count)
 186 {
 187         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 188         int ret;
 189
 190         if (WARN_ON(dev->bus != &fsl_mc_bus_type))
 191                 return -EINVAL;
 192
 193         ret = driver_set_override(dev, &mc_dev->driver_override, buf, count);
 194         if (ret)
 195                 return ret;
 196
 197         return count;
 198 }
 199
 200 static ssize_t driver_override_show(struct device *dev,
 201                                     struct device_attribute *attr, char *buf)
 202 {
 203         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 204
 205         return snprintf(buf, PAGE_SIZE, "%s\n", mc_dev->driver_override);
 206 }
 207 static DEVICE_ATTR_RW(driver_override);
 208
 209 static struct attribute *fsl_mc_dev_attrs[] = {
 210         &dev_attr_modalias.attr,
 211         &dev_attr_driver_override.attr,
 212         NULL,
 213 };
 214
 215 ATTRIBUTE_GROUPS(fsl_mc_dev);
 216
 217 static int scan_fsl_mc_bus(struct device *dev, void *data)
 218 {
 219         struct fsl_mc_device *root_mc_dev;
 220         struct fsl_mc_bus *root_mc_bus;
 221
 222         if (!fsl_mc_is_root_dprc(dev))
 223                 goto exit;
 224
 225         root_mc_dev = to_fsl_mc_device(dev);
 226         root_mc_bus = to_fsl_mc_bus(root_mc_dev);
 227         mutex_lock(&root_mc_bus->scan_mutex);
 228         dprc_scan_objects(root_mc_dev, false);
 229         mutex_unlock(&root_mc_bus->scan_mutex);
 230
 231 exit:
 232         return 0;
 233 }
 234
 235 static ssize_t rescan_store(struct bus_type *bus,
 236                             const char *buf, size_t count)
 237 {
 238         unsigned long val;
 239
 240         if (kstrtoul(buf, 0, &val) < 0)
 241                 return -EINVAL;
 242
 243         if (val)
 244                 bus_for_each_dev(bus, NULL, NULL, scan_fsl_mc_bus);
 245
 246         return count;
 247 }
 248 static BUS_ATTR_WO(rescan);
 249
 250 static int fsl_mc_bus_set_autorescan(struct device *dev, void *data)
 251 {
 252         struct fsl_mc_device *root_mc_dev;
 253         unsigned long val;
 254         char *buf = data;
 255
 256         if (!fsl_mc_is_root_dprc(dev))
 257                 goto exit;
 258
 259         root_mc_dev = to_fsl_mc_device(dev);
 260
 261         if (kstrtoul(buf, 0, &val) < 0)
 262                 return -EINVAL;
 263
 264         if (val)
 265                 enable_dprc_irq(root_mc_dev);
 266         else
 267                 disable_dprc_irq(root_mc_dev);
 268
 269 exit:
 270         return 0;
 271 }
 272
 273 static int fsl_mc_bus_get_autorescan(struct device *dev, void *data)
 274 {
 275         struct fsl_mc_device *root_mc_dev;
 276         char *buf = data;
 277
 278         if (!fsl_mc_is_root_dprc(dev))
 279                 goto exit;
 280
 281         root_mc_dev = to_fsl_mc_device(dev);
 282
 283         sprintf(buf, "%d\n", get_dprc_irq_state(root_mc_dev));
 284 exit:
 285         return 0;
 286 }
 287
 288 static ssize_t autorescan_store(struct bus_type *bus,
 289                                 const char *buf, size_t count)
 290 {
 291         bus_for_each_dev(bus, NULL, (void *)buf, fsl_mc_bus_set_autorescan);
 292
 293         return count;
 294 }
 295
 296 static ssize_t autorescan_show(struct bus_type *bus, char *buf)
 297 {
 298         bus_for_each_dev(bus, NULL, (void *)buf, fsl_mc_bus_get_autorescan);
 299         return strlen(buf);
 300 }
 301
 302 static BUS_ATTR_RW(autorescan);
 303
 304 static struct attribute *fsl_mc_bus_attrs[] = {
 305         &bus_attr_rescan.attr,
 306         &bus_attr_autorescan.attr,
 307         NULL,
 308 };
 309
 310 ATTRIBUTE_GROUPS(fsl_mc_bus);
 311
 312 struct bus_type fsl_mc_bus_type = {
 313         .name = "fsl-mc",
 314         .match = fsl_mc_bus_match,
 315         .uevent = fsl_mc_bus_uevent,
 316         .dma_configure  = fsl_mc_dma_configure,
 317         .dma_cleanup = fsl_mc_dma_cleanup,
 318         .dev_groups = fsl_mc_dev_groups,
 319         .bus_groups = fsl_mc_bus_groups,
 320 };
 321 EXPORT_SYMBOL_GPL(fsl_mc_bus_type);
 322
 323 struct device_type fsl_mc_bus_dprc_type = {
 324         .name = "fsl_mc_bus_dprc"
 325 };
 326 EXPORT_SYMBOL_GPL(fsl_mc_bus_dprc_type);
 327
 328 struct device_type fsl_mc_bus_dpni_type = {
 329         .name = "fsl_mc_bus_dpni"
 330 };
 331 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpni_type);
 332
 333 struct device_type fsl_mc_bus_dpio_type = {
 334         .name = "fsl_mc_bus_dpio"
 335 };
 336 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpio_type);
 337
 338 struct device_type fsl_mc_bus_dpsw_type = {
 339         .name = "fsl_mc_bus_dpsw"
 340 };
 341 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpsw_type);
 342
 343 struct device_type fsl_mc_bus_dpbp_type = {
 344         .name = "fsl_mc_bus_dpbp"
 345 };
 346 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpbp_type);
 347
 348 struct device_type fsl_mc_bus_dpcon_type = {
 349         .name = "fsl_mc_bus_dpcon"
 350 };
 351 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpcon_type);
 352
 353 struct device_type fsl_mc_bus_dpmcp_type = {
 354         .name = "fsl_mc_bus_dpmcp"
 355 };
 356 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpmcp_type);
 357
 358 struct device_type fsl_mc_bus_dpmac_type = {
 359         .name = "fsl_mc_bus_dpmac"
 360 };
 361 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpmac_type);
 362
 363 struct device_type fsl_mc_bus_dprtc_type = {
 364         .name = "fsl_mc_bus_dprtc"
 365 };
 366 EXPORT_SYMBOL_GPL(fsl_mc_bus_dprtc_type);
 367
 368 struct device_type fsl_mc_bus_dpseci_type = {
 369         .name = "fsl_mc_bus_dpseci"
 370 };
 371 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpseci_type);
 372
 373 struct device_type fsl_mc_bus_dpdmux_type = {
 374         .name = "fsl_mc_bus_dpdmux"
 375 };
 376 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpdmux_type);
 377
 378 struct device_type fsl_mc_bus_dpdcei_type = {
 379         .name = "fsl_mc_bus_dpdcei"
 380 };
 381 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpdcei_type);
 382
 383 struct device_type fsl_mc_bus_dpaiop_type = {
 384         .name = "fsl_mc_bus_dpaiop"
 385 };
 386 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpaiop_type);
 387
 388 struct device_type fsl_mc_bus_dpci_type = {
 389         .name = "fsl_mc_bus_dpci"
 390 };
 391 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpci_type);
 392
 393 struct device_type fsl_mc_bus_dpdmai_type = {
 394         .name = "fsl_mc_bus_dpdmai"
 395 };
 396 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpdmai_type);
 397
 398 struct device_type fsl_mc_bus_dpdbg_type = {
 399         .name = "fsl_mc_bus_dpdbg"
 400 };
 401 EXPORT_SYMBOL_GPL(fsl_mc_bus_dpdbg_type);
 402
 403 static struct device_type *fsl_mc_get_device_type(const char *type)
 404 {
 405         static const struct {
 406                 struct device_type *dev_type;
 407                 const char *type;
 408         } dev_types[] = {
 409                 { &fsl_mc_bus_dprc_type, "dprc" },
 410                 { &fsl_mc_bus_dpni_type, "dpni" },
 411                 { &fsl_mc_bus_dpio_type, "dpio" },
 412                 { &fsl_mc_bus_dpsw_type, "dpsw" },
 413                 { &fsl_mc_bus_dpbp_type, "dpbp" },
 414                 { &fsl_mc_bus_dpcon_type, "dpcon" },
 415                 { &fsl_mc_bus_dpmcp_type, "dpmcp" },
 416                 { &fsl_mc_bus_dpmac_type, "dpmac" },
 417                 { &fsl_mc_bus_dprtc_type, "dprtc" },
 418                 { &fsl_mc_bus_dpseci_type, "dpseci" },
 419                 { &fsl_mc_bus_dpdmux_type, "dpdmux" },
 420                 { &fsl_mc_bus_dpdcei_type, "dpdcei" },
 421                 { &fsl_mc_bus_dpaiop_type, "dpaiop" },
 422                 { &fsl_mc_bus_dpci_type, "dpci" },
 423                 { &fsl_mc_bus_dpdmai_type, "dpdmai" },
 424                 { &fsl_mc_bus_dpdbg_type, "dpdbg" },
 425                 { NULL, NULL }
 426         };
 427         int i;
 428
 429         for (i = 0; dev_types[i].dev_type; i++)
 430                 if (!strcmp(dev_types[i].type, type))
 431                         return dev_types[i].dev_type;
 432
 433         return NULL;
 434 }
 435
 436 static int fsl_mc_driver_probe(struct device *dev)
 437 {
 438         struct fsl_mc_driver *mc_drv;
 439         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 440         int error;
 441
 442         mc_drv = to_fsl_mc_driver(dev->driver);
 443
 444         error = mc_drv->probe(mc_dev);
 445         if (error < 0) {
 446                 if (error != -EPROBE_DEFER)
 447                         dev_err(dev, "%s failed: %d\n", __func__, error);
 448                 return error;
 449         }
 450
 451         return 0;
 452 }
 453
 454 static int fsl_mc_driver_remove(struct device *dev)
 455 {
 456         struct fsl_mc_driver *mc_drv = to_fsl_mc_driver(dev->driver);
 457         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 458         int error;
 459
 460         error = mc_drv->remove(mc_dev);
 461         if (error < 0) {
 462                 dev_err(dev, "%s failed: %d\n", __func__, error);
 463                 return error;
 464         }
 465
 466         return 0;
 467 }
 468
 469 static void fsl_mc_driver_shutdown(struct device *dev)
 470 {
 471         struct fsl_mc_driver *mc_drv = to_fsl_mc_driver(dev->driver);
 472         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 473
 474         mc_drv->shutdown(mc_dev);
 475 }
 476
 477 /*
 478  * __fsl_mc_driver_register - registers a child device driver with the
 479  * MC bus
 480  *
 481  * This function is implicitly invoked from the registration function of
 482  * fsl_mc device drivers, which is generated by the
 483  * module_fsl_mc_driver() macro.
 484  */
 485 int __fsl_mc_driver_register(struct fsl_mc_driver *mc_driver,
 486                              struct module *owner)
 487 {
 488         int error;
 489
 490         mc_driver->driver.owner = owner;
 491         mc_driver->driver.bus = &fsl_mc_bus_type;
 492
 493         if (mc_driver->probe)
 494                 mc_driver->driver.probe = fsl_mc_driver_probe;
 495
 496         if (mc_driver->remove)
 497                 mc_driver->driver.remove = fsl_mc_driver_remove;
 498
 499         if (mc_driver->shutdown)
 500                 mc_driver->driver.shutdown = fsl_mc_driver_shutdown;
 501
 502         error = driver_register(&mc_driver->driver);
 503         if (error < 0) {
 504                 pr_err("driver_register() failed for %s: %d\n",
 505                        mc_driver->driver.name, error);
 506                 return error;
 507         }
 508
 509         return 0;
 510 }
 511 EXPORT_SYMBOL_GPL(__fsl_mc_driver_register);
 512
 513 /*
 514  * fsl_mc_driver_unregister - unregisters a device driver from the
 515  * MC bus
 516  */
 517 void fsl_mc_driver_unregister(struct fsl_mc_driver *mc_driver)
 518 {
 519         driver_unregister(&mc_driver->driver);
 520 }
 521 EXPORT_SYMBOL_GPL(fsl_mc_driver_unregister);
 522
 523 /**
 524  * mc_get_version() - Retrieves the Management Complex firmware
 525  *                      version information
 526  * @mc_io:              Pointer to opaque I/O object
 527  * @cmd_flags:          Command flags; one or more of 'MC_CMD_FLAG_'
 528  * @mc_ver_info:        Returned version information structure
 529  *
 530  * Return:      '0' on Success; Error code otherwise.
 531  */
 532 static int mc_get_version(struct fsl_mc_io *mc_io,
 533                           u32 cmd_flags,
 534                           struct fsl_mc_version *mc_ver_info)
 535 {
 536         struct fsl_mc_command cmd = { 0 };
 537         struct dpmng_rsp_get_version *rsp_params;
 538         int err;
 539
 540         /* prepare command */
 541         cmd.header = mc_encode_cmd_header(DPMNG_CMDID_GET_VERSION,
 542                                           cmd_flags,
 543                                           0);
 544
 545         /* send command to mc*/
 546         err = mc_send_command(mc_io, &cmd);
 547         if (err)
 548                 return err;
 549
 550         /* retrieve response parameters */
 551         rsp_params = (struct dpmng_rsp_get_version *)cmd.params;
 552         mc_ver_info->revision = le32_to_cpu(rsp_params->revision);
 553         mc_ver_info->major = le32_to_cpu(rsp_params->version_major);
 554         mc_ver_info->minor = le32_to_cpu(rsp_params->version_minor);
 555
 556         return 0;
 557 }
 558
 559 /**
 560  * fsl_mc_get_version - function to retrieve the MC f/w version information
 561  *
 562  * Return:      mc version when called after fsl-mc-bus probe; NULL otherwise.
 563  */
 564 struct fsl_mc_version *fsl_mc_get_version(void)
 565 {
 566         if (mc_version.major)
 567                 return &mc_version;
 568
 569         return NULL;
 570 }
 571 EXPORT_SYMBOL_GPL(fsl_mc_get_version);
 572
 573 /*
 574  * fsl_mc_get_root_dprc - function to traverse to the root dprc
 575  */
 576 void fsl_mc_get_root_dprc(struct device *dev,
 577                          struct device **root_dprc_dev)
 578 {
 579         if (!dev) {
 580                 *root_dprc_dev = NULL;
 581         } else if (!dev_is_fsl_mc(dev)) {
 582                 *root_dprc_dev = NULL;
 583         } else {
 584                 *root_dprc_dev = dev;
 585                 while (dev_is_fsl_mc((*root_dprc_dev)->parent))
 586                         *root_dprc_dev = (*root_dprc_dev)->parent;
 587         }
 588 }
 589
 590 static int get_dprc_attr(struct fsl_mc_io *mc_io,
 591                          int container_id, struct dprc_attributes *attr)
 592 {
 593         u16 dprc_handle;
 594         int error;
 595
 596         error = dprc_open(mc_io, 0, container_id, &dprc_handle);
 597         if (error < 0) {
 598                 dev_err(mc_io->dev, "dprc_open() failed: %d\n", error);
 599                 return error;
 600         }
 601
 602         memset(attr, 0, sizeof(struct dprc_attributes));
 603         error = dprc_get_attributes(mc_io, 0, dprc_handle, attr);
 604         if (error < 0) {
 605                 dev_err(mc_io->dev, "dprc_get_attributes() failed: %d\n",
 606                         error);
 607                 goto common_cleanup;
 608         }
 609
 610         error = 0;
 611
 612 common_cleanup:
 613         (void)dprc_close(mc_io, 0, dprc_handle);
 614         return error;
 615 }
 616
 617 static int get_dprc_icid(struct fsl_mc_io *mc_io,
 618                          int container_id, u32 *icid)
 619 {
 620         struct dprc_attributes attr;
 621         int error;
 622
 623         error = get_dprc_attr(mc_io, container_id, &attr);
 624         if (error == 0)
 625                 *icid = attr.icid;
 626
 627         return error;
 628 }
 629
 630 static int translate_mc_addr(struct fsl_mc_device *mc_dev,
 631                              enum dprc_region_type mc_region_type,
 632                              u64 mc_offset, phys_addr_t *phys_addr)
 633 {
 634         int i;
 635         struct device *root_dprc_dev;
 636         struct fsl_mc *mc;
 637
 638         fsl_mc_get_root_dprc(&mc_dev->dev, &root_dprc_dev);
 639         mc = dev_get_drvdata(root_dprc_dev->parent);
 640
 641         if (mc->num_translation_ranges == 0) {
 642                 /*
 643                  * Do identity mapping:
 644                  */
 645                 *phys_addr = mc_offset;
 646                 return 0;
 647         }
 648
 649         for (i = 0; i < mc->num_translation_ranges; i++) {
 650                 struct fsl_mc_addr_translation_range *range =
 651                         &mc->translation_ranges[i];
 652
 653                 if (mc_region_type == range->mc_region_type &&
 654                     mc_offset >= range->start_mc_offset &&
 655                     mc_offset < range->end_mc_offset) {
 656                         *phys_addr = range->start_phys_addr +
 657                                      (mc_offset - range->start_mc_offset);
 658                         return 0;
 659                 }
 660         }
 661
 662         return -EFAULT;
 663 }
 664
 665 static int fsl_mc_device_get_mmio_regions(struct fsl_mc_device *mc_dev,
 666                                           struct fsl_mc_device *mc_bus_dev)
 667 {
 668         int i;
 669         int error;
 670         struct resource *regions;
 671         struct fsl_mc_obj_desc *obj_desc = &mc_dev->obj_desc;
 672         struct device *parent_dev = mc_dev->dev.parent;
 673         enum dprc_region_type mc_region_type;
 674
 675         if (is_fsl_mc_bus_dprc(mc_dev) ||
 676             is_fsl_mc_bus_dpmcp(mc_dev)) {
 677                 mc_region_type = DPRC_REGION_TYPE_MC_PORTAL;
 678         } else if (is_fsl_mc_bus_dpio(mc_dev)) {
 679                 mc_region_type = DPRC_REGION_TYPE_QBMAN_PORTAL;
 680         } else {
 681                 /*
 682                  * This function should not have been called for this MC object
 683                  * type, as this object type is not supposed to have MMIO
 684                  * regions
 685                  */
 686                 return -EINVAL;
 687         }
 688
 689         regions = kmalloc_array(obj_desc->region_count,
 690                                 sizeof(regions[0]), GFP_KERNEL);
 691         if (!regions)
 692                 return -ENOMEM;
 693
 694         for (i = 0; i < obj_desc->region_count; i++) {
 695                 struct dprc_region_desc region_desc;
 696
 697                 error = dprc_get_obj_region(mc_bus_dev->mc_io,
 698                                             0,
 699                                             mc_bus_dev->mc_handle,
 700                                             obj_desc->type,
 701                                             obj_desc->id, i, &region_desc);
 702                 if (error < 0) {
 703                         dev_err(parent_dev,
 704                                 "dprc_get_obj_region() failed: %d\n", error);
 705                         goto error_cleanup_regions;
 706                 }
 707                 /*
 708                  * Older MC only returned region offset and no base address
 709                  * If base address is in the region_desc use it otherwise
 710                  * revert to old mechanism
 711                  */
 712                 if (region_desc.base_address) {
 713                         regions[i].start = region_desc.base_address +
 714                                                 region_desc.base_offset;
 715                 } else {
 716                         error = translate_mc_addr(mc_dev, mc_region_type,
 717                                           region_desc.base_offset,
 718                                           &regions[i].start);
 719
 720                         /*
 721                          * Some versions of the MC firmware wrongly report
 722                          * 0 for register base address of the DPMCP associated
 723                          * with child DPRC objects thus rendering them unusable.
 724                          * This is particularly troublesome in ACPI boot
 725                          * scenarios where the legacy way of extracting this
 726                          * base address from the device tree does not apply.
 727                          * Given that DPMCPs share the same base address,
 728                          * workaround this by using the base address extracted
 729                          * from the root DPRC container.
 730                          */
 731                         if (is_fsl_mc_bus_dprc(mc_dev) &&
 732                             regions[i].start == region_desc.base_offset)
 733                                 regions[i].start += mc_portal_base_phys_addr;
 734                 }
 735
 736                 if (error < 0) {
 737                         dev_err(parent_dev,
 738                                 "Invalid MC offset: %#x (for %s.%d\'s region %d)\n",
 739                                 region_desc.base_offset,
 740                                 obj_desc->type, obj_desc->id, i);
 741                         goto error_cleanup_regions;
 742                 }
 743
 744                 regions[i].end = regions[i].start + region_desc.size - 1;
 745                 regions[i].name = "fsl-mc object MMIO region";
 746                 regions[i].flags = region_desc.flags & IORESOURCE_BITS;
 747                 regions[i].flags |= IORESOURCE_MEM;
 748         }
 749
 750         mc_dev->regions = regions;
 751         return 0;
 752
 753 error_cleanup_regions:
 754         kfree(regions);
 755         return error;
 756 }
 757
 758 /*
 759  * fsl_mc_is_root_dprc - function to check if a given device is a root dprc
 760  */
 761 bool fsl_mc_is_root_dprc(struct device *dev)
 762 {
 763         struct device *root_dprc_dev;
 764
 765         fsl_mc_get_root_dprc(dev, &root_dprc_dev);
 766         if (!root_dprc_dev)
 767                 return false;
 768         return dev == root_dprc_dev;
 769 }
 770
 771 static void fsl_mc_device_release(struct device *dev)
 772 {
 773         struct fsl_mc_device *mc_dev = to_fsl_mc_device(dev);
 774
 775         kfree(mc_dev->regions);
 776
 777         if (is_fsl_mc_bus_dprc(mc_dev))
 778                 kfree(to_fsl_mc_bus(mc_dev));
 779         else
 780                 kfree(mc_dev);
 781 }
 782
 783 /*
 784  * Add a newly discovered fsl-mc device to be visible in Linux
 785  */
 786 int fsl_mc_device_add(struct fsl_mc_obj_desc *obj_desc,
 787                       struct fsl_mc_io *mc_io,
 788                       struct device *parent_dev,
 789                       struct fsl_mc_device **new_mc_dev)
 790 {
 791         int error;
 792         struct fsl_mc_device *mc_dev = NULL;
 793         struct fsl_mc_bus *mc_bus = NULL;
 794         struct fsl_mc_device *parent_mc_dev;
 795
 796         if (dev_is_fsl_mc(parent_dev))
 797                 parent_mc_dev = to_fsl_mc_device(parent_dev);
 798         else
 799                 parent_mc_dev = NULL;
 800
 801         if (strcmp(obj_desc->type, "dprc") == 0) {
 802                 /*
 803                  * Allocate an MC bus device object:
 804                  */
 805                 mc_bus = kzalloc(sizeof(*mc_bus), GFP_KERNEL);
 806                 if (!mc_bus)
 807                         return -ENOMEM;
 808
 809                 mutex_init(&mc_bus->scan_mutex);
 810                 mc_dev = &mc_bus->mc_dev;
 811         } else {
 812                 /*
 813                  * Allocate a regular fsl_mc_device object:
 814                  */
 815                 mc_dev = kzalloc(sizeof(*mc_dev), GFP_KERNEL);
 816                 if (!mc_dev)
 817                         return -ENOMEM;
 818         }
 819
 820         mc_dev->obj_desc = *obj_desc;
 821         mc_dev->mc_io = mc_io;
 822         device_initialize(&mc_dev->dev);
 823         mc_dev->dev.parent = parent_dev;
 824         mc_dev->dev.bus = &fsl_mc_bus_type;
 825         mc_dev->dev.release = fsl_mc_device_release;
 826         mc_dev->dev.type = fsl_mc_get_device_type(obj_desc->type);
 827         if (!mc_dev->dev.type) {
 828                 error = -ENODEV;
 829                 dev_err(parent_dev, "unknown device type %s\n", obj_desc->type);
 830                 goto error_cleanup_dev;
 831         }
 832         dev_set_name(&mc_dev->dev, "%s.%d", obj_desc->type, obj_desc->id);
 833
 834         if (strcmp(obj_desc->type, "dprc") == 0) {
 835                 struct fsl_mc_io *mc_io2;
 836
 837                 mc_dev->flags |= FSL_MC_IS_DPRC;
 838
 839                 /*
 840                  * To get the DPRC's ICID, we need to open the DPRC
 841                  * in get_dprc_icid(). For child DPRCs, we do so using the
 842                  * parent DPRC's MC portal instead of the child DPRC's MC
 843                  * portal, in case the child DPRC is already opened with
 844                  * its own portal (e.g., the DPRC used by AIOP).
 845                  *
 846                  * NOTE: There cannot be more than one active open for a
 847                  * given MC object, using the same MC portal.
 848                  */
 849                 if (parent_mc_dev) {
 850                         /*
 851                          * device being added is a child DPRC device
 852                          */
 853                         mc_io2 = parent_mc_dev->mc_io;
 854                 } else {
 855                         /*
 856                          * device being added is the root DPRC device
 857                          */
 858                         if (!mc_io) {
 859                                 error = -EINVAL;
 860                                 goto error_cleanup_dev;
 861                         }
 862
 863                         mc_io2 = mc_io;
 864                 }
 865
 866                 error = get_dprc_icid(mc_io2, obj_desc->id, &mc_dev->icid);
 867                 if (error < 0)
 868                         goto error_cleanup_dev;
 869         } else {
 870                 /*
 871                  * A non-DPRC object has to be a child of a DPRC, use the
 872                  * parent's ICID and interrupt domain.
 873                  */
 874                 mc_dev->icid = parent_mc_dev->icid;
 875                 mc_dev->dma_mask = FSL_MC_DEFAULT_DMA_MASK;
 876                 mc_dev->dev.dma_mask = &mc_dev->dma_mask;
 877                 mc_dev->dev.coherent_dma_mask = mc_dev->dma_mask;
 878                 dev_set_msi_domain(&mc_dev->dev,
 879                                    dev_get_msi_domain(&parent_mc_dev->dev));
 880         }
 881
 882         /*
 883          * Get MMIO regions for the device from the MC:
 884          *
 885          * NOTE: the root DPRC is a special case as its MMIO region is
 886          * obtained from the device tree
 887          */
 888         if (parent_mc_dev && obj_desc->region_count != 0) {
 889                 error = fsl_mc_device_get_mmio_regions(mc_dev,
 890                                                        parent_mc_dev);
 891                 if (error < 0)
 892                         goto error_cleanup_dev;
 893         }
 894
 895         /*
 896          * The device-specific probe callback will get invoked by device_add()
 897          */
 898         error = device_add(&mc_dev->dev);
 899         if (error < 0) {
 900                 dev_err(parent_dev,
 901                         "device_add() failed for device %s: %d\n",
 902                         dev_name(&mc_dev->dev), error);
 903                 goto error_cleanup_dev;
 904         }
 905
 906         dev_dbg(parent_dev, "added %s\n", dev_name(&mc_dev->dev));
 907
 908         *new_mc_dev = mc_dev;
 909         return 0;
 910
 911 error_cleanup_dev:
 912         kfree(mc_dev->regions);
 913         kfree(mc_bus);
 914         kfree(mc_dev);
 915
 916         return error;
 917 }
 918 EXPORT_SYMBOL_GPL(fsl_mc_device_add);
 919
 920 static struct notifier_block fsl_mc_nb;
 921
 922 /**
 923  * fsl_mc_device_remove - Remove an fsl-mc device from being visible to
 924  * Linux
 925  *
 926  * @mc_dev: Pointer to an fsl-mc device
 927  */
 928 void fsl_mc_device_remove(struct fsl_mc_device *mc_dev)
 929 {
 930         kfree(mc_dev->driver_override);
 931         mc_dev->driver_override = NULL;
 932
 933         /*
 934          * The device-specific remove callback will get invoked by device_del()
 935          */
 936         device_del(&mc_dev->dev);
 937         put_device(&mc_dev->dev);
 938 }
 939 EXPORT_SYMBOL_GPL(fsl_mc_device_remove);
 940
 941 struct fsl_mc_device *fsl_mc_get_endpoint(struct fsl_mc_device *mc_dev,
 942                                           u16 if_id)
 943 {
 944         struct fsl_mc_device *mc_bus_dev, *endpoint;
 945         struct fsl_mc_obj_desc endpoint_desc = {{ 0 }};
 946         struct dprc_endpoint endpoint1 = {{ 0 }};
 947         struct dprc_endpoint endpoint2 = {{ 0 }};
 948         int state, err;
 949
 950         mc_bus_dev = to_fsl_mc_device(mc_dev->dev.parent);
 951         strcpy(endpoint1.type, mc_dev->obj_desc.type);
 952         endpoint1.id = mc_dev->obj_desc.id;
 953         endpoint1.if_id = if_id;
 954
 955         err = dprc_get_connection(mc_bus_dev->mc_io, 0,
 956                                   mc_bus_dev->mc_handle,
 957                                   &endpoint1, &endpoint2,
 958                                   &state);
 959
 960         if (err == -ENOTCONN || state == -1)
 961                 return ERR_PTR(-ENOTCONN);
 962
 963         if (err < 0) {
 964                 dev_err(&mc_bus_dev->dev, "dprc_get_connection() = %d\n", err);
 965                 return ERR_PTR(err);
 966         }
 967
 968         strcpy(endpoint_desc.type, endpoint2.type);
 969         endpoint_desc.id = endpoint2.id;
 970         endpoint = fsl_mc_device_lookup(&endpoint_desc, mc_bus_dev);
 971
 972         /*
 973          * We know that the device has an endpoint because we verified by
 974          * interrogating the firmware. This is the case when the device was not
 975          * yet discovered by the fsl-mc bus, thus the lookup returned NULL.
 976          * Force a rescan of the devices in this container and retry the lookup.
 977          */
 978         if (!endpoint) {
 979                 struct fsl_mc_bus *mc_bus = to_fsl_mc_bus(mc_bus_dev);
 980
 981                 if (mutex_trylock(&mc_bus->scan_mutex)) {
 982                         err = dprc_scan_objects(mc_bus_dev, true);
 983                         mutex_unlock(&mc_bus->scan_mutex);
 984                 }
 985
 986                 if (err < 0)
 987                         return ERR_PTR(err);
 988         }
 989
 990         endpoint = fsl_mc_device_lookup(&endpoint_desc, mc_bus_dev);
 991         /*
 992          * This means that the endpoint might reside in a different isolation
 993          * context (DPRC/container). Not much to do, so return a permssion
 994          * error.
 995          */
 996         if (!endpoint)
 997                 return ERR_PTR(-EPERM);
 998
 999         return endpoint;
1000 }
1001 EXPORT_SYMBOL_GPL(fsl_mc_get_endpoint);
1002
1003 static int parse_mc_ranges(struct device *dev,
1004                            int *paddr_cells,
1005                            int *mc_addr_cells,
1006                            int *mc_size_cells,
1007                            const __be32 **ranges_start)
1008 {
1009         const __be32 *prop;
1010         int range_tuple_cell_count;
1011         int ranges_len;
1012         int tuple_len;
1013         struct device_node *mc_node = dev->of_node;
1014
1015         *ranges_start = of_get_property(mc_node, "ranges", &ranges_len);
1016         if (!(*ranges_start) || !ranges_len) {
1017                 dev_warn(dev,
1018                          "missing or empty ranges property for device tree node '%pOFn'\n",
1019                          mc_node);
1020                 return 0;
1021         }
1022
1023         *paddr_cells = of_n_addr_cells(mc_node);
1024
1025         prop = of_get_property(mc_node, "#address-cells", NULL);
1026         if (prop)
1027                 *mc_addr_cells = be32_to_cpup(prop);
1028         else
1029                 *mc_addr_cells = *paddr_cells;
1030
1031         prop = of_get_property(mc_node, "#size-cells", NULL);
1032         if (prop)
1033                 *mc_size_cells = be32_to_cpup(prop);
1034         else
1035                 *mc_size_cells = of_n_size_cells(mc_node);
1036
1037         range_tuple_cell_count = *paddr_cells + *mc_addr_cells +
1038                                  *mc_size_cells;
1039
1040         tuple_len = range_tuple_cell_count * sizeof(__be32);
1041         if (ranges_len % tuple_len != 0) {
1042                 dev_err(dev, "malformed ranges property '%pOFn'\n", mc_node);
1043                 return -EINVAL;
1044         }
1045
1046         return ranges_len / tuple_len;
1047 }
1048
1049 static int get_mc_addr_translation_ranges(struct device *dev,
1050                                           struct fsl_mc_addr_translation_range
1051                                                 **ranges,
1052                                           u8 *num_ranges)
1053 {
1054         int ret;
1055         int paddr_cells;
1056         int mc_addr_cells;
1057         int mc_size_cells;
1058         int i;
1059         const __be32 *ranges_start;
1060         const __be32 *cell;
1061
1062         ret = parse_mc_ranges(dev,
1063                               &paddr_cells,
1064                               &mc_addr_cells,
1065                               &mc_size_cells,
1066                               &ranges_start);
1067         if (ret < 0)
1068                 return ret;
1069
1070         *num_ranges = ret;
1071         if (!ret) {
1072                 /*
1073                  * Missing or empty ranges property ("ranges;") for the
1074                  * 'fsl,qoriq-mc' node. In this case, identity mapping
1075                  * will be used.
1076                  */
1077                 *ranges = NULL;
1078                 return 0;
1079         }
1080
1081         *ranges = devm_kcalloc(dev, *num_ranges,
1082                                sizeof(struct fsl_mc_addr_translation_range),
1083                                GFP_KERNEL);
1084         if (!(*ranges))
1085                 return -ENOMEM;
1086
1087         cell = ranges_start;
1088         for (i = 0; i < *num_ranges; ++i) {
1089                 struct fsl_mc_addr_translation_range *range = &(*ranges)[i];
1090
1091                 range->mc_region_type = of_read_number(cell, 1);
1092                 range->start_mc_offset = of_read_number(cell + 1,
1093                                                         mc_addr_cells - 1);
1094                 cell += mc_addr_cells;
1095                 range->start_phys_addr = of_read_number(cell, paddr_cells);
1096                 cell += paddr_cells;
1097                 range->end_mc_offset = range->start_mc_offset +
1098                                      of_read_number(cell, mc_size_cells);
1099
1100                 cell += mc_size_cells;
1101         }
1102
1103         return 0;
1104 }
1105
1106 /*
1107  * fsl_mc_bus_probe - callback invoked when the root MC bus is being
1108  * added
1109  */
1110 static int fsl_mc_bus_probe(struct platform_device *pdev)
1111 {
1112         struct fsl_mc_obj_desc obj_desc;
1113         int error;
1114         struct fsl_mc *mc;
1115         struct fsl_mc_device *mc_bus_dev = NULL;
1116         struct fsl_mc_io *mc_io = NULL;
1117         int container_id;
1118         phys_addr_t mc_portal_phys_addr;
1119         u32 mc_portal_size, mc_stream_id;
1120         struct resource *plat_res;
1121
1122         mc = devm_kzalloc(&pdev->dev, sizeof(*mc), GFP_KERNEL);
1123         if (!mc)
1124                 return -ENOMEM;
1125
1126         platform_set_drvdata(pdev, mc);
1127
1128         plat_res = platform_get_resource(pdev, IORESOURCE_MEM, 1);
1129         if (plat_res) {
1130                 mc->fsl_mc_regs = devm_ioremap_resource(&pdev->dev, plat_res);
1131                 if (IS_ERR(mc->fsl_mc_regs))
1132                         return PTR_ERR(mc->fsl_mc_regs);
1133         }
1134
1135         if (mc->fsl_mc_regs) {
1136                 if (IS_ENABLED(CONFIG_ACPI) && !dev_of_node(&pdev->dev)) {
1137                         mc_stream_id = readl(mc->fsl_mc_regs + FSL_MC_FAPR);
1138                         /*
1139                          * HW ORs the PL and BMT bit, places the result in bit
1140                          * 14 of the StreamID and ORs in the ICID. Calculate it
1141                          * accordingly.
1142                          */
1143                         mc_stream_id = (mc_stream_id & 0xffff) |
1144                                 ((mc_stream_id & (MC_FAPR_PL | MC_FAPR_BMT)) ?
1145                                         BIT(14) : 0);
1146                         error = acpi_dma_configure_id(&pdev->dev,
1147                                                       DEV_DMA_COHERENT,
1148                                                       &mc_stream_id);
1149                         if (error == -EPROBE_DEFER)
1150                                 return error;
1151                         if (error)
1152                                 dev_warn(&pdev->dev,
1153                                          "failed to configure dma: %d.\n",
1154                                          error);
1155                 }
1156
1157                 /*
1158                  * Some bootloaders pause the MC firmware before booting the
1159                  * kernel so that MC will not cause faults as soon as the
1160                  * SMMU probes due to the fact that there's no configuration
1161                  * in place for MC.
1162                  * At this point MC should have all its SMMU setup done so make
1163                  * sure it is resumed.
1164                  */
1165                 writel(readl(mc->fsl_mc_regs + FSL_MC_GCR1) &
1166                              (~(GCR1_P1_STOP | GCR1_P2_STOP)),
1167                        mc->fsl_mc_regs + FSL_MC_GCR1);
1168         }
1169
1170         /*
1171          * Get physical address of MC portal for the root DPRC:
1172          */
1173         plat_res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
1174         mc_portal_phys_addr = plat_res->start;
1175         mc_portal_size = resource_size(plat_res);
1176         mc_portal_base_phys_addr = mc_portal_phys_addr & ~0x3ffffff;
1177
1178         error = fsl_create_mc_io(&pdev->dev, mc_portal_phys_addr,
1179                                  mc_portal_size, NULL,
1180                                  FSL_MC_IO_ATOMIC_CONTEXT_PORTAL, &mc_io);
1181         if (error < 0)
1182                 return error;
1183
1184         error = mc_get_version(mc_io, 0, &mc_version);
1185         if (error != 0) {
1186                 dev_err(&pdev->dev,
1187                         "mc_get_version() failed with error %d\n", error);
1188                 goto error_cleanup_mc_io;
1189         }
1190
1191         dev_info(&pdev->dev, "MC firmware version: %u.%u.%u\n",
1192                  mc_version.major, mc_version.minor, mc_version.revision);
1193
1194         if (dev_of_node(&pdev->dev)) {
1195                 error = get_mc_addr_translation_ranges(&pdev->dev,
1196                                                 &mc->translation_ranges,
1197                                                 &mc->num_translation_ranges);
1198                 if (error < 0)
1199                         goto error_cleanup_mc_io;
1200         }
1201
1202         error = dprc_get_container_id(mc_io, 0, &container_id);
1203         if (error < 0) {
1204                 dev_err(&pdev->dev,
1205                         "dprc_get_container_id() failed: %d\n", error);
1206                 goto error_cleanup_mc_io;
1207         }
1208
1209         memset(&obj_desc, 0, sizeof(struct fsl_mc_obj_desc));
1210         error = dprc_get_api_version(mc_io, 0,
1211                                      &obj_desc.ver_major,
1212                                      &obj_desc.ver_minor);
1213         if (error < 0)
1214                 goto error_cleanup_mc_io;
1215
1216         obj_desc.vendor = FSL_MC_VENDOR_FREESCALE;
1217         strcpy(obj_desc.type, "dprc");
1218         obj_desc.id = container_id;
1219         obj_desc.irq_count = 1;
1220         obj_desc.region_count = 0;
1221
1222         error = fsl_mc_device_add(&obj_desc, mc_io, &pdev->dev, &mc_bus_dev);
1223         if (error < 0)
1224                 goto error_cleanup_mc_io;
1225
1226         mc->root_mc_bus_dev = mc_bus_dev;
1227         mc_bus_dev->dev.fwnode = pdev->dev.fwnode;
1228         return 0;
1229
1230 error_cleanup_mc_io:
1231         fsl_destroy_mc_io(mc_io);
1232         return error;
1233 }
1234
1235 /*
1236  * fsl_mc_bus_remove - callback invoked when the root MC bus is being
1237  * removed
1238  */
1239 static int fsl_mc_bus_remove(struct platform_device *pdev)
1240 {
1241         struct fsl_mc *mc = platform_get_drvdata(pdev);
1242         struct fsl_mc_io *mc_io;
1243
1244         if (!fsl_mc_is_root_dprc(&mc->root_mc_bus_dev->dev))
1245                 return -EINVAL;
1246
1247         mc_io = mc->root_mc_bus_dev->mc_io;
1248         fsl_mc_device_remove(mc->root_mc_bus_dev);
1249         fsl_destroy_mc_io(mc_io);
1250
1251         bus_unregister_notifier(&fsl_mc_bus_type, &fsl_mc_nb);
1252
1253         if (mc->fsl_mc_regs) {
1254                 /*
1255                  * Pause the MC firmware so that it doesn't crash in certain
1256                  * scenarios, such as kexec.
1257                  */
1258                 writel(readl(mc->fsl_mc_regs + FSL_MC_GCR1) |
1259                        (GCR1_P1_STOP | GCR1_P2_STOP),
1260                        mc->fsl_mc_regs + FSL_MC_GCR1);
1261         }
1262
1263         return 0;
1264 }
1265
1266 static void fsl_mc_bus_shutdown(struct platform_device *pdev)
1267 {
1268         fsl_mc_bus_remove(pdev);
1269 }
1270
1271 static const struct of_device_id fsl_mc_bus_match_table[] = {
1272         {.compatible = "fsl,qoriq-mc",},
1273         {},
1274 };
1275
1276 MODULE_DEVICE_TABLE(of, fsl_mc_bus_match_table);
1277
1278 static const struct acpi_device_id fsl_mc_bus_acpi_match_table[] = {
1279         {"NXP0008", 0 },
1280         { }
1281 };
1282 MODULE_DEVICE_TABLE(acpi, fsl_mc_bus_acpi_match_table);
1283
1284 static struct platform_driver fsl_mc_bus_driver = {
1285         .driver = {
1286                    .name = "fsl_mc_bus",
1287                    .pm = NULL,
1288                    .of_match_table = fsl_mc_bus_match_table,
1289                    .acpi_match_table = fsl_mc_bus_acpi_match_table,
1290                    },
1291         .probe = fsl_mc_bus_probe,
1292         .remove = fsl_mc_bus_remove,
1293         .shutdown = fsl_mc_bus_shutdown,
1294 };
1295
1296 static int fsl_mc_bus_notifier(struct notifier_block *nb,
1297                                unsigned long action, void *data)
1298 {
1299         struct device *dev = data;
1300         struct resource *res;
1301         void __iomem *fsl_mc_regs;
1302
1303         if (action != BUS_NOTIFY_ADD_DEVICE)
1304                 return 0;
1305
1306         if (!of_match_device(fsl_mc_bus_match_table, dev) &&
1307             !acpi_match_device(fsl_mc_bus_acpi_match_table, dev))
1308                 return 0;
1309
1310         res = platform_get_resource(to_platform_device(dev), IORESOURCE_MEM, 1);
1311         if (!res)
1312                 return 0;
1313
1314         fsl_mc_regs = ioremap(res->start, resource_size(res));
1315         if (!fsl_mc_regs)
1316                 return 0;
1317
1318         /*
1319          * Make sure that the MC firmware is paused before the IOMMU setup for
1320          * it is done or otherwise the firmware will crash right after the SMMU
1321          * gets probed and enabled.
1322          */
1323         writel(readl(fsl_mc_regs + FSL_MC_GCR1) | (GCR1_P1_STOP | GCR1_P2_STOP),
1324                fsl_mc_regs + FSL_MC_GCR1);
1325         iounmap(fsl_mc_regs);
1326
1327         return 0;
1328 }
1329
1330 static struct notifier_block fsl_mc_nb = {
1331         .notifier_call = fsl_mc_bus_notifier,
1332 };
1333
1334 static int __init fsl_mc_bus_driver_init(void)
1335 {
1336         int error;
1337
1338         error = bus_register(&fsl_mc_bus_type);
1339         if (error < 0) {
1340                 pr_err("bus type registration failed: %d\n", error);
1341                 goto error_cleanup_cache;
1342         }
1343
1344         error = platform_driver_register(&fsl_mc_bus_driver);
1345         if (error < 0) {
1346                 pr_err("platform_driver_register() failed: %d\n", error);
1347                 goto error_cleanup_bus;
1348         }
1349
1350         error = dprc_driver_init();
1351         if (error < 0)
1352                 goto error_cleanup_driver;
1353
1354         error = fsl_mc_allocator_driver_init();
1355         if (error < 0)
1356                 goto error_cleanup_dprc_driver;
1357
1358         return bus_register_notifier(&platform_bus_type, &fsl_mc_nb);
1359
1360 error_cleanup_dprc_driver:
1361         dprc_driver_exit();
1362
1363 error_cleanup_driver:
1364         platform_driver_unregister(&fsl_mc_bus_driver);
1365
1366 error_cleanup_bus:
1367         bus_unregister(&fsl_mc_bus_type);
1368
1369 error_cleanup_cache:
1370         return error;
1371 }
1372 postcore_initcall(fsl_mc_bus_driver_init);