Merge branches 'arm/rockchip', 'arm/exynos', 'arm/smmu', 'x86/vt-d', 'x86/amd', ...
[sfrench/cifs-2.6.git] / drivers / bus / mvebu-mbus.c
1 /*
2  * Address map functions for Marvell EBU SoCs (Kirkwood, Armada
3  * 370/XP, Dove, Orion5x and MV78xx0)
4  *
5  * This file is licensed under the terms of the GNU General Public
6  * License version 2.  This program is licensed "as is" without any
7  * warranty of any kind, whether express or implied.
8  *
9  * The Marvell EBU SoCs have a configurable physical address space:
10  * the physical address at which certain devices (PCIe, NOR, NAND,
11  * etc.) sit can be configured. The configuration takes place through
12  * two sets of registers:
13  *
14  * - One to configure the access of the CPU to the devices. Depending
15  *   on the families, there are between 8 and 20 configurable windows,
16  *   each can be use to create a physical memory window that maps to a
17  *   specific device. Devices are identified by a tuple (target,
18  *   attribute).
19  *
20  * - One to configure the access to the CPU to the SDRAM. There are
21  *   either 2 (for Dove) or 4 (for other families) windows to map the
22  *   SDRAM into the physical address space.
23  *
24  * This driver:
25  *
26  * - Reads out the SDRAM address decoding windows at initialization
27  *   time, and fills the mvebu_mbus_dram_info structure with these
28  *   informations. The exported function mv_mbus_dram_info() allow
29  *   device drivers to get those informations related to the SDRAM
30  *   address decoding windows. This is because devices also have their
31  *   own windows (configured through registers that are part of each
32  *   device register space), and therefore the drivers for Marvell
33  *   devices have to configure those device -> SDRAM windows to ensure
34  *   that DMA works properly.
35  *
36  * - Provides an API for platform code or device drivers to
37  *   dynamically add or remove address decoding windows for the CPU ->
38  *   device accesses. This API is mvebu_mbus_add_window_by_id(),
39  *   mvebu_mbus_add_window_remap_by_id() and
40  *   mvebu_mbus_del_window().
41  *
42  * - Provides a debugfs interface in /sys/kernel/debug/mvebu-mbus/ to
43  *   see the list of CPU -> SDRAM windows and their configuration
44  *   (file 'sdram') and the list of CPU -> devices windows and their
45  *   configuration (file 'devices').
46  */
47
48 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
49
50 #include <linux/kernel.h>
51 #include <linux/module.h>
52 #include <linux/init.h>
53 #include <linux/mbus.h>
54 #include <linux/io.h>
55 #include <linux/ioport.h>
56 #include <linux/of.h>
57 #include <linux/of_address.h>
58 #include <linux/debugfs.h>
59 #include <linux/log2.h>
60 #include <linux/syscore_ops.h>
61
62 /*
63  * DDR target is the same on all platforms.
64  */
65 #define TARGET_DDR              0
66
67 /*
68  * CPU Address Decode Windows registers
69  */
70 #define WIN_CTRL_OFF            0x0000
71 #define   WIN_CTRL_ENABLE       BIT(0)
72 /* Only on HW I/O coherency capable platforms */
73 #define   WIN_CTRL_SYNCBARRIER  BIT(1)
74 #define   WIN_CTRL_TGT_MASK     0xf0
75 #define   WIN_CTRL_TGT_SHIFT    4
76 #define   WIN_CTRL_ATTR_MASK    0xff00
77 #define   WIN_CTRL_ATTR_SHIFT   8
78 #define   WIN_CTRL_SIZE_MASK    0xffff0000
79 #define   WIN_CTRL_SIZE_SHIFT   16
80 #define WIN_BASE_OFF            0x0004
81 #define   WIN_BASE_LOW          0xffff0000
82 #define   WIN_BASE_HIGH         0xf
83 #define WIN_REMAP_LO_OFF        0x0008
84 #define   WIN_REMAP_LOW         0xffff0000
85 #define WIN_REMAP_HI_OFF        0x000c
86
87 #define UNIT_SYNC_BARRIER_OFF   0x84
88 #define   UNIT_SYNC_BARRIER_ALL 0xFFFF
89
90 #define ATTR_HW_COHERENCY       (0x1 << 4)
91
92 #define DDR_BASE_CS_OFF(n)      (0x0000 + ((n) << 3))
93 #define  DDR_BASE_CS_HIGH_MASK  0xf
94 #define  DDR_BASE_CS_LOW_MASK   0xff000000
95 #define DDR_SIZE_CS_OFF(n)      (0x0004 + ((n) << 3))
96 #define  DDR_SIZE_ENABLED       BIT(0)
97 #define  DDR_SIZE_CS_MASK       0x1c
98 #define  DDR_SIZE_CS_SHIFT      2
99 #define  DDR_SIZE_MASK          0xff000000
100
101 #define DOVE_DDR_BASE_CS_OFF(n) ((n) << 4)
102
103 /* Relative to mbusbridge_base */
104 #define MBUS_BRIDGE_CTRL_OFF    0x0
105 #define MBUS_BRIDGE_BASE_OFF    0x4
106
107 /* Maximum number of windows, for all known platforms */
108 #define MBUS_WINS_MAX           20
109
110 struct mvebu_mbus_state;
111
112 struct mvebu_mbus_soc_data {
113         unsigned int num_wins;
114         bool has_mbus_bridge;
115         unsigned int (*win_cfg_offset)(const int win);
116         unsigned int (*win_remap_offset)(const int win);
117         void (*setup_cpu_target)(struct mvebu_mbus_state *s);
118         int (*save_cpu_target)(struct mvebu_mbus_state *s,
119                                u32 *store_addr);
120         int (*show_cpu_target)(struct mvebu_mbus_state *s,
121                                struct seq_file *seq, void *v);
122 };
123
124 /*
125  * Used to store the state of one MBus window accross suspend/resume.
126  */
127 struct mvebu_mbus_win_data {
128         u32 ctrl;
129         u32 base;
130         u32 remap_lo;
131         u32 remap_hi;
132 };
133
134 struct mvebu_mbus_state {
135         void __iomem *mbuswins_base;
136         void __iomem *sdramwins_base;
137         void __iomem *mbusbridge_base;
138         phys_addr_t sdramwins_phys_base;
139         struct dentry *debugfs_root;
140         struct dentry *debugfs_sdram;
141         struct dentry *debugfs_devs;
142         struct resource pcie_mem_aperture;
143         struct resource pcie_io_aperture;
144         const struct mvebu_mbus_soc_data *soc;
145         int hw_io_coherency;
146
147         /* Used during suspend/resume */
148         u32 mbus_bridge_ctrl;
149         u32 mbus_bridge_base;
150         struct mvebu_mbus_win_data wins[MBUS_WINS_MAX];
151 };
152
153 static struct mvebu_mbus_state mbus_state;
154
155 static struct mbus_dram_target_info mvebu_mbus_dram_info;
156 const struct mbus_dram_target_info *mv_mbus_dram_info(void)
157 {
158         return &mvebu_mbus_dram_info;
159 }
160 EXPORT_SYMBOL_GPL(mv_mbus_dram_info);
161
162 /* Checks whether the given window has remap capability */
163 static bool mvebu_mbus_window_is_remappable(struct mvebu_mbus_state *mbus,
164                                             const int win)
165 {
166         return mbus->soc->win_remap_offset(win) != MVEBU_MBUS_NO_REMAP;
167 }
168
169 /*
170  * Functions to manipulate the address decoding windows
171  */
172
173 static void mvebu_mbus_read_window(struct mvebu_mbus_state *mbus,
174                                    int win, int *enabled, u64 *base,
175                                    u32 *size, u8 *target, u8 *attr,
176                                    u64 *remap)
177 {
178         void __iomem *addr = mbus->mbuswins_base +
179                 mbus->soc->win_cfg_offset(win);
180         u32 basereg = readl(addr + WIN_BASE_OFF);
181         u32 ctrlreg = readl(addr + WIN_CTRL_OFF);
182
183         if (!(ctrlreg & WIN_CTRL_ENABLE)) {
184                 *enabled = 0;
185                 return;
186         }
187
188         *enabled = 1;
189         *base = ((u64)basereg & WIN_BASE_HIGH) << 32;
190         *base |= (basereg & WIN_BASE_LOW);
191         *size = (ctrlreg | ~WIN_CTRL_SIZE_MASK) + 1;
192
193         if (target)
194                 *target = (ctrlreg & WIN_CTRL_TGT_MASK) >> WIN_CTRL_TGT_SHIFT;
195
196         if (attr)
197                 *attr = (ctrlreg & WIN_CTRL_ATTR_MASK) >> WIN_CTRL_ATTR_SHIFT;
198
199         if (remap) {
200                 if (mvebu_mbus_window_is_remappable(mbus, win)) {
201                         u32 remap_low, remap_hi;
202                         void __iomem *addr_rmp = mbus->mbuswins_base +
203                                 mbus->soc->win_remap_offset(win);
204                         remap_low = readl(addr_rmp + WIN_REMAP_LO_OFF);
205                         remap_hi  = readl(addr_rmp + WIN_REMAP_HI_OFF);
206                         *remap = ((u64)remap_hi << 32) | remap_low;
207                 } else
208                         *remap = 0;
209         }
210 }
211
212 static void mvebu_mbus_disable_window(struct mvebu_mbus_state *mbus,
213                                       int win)
214 {
215         void __iomem *addr;
216
217         addr = mbus->mbuswins_base + mbus->soc->win_cfg_offset(win);
218         writel(0, addr + WIN_BASE_OFF);
219         writel(0, addr + WIN_CTRL_OFF);
220
221         if (mvebu_mbus_window_is_remappable(mbus, win)) {
222                 addr = mbus->mbuswins_base + mbus->soc->win_remap_offset(win);
223                 writel(0, addr + WIN_REMAP_LO_OFF);
224                 writel(0, addr + WIN_REMAP_HI_OFF);
225         }
226 }
227
228 /* Checks whether the given window number is available */
229
230 static int mvebu_mbus_window_is_free(struct mvebu_mbus_state *mbus,
231                                      const int win)
232 {
233         void __iomem *addr = mbus->mbuswins_base +
234                 mbus->soc->win_cfg_offset(win);
235         u32 ctrl = readl(addr + WIN_CTRL_OFF);
236
237         return !(ctrl & WIN_CTRL_ENABLE);
238 }
239
240 /*
241  * Checks whether the given (base, base+size) area doesn't overlap an
242  * existing region
243  */
244 static int mvebu_mbus_window_conflicts(struct mvebu_mbus_state *mbus,
245                                        phys_addr_t base, size_t size,
246                                        u8 target, u8 attr)
247 {
248         u64 end = (u64)base + size;
249         int win;
250
251         for (win = 0; win < mbus->soc->num_wins; win++) {
252                 u64 wbase, wend;
253                 u32 wsize;
254                 u8 wtarget, wattr;
255                 int enabled;
256
257                 mvebu_mbus_read_window(mbus, win,
258                                        &enabled, &wbase, &wsize,
259                                        &wtarget, &wattr, NULL);
260
261                 if (!enabled)
262                         continue;
263
264                 wend = wbase + wsize;
265
266                 /*
267                  * Check if the current window overlaps with the
268                  * proposed physical range
269                  */
270                 if ((u64)base < wend && end > wbase)
271                         return 0;
272         }
273
274         return 1;
275 }
276
277 static int mvebu_mbus_find_window(struct mvebu_mbus_state *mbus,
278                                   phys_addr_t base, size_t size)
279 {
280         int win;
281
282         for (win = 0; win < mbus->soc->num_wins; win++) {
283                 u64 wbase;
284                 u32 wsize;
285                 int enabled;
286
287                 mvebu_mbus_read_window(mbus, win,
288                                        &enabled, &wbase, &wsize,
289                                        NULL, NULL, NULL);
290
291                 if (!enabled)
292                         continue;
293
294                 if (base == wbase && size == wsize)
295                         return win;
296         }
297
298         return -ENODEV;
299 }
300
301 static int mvebu_mbus_setup_window(struct mvebu_mbus_state *mbus,
302                                    int win, phys_addr_t base, size_t size,
303                                    phys_addr_t remap, u8 target,
304                                    u8 attr)
305 {
306         void __iomem *addr = mbus->mbuswins_base +
307                 mbus->soc->win_cfg_offset(win);
308         u32 ctrl, remap_addr;
309
310         if (!is_power_of_2(size)) {
311                 WARN(true, "Invalid MBus window size: 0x%zx\n", size);
312                 return -EINVAL;
313         }
314
315         if ((base & (phys_addr_t)(size - 1)) != 0) {
316                 WARN(true, "Invalid MBus base/size: %pa len 0x%zx\n", &base,
317                      size);
318                 return -EINVAL;
319         }
320
321         ctrl = ((size - 1) & WIN_CTRL_SIZE_MASK) |
322                 (attr << WIN_CTRL_ATTR_SHIFT)    |
323                 (target << WIN_CTRL_TGT_SHIFT)   |
324                 WIN_CTRL_ENABLE;
325         if (mbus->hw_io_coherency)
326                 ctrl |= WIN_CTRL_SYNCBARRIER;
327
328         writel(base & WIN_BASE_LOW, addr + WIN_BASE_OFF);
329         writel(ctrl, addr + WIN_CTRL_OFF);
330
331         if (mvebu_mbus_window_is_remappable(mbus, win)) {
332                 void __iomem *addr_rmp = mbus->mbuswins_base +
333                         mbus->soc->win_remap_offset(win);
334
335                 if (remap == MVEBU_MBUS_NO_REMAP)
336                         remap_addr = base;
337                 else
338                         remap_addr = remap;
339                 writel(remap_addr & WIN_REMAP_LOW, addr_rmp + WIN_REMAP_LO_OFF);
340                 writel(0, addr_rmp + WIN_REMAP_HI_OFF);
341         }
342
343         return 0;
344 }
345
346 static int mvebu_mbus_alloc_window(struct mvebu_mbus_state *mbus,
347                                    phys_addr_t base, size_t size,
348                                    phys_addr_t remap, u8 target,
349                                    u8 attr)
350 {
351         int win;
352
353         if (remap == MVEBU_MBUS_NO_REMAP) {
354                 for (win = 0; win < mbus->soc->num_wins; win++) {
355                         if (mvebu_mbus_window_is_remappable(mbus, win))
356                                 continue;
357
358                         if (mvebu_mbus_window_is_free(mbus, win))
359                                 return mvebu_mbus_setup_window(mbus, win, base,
360                                                                size, remap,
361                                                                target, attr);
362                 }
363         }
364
365         for (win = 0; win < mbus->soc->num_wins; win++) {
366                 /* Skip window if need remap but is not supported */
367                 if ((remap != MVEBU_MBUS_NO_REMAP) &&
368                     !mvebu_mbus_window_is_remappable(mbus, win))
369                         continue;
370
371                 if (mvebu_mbus_window_is_free(mbus, win))
372                         return mvebu_mbus_setup_window(mbus, win, base, size,
373                                                        remap, target, attr);
374         }
375
376         return -ENOMEM;
377 }
378
379 /*
380  * Debugfs debugging
381  */
382
383 /* Common function used for Dove, Kirkwood, Armada 370/XP and Orion 5x */
384 static int mvebu_sdram_debug_show_orion(struct mvebu_mbus_state *mbus,
385                                         struct seq_file *seq, void *v)
386 {
387         int i;
388
389         for (i = 0; i < 4; i++) {
390                 u32 basereg = readl(mbus->sdramwins_base + DDR_BASE_CS_OFF(i));
391                 u32 sizereg = readl(mbus->sdramwins_base + DDR_SIZE_CS_OFF(i));
392                 u64 base;
393                 u32 size;
394
395                 if (!(sizereg & DDR_SIZE_ENABLED)) {
396                         seq_printf(seq, "[%d] disabled\n", i);
397                         continue;
398                 }
399
400                 base = ((u64)basereg & DDR_BASE_CS_HIGH_MASK) << 32;
401                 base |= basereg & DDR_BASE_CS_LOW_MASK;
402                 size = (sizereg | ~DDR_SIZE_MASK);
403
404                 seq_printf(seq, "[%d] %016llx - %016llx : cs%d\n",
405                            i, (unsigned long long)base,
406                            (unsigned long long)base + size + 1,
407                            (sizereg & DDR_SIZE_CS_MASK) >> DDR_SIZE_CS_SHIFT);
408         }
409
410         return 0;
411 }
412
413 /* Special function for Dove */
414 static int mvebu_sdram_debug_show_dove(struct mvebu_mbus_state *mbus,
415                                        struct seq_file *seq, void *v)
416 {
417         int i;
418
419         for (i = 0; i < 2; i++) {
420                 u32 map = readl(mbus->sdramwins_base + DOVE_DDR_BASE_CS_OFF(i));
421                 u64 base;
422                 u32 size;
423
424                 if (!(map & 1)) {
425                         seq_printf(seq, "[%d] disabled\n", i);
426                         continue;
427                 }
428
429                 base = map & 0xff800000;
430                 size = 0x100000 << (((map & 0x000f0000) >> 16) - 4);
431
432                 seq_printf(seq, "[%d] %016llx - %016llx : cs%d\n",
433                            i, (unsigned long long)base,
434                            (unsigned long long)base + size, i);
435         }
436
437         return 0;
438 }
439
440 static int mvebu_sdram_debug_show(struct seq_file *seq, void *v)
441 {
442         struct mvebu_mbus_state *mbus = &mbus_state;
443         return mbus->soc->show_cpu_target(mbus, seq, v);
444 }
445
446 static int mvebu_sdram_debug_open(struct inode *inode, struct file *file)
447 {
448         return single_open(file, mvebu_sdram_debug_show, inode->i_private);
449 }
450
451 static const struct file_operations mvebu_sdram_debug_fops = {
452         .open = mvebu_sdram_debug_open,
453         .read = seq_read,
454         .llseek = seq_lseek,
455         .release = single_release,
456 };
457
458 static int mvebu_devs_debug_show(struct seq_file *seq, void *v)
459 {
460         struct mvebu_mbus_state *mbus = &mbus_state;
461         int win;
462
463         for (win = 0; win < mbus->soc->num_wins; win++) {
464                 u64 wbase, wremap;
465                 u32 wsize;
466                 u8 wtarget, wattr;
467                 int enabled;
468
469                 mvebu_mbus_read_window(mbus, win,
470                                        &enabled, &wbase, &wsize,
471                                        &wtarget, &wattr, &wremap);
472
473                 if (!enabled) {
474                         seq_printf(seq, "[%02d] disabled\n", win);
475                         continue;
476                 }
477
478                 seq_printf(seq, "[%02d] %016llx - %016llx : %04x:%04x",
479                            win, (unsigned long long)wbase,
480                            (unsigned long long)(wbase + wsize), wtarget, wattr);
481
482                 if (!is_power_of_2(wsize) ||
483                     ((wbase & (u64)(wsize - 1)) != 0))
484                         seq_puts(seq, " (Invalid base/size!!)");
485
486                 if (mvebu_mbus_window_is_remappable(mbus, win)) {
487                         seq_printf(seq, " (remap %016llx)\n",
488                                    (unsigned long long)wremap);
489                 } else
490                         seq_printf(seq, "\n");
491         }
492
493         return 0;
494 }
495
496 static int mvebu_devs_debug_open(struct inode *inode, struct file *file)
497 {
498         return single_open(file, mvebu_devs_debug_show, inode->i_private);
499 }
500
501 static const struct file_operations mvebu_devs_debug_fops = {
502         .open = mvebu_devs_debug_open,
503         .read = seq_read,
504         .llseek = seq_lseek,
505         .release = single_release,
506 };
507
508 /*
509  * SoC-specific functions and definitions
510  */
511
512 static unsigned int generic_mbus_win_cfg_offset(int win)
513 {
514         return win << 4;
515 }
516
517 static unsigned int armada_370_xp_mbus_win_cfg_offset(int win)
518 {
519         /* The register layout is a bit annoying and the below code
520          * tries to cope with it.
521          * - At offset 0x0, there are the registers for the first 8
522          *   windows, with 4 registers of 32 bits per window (ctrl,
523          *   base, remap low, remap high)
524          * - Then at offset 0x80, there is a hole of 0x10 bytes for
525          *   the internal registers base address and internal units
526          *   sync barrier register.
527          * - Then at offset 0x90, there the registers for 12
528          *   windows, with only 2 registers of 32 bits per window
529          *   (ctrl, base).
530          */
531         if (win < 8)
532                 return win << 4;
533         else
534                 return 0x90 + ((win - 8) << 3);
535 }
536
537 static unsigned int mv78xx0_mbus_win_cfg_offset(int win)
538 {
539         if (win < 8)
540                 return win << 4;
541         else
542                 return 0x900 + ((win - 8) << 4);
543 }
544
545 static unsigned int generic_mbus_win_remap_2_offset(int win)
546 {
547         if (win < 2)
548                 return generic_mbus_win_cfg_offset(win);
549         else
550                 return MVEBU_MBUS_NO_REMAP;
551 }
552
553 static unsigned int generic_mbus_win_remap_4_offset(int win)
554 {
555         if (win < 4)
556                 return generic_mbus_win_cfg_offset(win);
557         else
558                 return MVEBU_MBUS_NO_REMAP;
559 }
560
561 static unsigned int generic_mbus_win_remap_8_offset(int win)
562 {
563         if (win < 8)
564                 return generic_mbus_win_cfg_offset(win);
565         else
566                 return MVEBU_MBUS_NO_REMAP;
567 }
568
569 static unsigned int armada_xp_mbus_win_remap_offset(int win)
570 {
571         if (win < 8)
572                 return generic_mbus_win_cfg_offset(win);
573         else if (win == 13)
574                 return 0xF0 - WIN_REMAP_LO_OFF;
575         else
576                 return MVEBU_MBUS_NO_REMAP;
577 }
578
579 static void __init
580 mvebu_mbus_default_setup_cpu_target(struct mvebu_mbus_state *mbus)
581 {
582         int i;
583         int cs;
584
585         mvebu_mbus_dram_info.mbus_dram_target_id = TARGET_DDR;
586
587         for (i = 0, cs = 0; i < 4; i++) {
588                 u32 base = readl(mbus->sdramwins_base + DDR_BASE_CS_OFF(i));
589                 u32 size = readl(mbus->sdramwins_base + DDR_SIZE_CS_OFF(i));
590
591                 /*
592                  * We only take care of entries for which the chip
593                  * select is enabled, and that don't have high base
594                  * address bits set (devices can only access the first
595                  * 32 bits of the memory).
596                  */
597                 if ((size & DDR_SIZE_ENABLED) &&
598                     !(base & DDR_BASE_CS_HIGH_MASK)) {
599                         struct mbus_dram_window *w;
600
601                         w = &mvebu_mbus_dram_info.cs[cs++];
602                         w->cs_index = i;
603                         w->mbus_attr = 0xf & ~(1 << i);
604                         if (mbus->hw_io_coherency)
605                                 w->mbus_attr |= ATTR_HW_COHERENCY;
606                         w->base = base & DDR_BASE_CS_LOW_MASK;
607                         w->size = (size | ~DDR_SIZE_MASK) + 1;
608                 }
609         }
610         mvebu_mbus_dram_info.num_cs = cs;
611 }
612
613 static int
614 mvebu_mbus_default_save_cpu_target(struct mvebu_mbus_state *mbus,
615                                    u32 *store_addr)
616 {
617         int i;
618
619         for (i = 0; i < 4; i++) {
620                 u32 base = readl(mbus->sdramwins_base + DDR_BASE_CS_OFF(i));
621                 u32 size = readl(mbus->sdramwins_base + DDR_SIZE_CS_OFF(i));
622
623                 writel(mbus->sdramwins_phys_base + DDR_BASE_CS_OFF(i),
624                        store_addr++);
625                 writel(base, store_addr++);
626                 writel(mbus->sdramwins_phys_base + DDR_SIZE_CS_OFF(i),
627                        store_addr++);
628                 writel(size, store_addr++);
629         }
630
631         /* We've written 16 words to the store address */
632         return 16;
633 }
634
635 static void __init
636 mvebu_mbus_dove_setup_cpu_target(struct mvebu_mbus_state *mbus)
637 {
638         int i;
639         int cs;
640
641         mvebu_mbus_dram_info.mbus_dram_target_id = TARGET_DDR;
642
643         for (i = 0, cs = 0; i < 2; i++) {
644                 u32 map = readl(mbus->sdramwins_base + DOVE_DDR_BASE_CS_OFF(i));
645
646                 /*
647                  * Chip select enabled?
648                  */
649                 if (map & 1) {
650                         struct mbus_dram_window *w;
651
652                         w = &mvebu_mbus_dram_info.cs[cs++];
653                         w->cs_index = i;
654                         w->mbus_attr = 0; /* CS address decoding done inside */
655                                           /* the DDR controller, no need to  */
656                                           /* provide attributes */
657                         w->base = map & 0xff800000;
658                         w->size = 0x100000 << (((map & 0x000f0000) >> 16) - 4);
659                 }
660         }
661
662         mvebu_mbus_dram_info.num_cs = cs;
663 }
664
665 static int
666 mvebu_mbus_dove_save_cpu_target(struct mvebu_mbus_state *mbus,
667                                 u32 *store_addr)
668 {
669         int i;
670
671         for (i = 0; i < 2; i++) {
672                 u32 map = readl(mbus->sdramwins_base + DOVE_DDR_BASE_CS_OFF(i));
673
674                 writel(mbus->sdramwins_phys_base + DOVE_DDR_BASE_CS_OFF(i),
675                        store_addr++);
676                 writel(map, store_addr++);
677         }
678
679         /* We've written 4 words to the store address */
680         return 4;
681 }
682
683 int mvebu_mbus_save_cpu_target(u32 *store_addr)
684 {
685         return mbus_state.soc->save_cpu_target(&mbus_state, store_addr);
686 }
687
688 static const struct mvebu_mbus_soc_data armada_370_mbus_data = {
689         .num_wins            = 20,
690         .has_mbus_bridge     = true,
691         .win_cfg_offset      = armada_370_xp_mbus_win_cfg_offset,
692         .win_remap_offset    = generic_mbus_win_remap_8_offset,
693         .setup_cpu_target    = mvebu_mbus_default_setup_cpu_target,
694         .show_cpu_target     = mvebu_sdram_debug_show_orion,
695         .save_cpu_target     = mvebu_mbus_default_save_cpu_target,
696 };
697
698 static const struct mvebu_mbus_soc_data armada_xp_mbus_data = {
699         .num_wins            = 20,
700         .has_mbus_bridge     = true,
701         .win_cfg_offset      = armada_370_xp_mbus_win_cfg_offset,
702         .win_remap_offset    = armada_xp_mbus_win_remap_offset,
703         .setup_cpu_target    = mvebu_mbus_default_setup_cpu_target,
704         .show_cpu_target     = mvebu_sdram_debug_show_orion,
705         .save_cpu_target     = mvebu_mbus_default_save_cpu_target,
706 };
707
708 static const struct mvebu_mbus_soc_data kirkwood_mbus_data = {
709         .num_wins            = 8,
710         .win_cfg_offset      = generic_mbus_win_cfg_offset,
711         .save_cpu_target     = mvebu_mbus_default_save_cpu_target,
712         .win_remap_offset    = generic_mbus_win_remap_4_offset,
713         .setup_cpu_target    = mvebu_mbus_default_setup_cpu_target,
714         .show_cpu_target     = mvebu_sdram_debug_show_orion,
715 };
716
717 static const struct mvebu_mbus_soc_data dove_mbus_data = {
718         .num_wins            = 8,
719         .win_cfg_offset      = generic_mbus_win_cfg_offset,
720         .save_cpu_target     = mvebu_mbus_dove_save_cpu_target,
721         .win_remap_offset    = generic_mbus_win_remap_4_offset,
722         .setup_cpu_target    = mvebu_mbus_dove_setup_cpu_target,
723         .show_cpu_target     = mvebu_sdram_debug_show_dove,
724 };
725
726 /*
727  * Some variants of Orion5x have 4 remappable windows, some other have
728  * only two of them.
729  */
730 static const struct mvebu_mbus_soc_data orion5x_4win_mbus_data = {
731         .num_wins            = 8,
732         .win_cfg_offset      = generic_mbus_win_cfg_offset,
733         .save_cpu_target     = mvebu_mbus_default_save_cpu_target,
734         .win_remap_offset    = generic_mbus_win_remap_4_offset,
735         .setup_cpu_target    = mvebu_mbus_default_setup_cpu_target,
736         .show_cpu_target     = mvebu_sdram_debug_show_orion,
737 };
738
739 static const struct mvebu_mbus_soc_data orion5x_2win_mbus_data = {
740         .num_wins            = 8,
741         .win_cfg_offset      = generic_mbus_win_cfg_offset,
742         .save_cpu_target     = mvebu_mbus_default_save_cpu_target,
743         .win_remap_offset    = generic_mbus_win_remap_2_offset,
744         .setup_cpu_target    = mvebu_mbus_default_setup_cpu_target,
745         .show_cpu_target     = mvebu_sdram_debug_show_orion,
746 };
747
748 static const struct mvebu_mbus_soc_data mv78xx0_mbus_data = {
749         .num_wins            = 14,
750         .win_cfg_offset      = mv78xx0_mbus_win_cfg_offset,
751         .save_cpu_target     = mvebu_mbus_default_save_cpu_target,
752         .win_remap_offset    = generic_mbus_win_remap_8_offset,
753         .setup_cpu_target    = mvebu_mbus_default_setup_cpu_target,
754         .show_cpu_target     = mvebu_sdram_debug_show_orion,
755 };
756
757 static const struct of_device_id of_mvebu_mbus_ids[] = {
758         { .compatible = "marvell,armada370-mbus",
759           .data = &armada_370_mbus_data, },
760         { .compatible = "marvell,armada375-mbus",
761           .data = &armada_xp_mbus_data, },
762         { .compatible = "marvell,armada380-mbus",
763           .data = &armada_xp_mbus_data, },
764         { .compatible = "marvell,armadaxp-mbus",
765           .data = &armada_xp_mbus_data, },
766         { .compatible = "marvell,kirkwood-mbus",
767           .data = &kirkwood_mbus_data, },
768         { .compatible = "marvell,dove-mbus",
769           .data = &dove_mbus_data, },
770         { .compatible = "marvell,orion5x-88f5281-mbus",
771           .data = &orion5x_4win_mbus_data, },
772         { .compatible = "marvell,orion5x-88f5182-mbus",
773           .data = &orion5x_2win_mbus_data, },
774         { .compatible = "marvell,orion5x-88f5181-mbus",
775           .data = &orion5x_2win_mbus_data, },
776         { .compatible = "marvell,orion5x-88f6183-mbus",
777           .data = &orion5x_4win_mbus_data, },
778         { .compatible = "marvell,mv78xx0-mbus",
779           .data = &mv78xx0_mbus_data, },
780         { },
781 };
782
783 /*
784  * Public API of the driver
785  */
786 int mvebu_mbus_add_window_remap_by_id(unsigned int target,
787                                       unsigned int attribute,
788                                       phys_addr_t base, size_t size,
789                                       phys_addr_t remap)
790 {
791         struct mvebu_mbus_state *s = &mbus_state;
792
793         if (!mvebu_mbus_window_conflicts(s, base, size, target, attribute)) {
794                 pr_err("cannot add window '%x:%x', conflicts with another window\n",
795                        target, attribute);
796                 return -EINVAL;
797         }
798
799         return mvebu_mbus_alloc_window(s, base, size, remap, target, attribute);
800 }
801
802 int mvebu_mbus_add_window_by_id(unsigned int target, unsigned int attribute,
803                                 phys_addr_t base, size_t size)
804 {
805         return mvebu_mbus_add_window_remap_by_id(target, attribute, base,
806                                                  size, MVEBU_MBUS_NO_REMAP);
807 }
808
809 int mvebu_mbus_del_window(phys_addr_t base, size_t size)
810 {
811         int win;
812
813         win = mvebu_mbus_find_window(&mbus_state, base, size);
814         if (win < 0)
815                 return win;
816
817         mvebu_mbus_disable_window(&mbus_state, win);
818         return 0;
819 }
820
821 void mvebu_mbus_get_pcie_mem_aperture(struct resource *res)
822 {
823         if (!res)
824                 return;
825         *res = mbus_state.pcie_mem_aperture;
826 }
827
828 void mvebu_mbus_get_pcie_io_aperture(struct resource *res)
829 {
830         if (!res)
831                 return;
832         *res = mbus_state.pcie_io_aperture;
833 }
834
835 static __init int mvebu_mbus_debugfs_init(void)
836 {
837         struct mvebu_mbus_state *s = &mbus_state;
838
839         /*
840          * If no base has been initialized, doesn't make sense to
841          * register the debugfs entries. We may be on a multiplatform
842          * kernel that isn't running a Marvell EBU SoC.
843          */
844         if (!s->mbuswins_base)
845                 return 0;
846
847         s->debugfs_root = debugfs_create_dir("mvebu-mbus", NULL);
848         if (s->debugfs_root) {
849                 s->debugfs_sdram = debugfs_create_file("sdram", S_IRUGO,
850                                                        s->debugfs_root, NULL,
851                                                        &mvebu_sdram_debug_fops);
852                 s->debugfs_devs = debugfs_create_file("devices", S_IRUGO,
853                                                       s->debugfs_root, NULL,
854                                                       &mvebu_devs_debug_fops);
855         }
856
857         return 0;
858 }
859 fs_initcall(mvebu_mbus_debugfs_init);
860
861 static int mvebu_mbus_suspend(void)
862 {
863         struct mvebu_mbus_state *s = &mbus_state;
864         int win;
865
866         if (!s->mbusbridge_base)
867                 return -ENODEV;
868
869         for (win = 0; win < s->soc->num_wins; win++) {
870                 void __iomem *addr = s->mbuswins_base +
871                         s->soc->win_cfg_offset(win);
872                 void __iomem *addr_rmp;
873
874                 s->wins[win].base = readl(addr + WIN_BASE_OFF);
875                 s->wins[win].ctrl = readl(addr + WIN_CTRL_OFF);
876
877                 if (!mvebu_mbus_window_is_remappable(s, win))
878                         continue;
879
880                 addr_rmp = s->mbuswins_base +
881                         s->soc->win_remap_offset(win);
882
883                 s->wins[win].remap_lo = readl(addr_rmp + WIN_REMAP_LO_OFF);
884                 s->wins[win].remap_hi = readl(addr_rmp + WIN_REMAP_HI_OFF);
885         }
886
887         s->mbus_bridge_ctrl = readl(s->mbusbridge_base +
888                                     MBUS_BRIDGE_CTRL_OFF);
889         s->mbus_bridge_base = readl(s->mbusbridge_base +
890                                     MBUS_BRIDGE_BASE_OFF);
891
892         return 0;
893 }
894
895 static void mvebu_mbus_resume(void)
896 {
897         struct mvebu_mbus_state *s = &mbus_state;
898         int win;
899
900         writel(s->mbus_bridge_ctrl,
901                s->mbusbridge_base + MBUS_BRIDGE_CTRL_OFF);
902         writel(s->mbus_bridge_base,
903                s->mbusbridge_base + MBUS_BRIDGE_BASE_OFF);
904
905         for (win = 0; win < s->soc->num_wins; win++) {
906                 void __iomem *addr = s->mbuswins_base +
907                         s->soc->win_cfg_offset(win);
908                 void __iomem *addr_rmp;
909
910                 writel(s->wins[win].base, addr + WIN_BASE_OFF);
911                 writel(s->wins[win].ctrl, addr + WIN_CTRL_OFF);
912
913                 if (!mvebu_mbus_window_is_remappable(s, win))
914                         continue;
915
916                 addr_rmp = s->mbuswins_base +
917                         s->soc->win_remap_offset(win);
918
919                 writel(s->wins[win].remap_lo, addr_rmp + WIN_REMAP_LO_OFF);
920                 writel(s->wins[win].remap_hi, addr_rmp + WIN_REMAP_HI_OFF);
921         }
922 }
923
924 struct syscore_ops mvebu_mbus_syscore_ops = {
925         .suspend        = mvebu_mbus_suspend,
926         .resume         = mvebu_mbus_resume,
927 };
928
929 static int __init mvebu_mbus_common_init(struct mvebu_mbus_state *mbus,
930                                          phys_addr_t mbuswins_phys_base,
931                                          size_t mbuswins_size,
932                                          phys_addr_t sdramwins_phys_base,
933                                          size_t sdramwins_size,
934                                          phys_addr_t mbusbridge_phys_base,
935                                          size_t mbusbridge_size,
936                                          bool is_coherent)
937 {
938         int win;
939
940         mbus->mbuswins_base = ioremap(mbuswins_phys_base, mbuswins_size);
941         if (!mbus->mbuswins_base)
942                 return -ENOMEM;
943
944         mbus->sdramwins_base = ioremap(sdramwins_phys_base, sdramwins_size);
945         if (!mbus->sdramwins_base) {
946                 iounmap(mbus_state.mbuswins_base);
947                 return -ENOMEM;
948         }
949
950         mbus->sdramwins_phys_base = sdramwins_phys_base;
951
952         if (mbusbridge_phys_base) {
953                 mbus->mbusbridge_base = ioremap(mbusbridge_phys_base,
954                                                 mbusbridge_size);
955                 if (!mbus->mbusbridge_base) {
956                         iounmap(mbus->sdramwins_base);
957                         iounmap(mbus->mbuswins_base);
958                         return -ENOMEM;
959                 }
960         } else
961                 mbus->mbusbridge_base = NULL;
962
963         for (win = 0; win < mbus->soc->num_wins; win++)
964                 mvebu_mbus_disable_window(mbus, win);
965
966         mbus->soc->setup_cpu_target(mbus);
967
968         if (is_coherent)
969                 writel(UNIT_SYNC_BARRIER_ALL,
970                        mbus->mbuswins_base + UNIT_SYNC_BARRIER_OFF);
971
972         register_syscore_ops(&mvebu_mbus_syscore_ops);
973
974         return 0;
975 }
976
977 int __init mvebu_mbus_init(const char *soc, phys_addr_t mbuswins_phys_base,
978                            size_t mbuswins_size,
979                            phys_addr_t sdramwins_phys_base,
980                            size_t sdramwins_size)
981 {
982         const struct of_device_id *of_id;
983
984         for (of_id = of_mvebu_mbus_ids; of_id->compatible[0]; of_id++)
985                 if (!strcmp(of_id->compatible, soc))
986                         break;
987
988         if (!of_id->compatible[0]) {
989                 pr_err("could not find a matching SoC family\n");
990                 return -ENODEV;
991         }
992
993         mbus_state.soc = of_id->data;
994
995         return mvebu_mbus_common_init(&mbus_state,
996                         mbuswins_phys_base,
997                         mbuswins_size,
998                         sdramwins_phys_base,
999                         sdramwins_size, 0, 0, false);
1000 }
1001
1002 #ifdef CONFIG_OF
1003 /*
1004  * The window IDs in the ranges DT property have the following format:
1005  *  - bits 28 to 31: MBus custom field
1006  *  - bits 24 to 27: window target ID
1007  *  - bits 16 to 23: window attribute ID
1008  *  - bits  0 to 15: unused
1009  */
1010 #define CUSTOM(id) (((id) & 0xF0000000) >> 24)
1011 #define TARGET(id) (((id) & 0x0F000000) >> 24)
1012 #define ATTR(id)   (((id) & 0x00FF0000) >> 16)
1013
1014 static int __init mbus_dt_setup_win(struct mvebu_mbus_state *mbus,
1015                                     u32 base, u32 size,
1016                                     u8 target, u8 attr)
1017 {
1018         if (!mvebu_mbus_window_conflicts(mbus, base, size, target, attr)) {
1019                 pr_err("cannot add window '%04x:%04x', conflicts with another window\n",
1020                        target, attr);
1021                 return -EBUSY;
1022         }
1023
1024         if (mvebu_mbus_alloc_window(mbus, base, size, MVEBU_MBUS_NO_REMAP,
1025                                     target, attr)) {
1026                 pr_err("cannot add window '%04x:%04x', too many windows\n",
1027                        target, attr);
1028                 return -ENOMEM;
1029         }
1030         return 0;
1031 }
1032
1033 static int __init
1034 mbus_parse_ranges(struct device_node *node,
1035                   int *addr_cells, int *c_addr_cells, int *c_size_cells,
1036                   int *cell_count, const __be32 **ranges_start,
1037                   const __be32 **ranges_end)
1038 {
1039         const __be32 *prop;
1040         int ranges_len, tuple_len;
1041
1042         /* Allow a node with no 'ranges' property */
1043         *ranges_start = of_get_property(node, "ranges", &ranges_len);
1044         if (*ranges_start == NULL) {
1045                 *addr_cells = *c_addr_cells = *c_size_cells = *cell_count = 0;
1046                 *ranges_start = *ranges_end = NULL;
1047                 return 0;
1048         }
1049         *ranges_end = *ranges_start + ranges_len / sizeof(__be32);
1050
1051         *addr_cells = of_n_addr_cells(node);
1052
1053         prop = of_get_property(node, "#address-cells", NULL);
1054         *c_addr_cells = be32_to_cpup(prop);
1055
1056         prop = of_get_property(node, "#size-cells", NULL);
1057         *c_size_cells = be32_to_cpup(prop);
1058
1059         *cell_count = *addr_cells + *c_addr_cells + *c_size_cells;
1060         tuple_len = (*cell_count) * sizeof(__be32);
1061
1062         if (ranges_len % tuple_len) {
1063                 pr_warn("malformed ranges entry '%s'\n", node->name);
1064                 return -EINVAL;
1065         }
1066         return 0;
1067 }
1068
1069 static int __init mbus_dt_setup(struct mvebu_mbus_state *mbus,
1070                                 struct device_node *np)
1071 {
1072         int addr_cells, c_addr_cells, c_size_cells;
1073         int i, ret, cell_count;
1074         const __be32 *r, *ranges_start, *ranges_end;
1075
1076         ret = mbus_parse_ranges(np, &addr_cells, &c_addr_cells,
1077                                 &c_size_cells, &cell_count,
1078                                 &ranges_start, &ranges_end);
1079         if (ret < 0)
1080                 return ret;
1081
1082         for (i = 0, r = ranges_start; r < ranges_end; r += cell_count, i++) {
1083                 u32 windowid, base, size;
1084                 u8 target, attr;
1085
1086                 /*
1087                  * An entry with a non-zero custom field do not
1088                  * correspond to a static window, so skip it.
1089                  */
1090                 windowid = of_read_number(r, 1);
1091                 if (CUSTOM(windowid))
1092                         continue;
1093
1094                 target = TARGET(windowid);
1095                 attr = ATTR(windowid);
1096
1097                 base = of_read_number(r + c_addr_cells, addr_cells);
1098                 size = of_read_number(r + c_addr_cells + addr_cells,
1099                                       c_size_cells);
1100                 ret = mbus_dt_setup_win(mbus, base, size, target, attr);
1101                 if (ret < 0)
1102                         return ret;
1103         }
1104         return 0;
1105 }
1106
1107 static void __init mvebu_mbus_get_pcie_resources(struct device_node *np,
1108                                                  struct resource *mem,
1109                                                  struct resource *io)
1110 {
1111         u32 reg[2];
1112         int ret;
1113
1114         /*
1115          * These are optional, so we make sure that resource_size(x) will
1116          * return 0.
1117          */
1118         memset(mem, 0, sizeof(struct resource));
1119         mem->end = -1;
1120         memset(io, 0, sizeof(struct resource));
1121         io->end = -1;
1122
1123         ret = of_property_read_u32_array(np, "pcie-mem-aperture", reg, ARRAY_SIZE(reg));
1124         if (!ret) {
1125                 mem->start = reg[0];
1126                 mem->end = mem->start + reg[1] - 1;
1127                 mem->flags = IORESOURCE_MEM;
1128         }
1129
1130         ret = of_property_read_u32_array(np, "pcie-io-aperture", reg, ARRAY_SIZE(reg));
1131         if (!ret) {
1132                 io->start = reg[0];
1133                 io->end = io->start + reg[1] - 1;
1134                 io->flags = IORESOURCE_IO;
1135         }
1136 }
1137
1138 int __init mvebu_mbus_dt_init(bool is_coherent)
1139 {
1140         struct resource mbuswins_res, sdramwins_res, mbusbridge_res;
1141         struct device_node *np, *controller;
1142         const struct of_device_id *of_id;
1143         const __be32 *prop;
1144         int ret;
1145
1146         np = of_find_matching_node_and_match(NULL, of_mvebu_mbus_ids, &of_id);
1147         if (!np) {
1148                 pr_err("could not find a matching SoC family\n");
1149                 return -ENODEV;
1150         }
1151
1152         mbus_state.soc = of_id->data;
1153
1154         prop = of_get_property(np, "controller", NULL);
1155         if (!prop) {
1156                 pr_err("required 'controller' property missing\n");
1157                 return -EINVAL;
1158         }
1159
1160         controller = of_find_node_by_phandle(be32_to_cpup(prop));
1161         if (!controller) {
1162                 pr_err("could not find an 'mbus-controller' node\n");
1163                 return -ENODEV;
1164         }
1165
1166         if (of_address_to_resource(controller, 0, &mbuswins_res)) {
1167                 pr_err("cannot get MBUS register address\n");
1168                 return -EINVAL;
1169         }
1170
1171         if (of_address_to_resource(controller, 1, &sdramwins_res)) {
1172                 pr_err("cannot get SDRAM register address\n");
1173                 return -EINVAL;
1174         }
1175
1176         /*
1177          * Set the resource to 0 so that it can be left unmapped by
1178          * mvebu_mbus_common_init() if the DT doesn't carry the
1179          * necessary information. This is needed to preserve backward
1180          * compatibility.
1181          */
1182         memset(&mbusbridge_res, 0, sizeof(mbusbridge_res));
1183
1184         if (mbus_state.soc->has_mbus_bridge) {
1185                 if (of_address_to_resource(controller, 2, &mbusbridge_res))
1186                         pr_warn(FW_WARN "deprecated mbus-mvebu Device Tree, suspend/resume will not work\n");
1187         }
1188
1189         mbus_state.hw_io_coherency = is_coherent;
1190
1191         /* Get optional pcie-{mem,io}-aperture properties */
1192         mvebu_mbus_get_pcie_resources(np, &mbus_state.pcie_mem_aperture,
1193                                           &mbus_state.pcie_io_aperture);
1194
1195         ret = mvebu_mbus_common_init(&mbus_state,
1196                                      mbuswins_res.start,
1197                                      resource_size(&mbuswins_res),
1198                                      sdramwins_res.start,
1199                                      resource_size(&sdramwins_res),
1200                                      mbusbridge_res.start,
1201                                      resource_size(&mbusbridge_res),
1202                                      is_coherent);
1203         if (ret)
1204                 return ret;
1205
1206         /* Setup statically declared windows in the DT */
1207         return mbus_dt_setup(&mbus_state, np);
1208 }
1209 #endif