ARM: convert all "mov.* pc, reg" to "bx reg" for ARMv6+
[sfrench/cifs-2.6.git] / arch / arm / mm / proc-v7-3level.S
1 /*
2  * arch/arm/mm/proc-v7-3level.S
3  *
4  * Copyright (C) 2001 Deep Blue Solutions Ltd.
5  * Copyright (C) 2011 ARM Ltd.
6  * Author: Catalin Marinas <catalin.marinas@arm.com>
7  *   based on arch/arm/mm/proc-v7-2level.S
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License version 2 as
11  * published by the Free Software Foundation.
12  *
13  * This program is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16  * GNU General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
21  */
22 #include <asm/assembler.h>
23
24 #define TTB_IRGN_NC     (0 << 8)
25 #define TTB_IRGN_WBWA   (1 << 8)
26 #define TTB_IRGN_WT     (2 << 8)
27 #define TTB_IRGN_WB     (3 << 8)
28 #define TTB_RGN_NC      (0 << 10)
29 #define TTB_RGN_OC_WBWA (1 << 10)
30 #define TTB_RGN_OC_WT   (2 << 10)
31 #define TTB_RGN_OC_WB   (3 << 10)
32 #define TTB_S           (3 << 12)
33 #define TTB_EAE         (1 << 31)
34
35 /* PTWs cacheable, inner WB not shareable, outer WB not shareable */
36 #define TTB_FLAGS_UP    (TTB_IRGN_WB|TTB_RGN_OC_WB)
37 #define PMD_FLAGS_UP    (PMD_SECT_WB)
38
39 /* PTWs cacheable, inner WBWA shareable, outer WBWA not shareable */
40 #define TTB_FLAGS_SMP   (TTB_IRGN_WBWA|TTB_S|TTB_RGN_OC_WBWA)
41 #define PMD_FLAGS_SMP   (PMD_SECT_WBWA|PMD_SECT_S)
42
43 #ifndef __ARMEB__
44 #  define rpgdl r0
45 #  define rpgdh r1
46 #else
47 #  define rpgdl r1
48 #  define rpgdh r0
49 #endif
50
51 /*
52  * cpu_v7_switch_mm(pgd_phys, tsk)
53  *
54  * Set the translation table base pointer to be pgd_phys (physical address of
55  * the new TTB).
56  */
57 ENTRY(cpu_v7_switch_mm)
58 #ifdef CONFIG_MMU
59         mmid    r2, r2
60         asid    r2, r2
61         orr     rpgdh, rpgdh, r2, lsl #(48 - 32)        @ upper 32-bits of pgd
62         mcrr    p15, 0, rpgdl, rpgdh, c2                @ set TTB 0
63         isb
64 #endif
65         ret     lr
66 ENDPROC(cpu_v7_switch_mm)
67
68 #ifdef __ARMEB__
69 #define rl r3
70 #define rh r2
71 #else
72 #define rl r2
73 #define rh r3
74 #endif
75
76 /*
77  * cpu_v7_set_pte_ext(ptep, pte)
78  *
79  * Set a level 2 translation table entry.
80  * - ptep - pointer to level 3 translation table entry
81  * - pte - PTE value to store (64-bit in r2 and r3)
82  */
83 ENTRY(cpu_v7_set_pte_ext)
84 #ifdef CONFIG_MMU
85         tst     rl, #L_PTE_VALID
86         beq     1f
87         tst     rh, #1 << (57 - 32)             @ L_PTE_NONE
88         bicne   rl, #L_PTE_VALID
89         bne     1f
90         tst     rh, #1 << (55 - 32)             @ L_PTE_DIRTY
91         orreq   rl, #L_PTE_RDONLY
92 1:      strd    r2, r3, [r0]
93         ALT_SMP(W(nop))
94         ALT_UP (mcr     p15, 0, r0, c7, c10, 1)         @ flush_pte
95 #endif
96         ret     lr
97 ENDPROC(cpu_v7_set_pte_ext)
98
99         /*
100          * Memory region attributes for LPAE (defined in pgtable-3level.h):
101          *
102          *   n = AttrIndx[2:0]
103          *
104          *                      n       MAIR
105          *   UNCACHED           000     00000000
106          *   BUFFERABLE         001     01000100
107          *   DEV_WC             001     01000100
108          *   WRITETHROUGH       010     10101010
109          *   WRITEBACK          011     11101110
110          *   DEV_CACHED         011     11101110
111          *   DEV_SHARED         100     00000100
112          *   DEV_NONSHARED      100     00000100
113          *   unused             101
114          *   unused             110
115          *   WRITEALLOC         111     11111111
116          */
117 .equ    PRRR,   0xeeaa4400                      @ MAIR0
118 .equ    NMRR,   0xff000004                      @ MAIR1
119
120         /*
121          * Macro for setting up the TTBRx and TTBCR registers.
122          * - \ttbr1 updated.
123          */
124         .macro  v7_ttb_setup, zero, ttbr0, ttbr1, tmp
125         ldr     \tmp, =swapper_pg_dir           @ swapper_pg_dir virtual address
126         mov     \tmp, \tmp, lsr #ARCH_PGD_SHIFT
127         cmp     \ttbr1, \tmp                    @ PHYS_OFFSET > PAGE_OFFSET?
128         mrc     p15, 0, \tmp, c2, c0, 2         @ TTB control register
129         orr     \tmp, \tmp, #TTB_EAE
130         ALT_SMP(orr     \tmp, \tmp, #TTB_FLAGS_SMP)
131         ALT_UP(orr      \tmp, \tmp, #TTB_FLAGS_UP)
132         ALT_SMP(orr     \tmp, \tmp, #TTB_FLAGS_SMP << 16)
133         ALT_UP(orr      \tmp, \tmp, #TTB_FLAGS_UP << 16)
134         /*
135          * Only use split TTBRs if PHYS_OFFSET <= PAGE_OFFSET (cmp above),
136          * otherwise booting secondary CPUs would end up using TTBR1 for the
137          * identity mapping set up in TTBR0.
138          */
139         orrls   \tmp, \tmp, #TTBR1_SIZE                         @ TTBCR.T1SZ
140         mcr     p15, 0, \tmp, c2, c0, 2                         @ TTBCR
141         mov     \tmp, \ttbr1, lsr #(32 - ARCH_PGD_SHIFT)        @ upper bits
142         mov     \ttbr1, \ttbr1, lsl #ARCH_PGD_SHIFT             @ lower bits
143         addls   \ttbr1, \ttbr1, #TTBR1_OFFSET
144         mcrr    p15, 1, \ttbr1, \zero, c2                       @ load TTBR1
145         mov     \tmp, \ttbr0, lsr #(32 - ARCH_PGD_SHIFT)        @ upper bits
146         mov     \ttbr0, \ttbr0, lsl #ARCH_PGD_SHIFT             @ lower bits
147         mcrr    p15, 0, \ttbr0, \zero, c2                       @ load TTBR0
148         mcrr    p15, 1, \ttbr1, \zero, c2                       @ load TTBR1
149         mcrr    p15, 0, \ttbr0, \zero, c2                       @ load TTBR0
150         .endm
151
152         /*
153          *   AT
154          *  TFR   EV X F   IHD LR    S
155          * .EEE ..EE PUI. .TAT 4RVI ZWRS BLDP WCAM
156          * rxxx rrxx xxx0 0101 xxxx xxxx x111 xxxx < forced
157          *   11    0 110    1  0011 1100 .111 1101 < we want
158          */
159         .align  2
160         .type   v7_crval, #object
161 v7_crval:
162         crval   clear=0x0120c302, mmuset=0x30c23c7d, ucset=0x00c01c7c