arch/sparc64/kernel/ktlb.S

   1 /* arch/sparc64/kernel/ktlb.S: Kernel mapping TLB miss handling.
   2  *
   3  * Copyright (C) 1995, 1997, 2005 David S. Miller <davem@davemloft.net>
   4  * Copyright (C) 1996 Eddie C. Dost        (ecd@brainaid.de)
   5  * Copyright (C) 1996 Miguel de Icaza      (miguel@nuclecu.unam.mx)
   6  * Copyright (C) 1996,98,99 Jakub Jelinek  (jj@sunsite.mff.cuni.cz)
   7  */
   8
   9 #include <linux/config.h>
  10 #include <asm/head.h>
  11 #include <asm/asi.h>
  12 #include <asm/page.h>
  13 #include <asm/pgtable.h>
  14 #include <asm/tsb.h>
  15
  16         .text
  17         .align          32
  18
  19 kvmap_itlb:
  20         /* g6: TAG TARGET */
  21         mov             TLB_TAG_ACCESS, %g4
  22         ldxa            [%g4] ASI_IMMU, %g4
  23
  24         /* sun4v_itlb_miss branches here with the missing virtual
  25          * address already loaded into %g4
  26          */
  27 kvmap_itlb_4v:
  28
  29 kvmap_itlb_nonlinear:
  30         /* Catch kernel NULL pointer calls.  */
  31         sethi           %hi(PAGE_SIZE), %g5
  32         cmp             %g4, %g5
  33         bleu,pn         %xcc, kvmap_dtlb_longpath
  34          nop
  35
  36         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_itlb_load)
  37
  38 kvmap_itlb_tsb_miss:
  39         sethi           %hi(LOW_OBP_ADDRESS), %g5
  40         cmp             %g4, %g5
  41         blu,pn          %xcc, kvmap_itlb_vmalloc_addr
  42          mov            0x1, %g5
  43         sllx            %g5, 32, %g5
  44         cmp             %g4, %g5
  45         blu,pn          %xcc, kvmap_itlb_obp
  46          nop
  47
  48 kvmap_itlb_vmalloc_addr:
  49         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_itlb_longpath)
  50
  51         KTSB_LOCK_TAG(%g1, %g2, %g7)
  52
  53         /* Load and check PTE.  */
  54         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
  55         mov             1, %g7
  56         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
  57         brgez,a,pn      %g5, kvmap_itlb_longpath
  58          KTSB_STORE(%g1, %g7)
  59
  60         KTSB_WRITE(%g1, %g5, %g6)
  61
  62         /* fallthrough to TLB load */
  63
  64 kvmap_itlb_load:
  65
  66 661:    stxa            %g5, [%g0] ASI_ITLB_DATA_IN
  67         retry
  68         .section        .sun4v_2insn_patch, "ax"
  69         .word           661b
  70         nop
  71         nop
  72         .previous
  73
  74         /* For sun4v the ASI_ITLB_DATA_IN store and the retry
  75          * instruction get nop'd out and we get here to branch
  76          * to the sun4v tlb load code.  The registers are setup
  77          * as follows:
  78          *
  79          * %g4: vaddr
  80          * %g5: PTE
  81          * %g6: TAG
  82          *
  83          * The sun4v TLB load wants the PTE in %g3 so we fix that
  84          * up here.
  85          */
  86         ba,pt           %xcc, sun4v_itlb_load
  87          mov            %g5, %g3
  88
  89 kvmap_itlb_longpath:
  90
  91 661:    rdpr    %pstate, %g5
  92         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
  93         .section .sun4v_2insn_patch, "ax"
  94         .word   661b
  95         SET_GL(1)
  96         nop
  97         .previous
  98
  99         rdpr    %tpc, %g5
 100         ba,pt   %xcc, sparc64_realfault_common
 101          mov    FAULT_CODE_ITLB, %g4
 102
 103 kvmap_itlb_obp:
 104         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_itlb_longpath)
 105
 106         KTSB_LOCK_TAG(%g1, %g2, %g7)
 107
 108         KTSB_WRITE(%g1, %g5, %g6)
 109
 110         ba,pt           %xcc, kvmap_itlb_load
 111          nop
 112
 113 kvmap_dtlb_obp:
 114         OBP_TRANS_LOOKUP(%g4, %g5, %g2, %g3, kvmap_dtlb_longpath)
 115
 116         KTSB_LOCK_TAG(%g1, %g2, %g7)
 117
 118         KTSB_WRITE(%g1, %g5, %g6)
 119
 120         ba,pt           %xcc, kvmap_dtlb_load
 121          nop
 122
 123         .align          32
 124 kvmap_dtlb_tsb4m_load:
 125         KTSB_LOCK_TAG(%g1, %g2, %g7)
 126         KTSB_WRITE(%g1, %g5, %g6)
 127         ba,pt           %xcc, kvmap_dtlb_load
 128          nop
 129
 130 kvmap_dtlb:
 131         /* %g6: TAG TARGET */
 132         mov             TLB_TAG_ACCESS, %g4
 133         ldxa            [%g4] ASI_DMMU, %g4
 134
 135         /* sun4v_dtlb_miss branches here with the missing virtual
 136          * address already loaded into %g4
 137          */
 138 kvmap_dtlb_4v:
 139         brgez,pn        %g4, kvmap_dtlb_nonlinear
 140          nop
 141
 142         /* Correct TAG_TARGET is already in %g6, check 4mb TSB.  */
 143         KERN_TSB4M_LOOKUP_TL1(%g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
 144
 145         /* TSB entry address left in %g1, lookup linear PTE.
 146          * Must preserve %g1 and %g6 (TAG).
 147          */
 148 kvmap_dtlb_tsb4m_miss:
 149         sethi           %hi(kpte_linear_bitmap), %g2
 150         or              %g2, %lo(kpte_linear_bitmap), %g2
 151
 152         /* Clear the PAGE_OFFSET top virtual bits, then shift
 153          * down to get a 256MB physical address index.
 154          */
 155         sllx            %g4, 21, %g5
 156         mov             1, %g7
 157         srlx            %g5, 21 + 28, %g5
 158
 159         /* Don't try this at home kids... this depends upon srlx
 160          * only taking the low 6 bits of the shift count in %g5.
 161          */
 162         sllx            %g7, %g5, %g7
 163
 164         /* Divide by 64 to get the offset into the bitmask.  */
 165         srlx            %g5, 6, %g5
 166         sllx            %g5, 3, %g5
 167
 168         /* kern_linear_pte_xor[((mask & bit) ? 1 : 0)] */
 169         ldx             [%g2 + %g5], %g2
 170         andcc           %g2, %g7, %g0
 171         sethi           %hi(kern_linear_pte_xor), %g5
 172         or              %g5, %lo(kern_linear_pte_xor), %g5
 173         bne,a,pt        %xcc, 1f
 174          add            %g5, 8, %g5
 175
 176 1:      ldx             [%g5], %g2
 177
 178         .globl          kvmap_linear_patch
 179 kvmap_linear_patch:
 180         ba,pt           %xcc, kvmap_dtlb_tsb4m_load
 181          xor            %g2, %g4, %g5
 182
 183 kvmap_dtlb_vmalloc_addr:
 184         KERN_PGTABLE_WALK(%g4, %g5, %g2, kvmap_dtlb_longpath)
 185
 186         KTSB_LOCK_TAG(%g1, %g2, %g7)
 187
 188         /* Load and check PTE.  */
 189         ldxa            [%g5] ASI_PHYS_USE_EC, %g5
 190         mov             1, %g7
 191         sllx            %g7, TSB_TAG_INVALID_BIT, %g7
 192         brgez,a,pn      %g5, kvmap_dtlb_longpath
 193          KTSB_STORE(%g1, %g7)
 194
 195         KTSB_WRITE(%g1, %g5, %g6)
 196
 197         /* fallthrough to TLB load */
 198
 199 kvmap_dtlb_load:
 200
 201 661:    stxa            %g5, [%g0] ASI_DTLB_DATA_IN     ! Reload TLB
 202         retry
 203         .section        .sun4v_2insn_patch, "ax"
 204         .word           661b
 205         nop
 206         nop
 207         .previous
 208
 209         /* For sun4v the ASI_DTLB_DATA_IN store and the retry
 210          * instruction get nop'd out and we get here to branch
 211          * to the sun4v tlb load code.  The registers are setup
 212          * as follows:
 213          *
 214          * %g4: vaddr
 215          * %g5: PTE
 216          * %g6: TAG
 217          *
 218          * The sun4v TLB load wants the PTE in %g3 so we fix that
 219          * up here.
 220          */
 221         ba,pt           %xcc, sun4v_dtlb_load
 222          mov            %g5, %g3
 223
 224 kvmap_dtlb_nonlinear:
 225         /* Catch kernel NULL pointer derefs.  */
 226         sethi           %hi(PAGE_SIZE), %g5
 227         cmp             %g4, %g5
 228         bleu,pn         %xcc, kvmap_dtlb_longpath
 229          nop
 230
 231         KERN_TSB_LOOKUP_TL1(%g4, %g6, %g5, %g1, %g2, %g3, kvmap_dtlb_load)
 232
 233 kvmap_dtlb_tsbmiss:
 234         sethi           %hi(MODULES_VADDR), %g5
 235         cmp             %g4, %g5
 236         blu,pn          %xcc, kvmap_dtlb_longpath
 237          mov            (VMALLOC_END >> 24), %g5
 238         sllx            %g5, 24, %g5
 239         cmp             %g4, %g5
 240         bgeu,pn         %xcc, kvmap_dtlb_longpath
 241          nop
 242
 243 kvmap_check_obp:
 244         sethi           %hi(LOW_OBP_ADDRESS), %g5
 245         cmp             %g4, %g5
 246         blu,pn          %xcc, kvmap_dtlb_vmalloc_addr
 247          mov            0x1, %g5
 248         sllx            %g5, 32, %g5
 249         cmp             %g4, %g5
 250         blu,pn          %xcc, kvmap_dtlb_obp
 251          nop
 252         ba,pt           %xcc, kvmap_dtlb_vmalloc_addr
 253          nop
 254
 255 kvmap_dtlb_longpath:
 256
 257 661:    rdpr    %pstate, %g5
 258         wrpr    %g5, PSTATE_AG | PSTATE_MG, %pstate
 259         .section .sun4v_2insn_patch, "ax"
 260         .word   661b
 261         SET_GL(1)
 262         ldxa            [%g0] ASI_SCRATCHPAD, %g5
 263         .previous
 264
 265         rdpr    %tl, %g3
 266         cmp     %g3, 1
 267
 268 661:    mov     TLB_TAG_ACCESS, %g4
 269         ldxa    [%g4] ASI_DMMU, %g5
 270         .section .sun4v_2insn_patch, "ax"
 271         .word   661b
 272         ldx     [%g5 + HV_FAULT_D_ADDR_OFFSET], %g5
 273         nop
 274         .previous
 275
 276         be,pt   %xcc, sparc64_realfault_common
 277          mov    FAULT_CODE_DTLB, %g4
 278         ba,pt   %xcc, winfix_trampoline
 279          nop