arch/arm64/kernel/bpi.S

   1 /*
   2  * Contains CPU specific branch predictor invalidation sequences
   3  *
   4  * Copyright (C) 2018 ARM Ltd.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License
  16  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  17  */
  18
  19 #include <linux/linkage.h>
  20 #include <linux/arm-smccc.h>
  21
  22 .macro ventry target
  23         .rept 31
  24         nop
  25         .endr
  26         b       \target
  27 .endm
  28
  29 .macro vectors target
  30         ventry \target + 0x000
  31         ventry \target + 0x080
  32         ventry \target + 0x100
  33         ventry \target + 0x180
  34
  35         ventry \target + 0x200
  36         ventry \target + 0x280
  37         ventry \target + 0x300
  38         ventry \target + 0x380
  39
  40         ventry \target + 0x400
  41         ventry \target + 0x480
  42         ventry \target + 0x500
  43         ventry \target + 0x580
  44
  45         ventry \target + 0x600
  46         ventry \target + 0x680
  47         ventry \target + 0x700
  48         ventry \target + 0x780
  49 .endm
  50
  51         .align  11
  52 ENTRY(__bp_harden_hyp_vecs_start)
  53         .rept 4
  54         vectors __kvm_hyp_vector
  55         .endr
  56 ENTRY(__bp_harden_hyp_vecs_end)
  57
  58 ENTRY(__qcom_hyp_sanitize_link_stack_start)
  59         stp     x29, x30, [sp, #-16]!
  60         .rept   16
  61         bl      . + 4
  62         .endr
  63         ldp     x29, x30, [sp], #16
  64 ENTRY(__qcom_hyp_sanitize_link_stack_end)
  65
  66 .macro smccc_workaround_1 inst
  67         sub     sp, sp, #(8 * 4)
  68         stp     x2, x3, [sp, #(8 * 0)]
  69         stp     x0, x1, [sp, #(8 * 2)]
  70         mov     w0, #ARM_SMCCC_ARCH_WORKAROUND_1
  71         \inst   #0
  72         ldp     x2, x3, [sp, #(8 * 0)]
  73         ldp     x0, x1, [sp, #(8 * 2)]
  74         add     sp, sp, #(8 * 4)
  75 .endm
  76
  77 ENTRY(__smccc_workaround_1_smc_start)
  78         smccc_workaround_1      smc
  79 ENTRY(__smccc_workaround_1_smc_end)
  80
  81 ENTRY(__smccc_workaround_1_hvc_start)
  82         smccc_workaround_1      hvc
  83 ENTRY(__smccc_workaround_1_hvc_end)