arch/arm64/kvm/hyp/nvhe/host.S

   1 /* SPDX-License-Identifier: GPL-2.0-only */
   2 /*
   3  * Copyright (C) 2020 - Google Inc
   4  * Author: Andrew Scull <ascull@google.com>
   5  */
   6
   7 #include <linux/linkage.h>
   8
   9 #include <asm/assembler.h>
  10 #include <asm/kvm_asm.h>
  11 #include <asm/kvm_mmu.h>
  12
  13         .text
  14
  15 SYM_FUNC_START(__host_exit)
  16         get_host_ctxt   x0, x1
  17
  18         /* Store the host regs x2 and x3 */
  19         stp     x2, x3,   [x0, #CPU_XREG_OFFSET(2)]
  20
  21         /* Retrieve the host regs x0-x1 from the stack */
  22         ldp     x2, x3, [sp], #16       // x0, x1
  23
  24         /* Store the host regs x0-x1 and x4-x17 */
  25         stp     x2, x3,   [x0, #CPU_XREG_OFFSET(0)]
  26         stp     x4, x5,   [x0, #CPU_XREG_OFFSET(4)]
  27         stp     x6, x7,   [x0, #CPU_XREG_OFFSET(6)]
  28         stp     x8, x9,   [x0, #CPU_XREG_OFFSET(8)]
  29         stp     x10, x11, [x0, #CPU_XREG_OFFSET(10)]
  30         stp     x12, x13, [x0, #CPU_XREG_OFFSET(12)]
  31         stp     x14, x15, [x0, #CPU_XREG_OFFSET(14)]
  32         stp     x16, x17, [x0, #CPU_XREG_OFFSET(16)]
  33
  34         /* Store the host regs x18-x29, lr */
  35         save_callee_saved_regs x0
  36
  37         /* Save the host context pointer in x29 across the function call */
  38         mov     x29, x0
  39         bl      handle_trap
  40
  41         /* Restore host regs x0-x17 */
  42 __host_enter_restore_full:
  43         ldp     x0, x1,   [x29, #CPU_XREG_OFFSET(0)]
  44         ldp     x2, x3,   [x29, #CPU_XREG_OFFSET(2)]
  45         ldp     x4, x5,   [x29, #CPU_XREG_OFFSET(4)]
  46         ldp     x6, x7,   [x29, #CPU_XREG_OFFSET(6)]
  47
  48         /* x0-7 are use for panic arguments */
  49 __host_enter_for_panic:
  50         ldp     x8, x9,   [x29, #CPU_XREG_OFFSET(8)]
  51         ldp     x10, x11, [x29, #CPU_XREG_OFFSET(10)]
  52         ldp     x12, x13, [x29, #CPU_XREG_OFFSET(12)]
  53         ldp     x14, x15, [x29, #CPU_XREG_OFFSET(14)]
  54         ldp     x16, x17, [x29, #CPU_XREG_OFFSET(16)]
  55
  56         /* Restore host regs x18-x29, lr */
  57         restore_callee_saved_regs x29
  58
  59         /* Do not touch any register after this! */
  60 __host_enter_without_restoring:
  61         eret
  62         sb
  63 SYM_FUNC_END(__host_exit)
  64
  65 /*
  66  * void __noreturn __host_enter(struct kvm_cpu_context *host_ctxt);
  67  */
  68 SYM_FUNC_START(__host_enter)
  69         mov     x29, x0
  70         b       __host_enter_restore_full
  71 SYM_FUNC_END(__host_enter)
  72
  73 /*
  74  * void __noreturn __hyp_do_panic(bool restore_host, u64 spsr, u64 elr, u64 par);
  75  */
  76 SYM_FUNC_START(__hyp_do_panic)
  77         /* Prepare and exit to the host's panic funciton. */
  78         mov     lr, #(PSR_F_BIT | PSR_I_BIT | PSR_A_BIT | PSR_D_BIT |\
  79                       PSR_MODE_EL1h)
  80         msr     spsr_el2, lr
  81         ldr     lr, =panic
  82         hyp_kimg_va lr, x6
  83         msr     elr_el2, lr
  84
  85         /* Set the panic format string. Use the, now free, LR as scratch. */
  86         ldr     lr, =__hyp_panic_string
  87         hyp_kimg_va lr, x6
  88
  89         /* Load the format arguments into x1-7. */
  90         mov     x6, x3
  91         get_vcpu_ptr x7, x3
  92         mrs     x3, esr_el2
  93         mrs     x4, far_el2
  94         mrs     x5, hpfar_el2
  95
  96         /* Enter the host, conditionally restoring the host context. */
  97         cmp     x0, xzr
  98         mov     x0, lr
  99         b.eq    __host_enter_without_restoring
 100         b       __host_enter_for_panic
 101 SYM_FUNC_END(__hyp_do_panic)
 102
 103 .macro host_el1_sync_vect
 104         .align 7
 105 .L__vect_start\@:
 106         stp     x0, x1, [sp, #-16]!
 107         mrs     x0, esr_el2
 108         lsr     x0, x0, #ESR_ELx_EC_SHIFT
 109         cmp     x0, #ESR_ELx_EC_HVC64
 110         b.ne    __host_exit
 111
 112         ldp     x0, x1, [sp]            // Don't fixup the stack yet
 113
 114         /* Check for a stub HVC call */
 115         cmp     x0, #HVC_STUB_HCALL_NR
 116         b.hs    __host_exit
 117
 118         add     sp, sp, #16
 119         /*
 120          * Compute the idmap address of __kvm_handle_stub_hvc and
 121          * jump there. Since we use kimage_voffset, do not use the
 122          * HYP VA for __kvm_handle_stub_hvc, but the kernel VA instead
 123          * (by loading it from the constant pool).
 124          *
 125          * Preserve x0-x4, which may contain stub parameters.
 126          */
 127         ldr     x5, =__kvm_handle_stub_hvc
 128         hyp_pa  x5, x6
 129         br      x5
 130 .L__vect_end\@:
 131 .if ((.L__vect_end\@ - .L__vect_start\@) > 0x80)
 132         .error "host_el1_sync_vect larger than vector entry"
 133 .endif
 134 .endm
 135
 136 .macro invalid_host_el2_vect
 137         .align 7
 138         /* If a guest is loaded, panic out of it. */
 139         stp     x0, x1, [sp, #-16]!
 140         get_loaded_vcpu x0, x1
 141         cbnz    x0, __guest_exit_panic
 142         add     sp, sp, #16
 143
 144         /*
 145          * The panic may not be clean if the exception is taken before the host
 146          * context has been saved by __host_exit or after the hyp context has
 147          * been partially clobbered by __host_enter.
 148          */
 149         b       hyp_panic
 150 .endm
 151
 152 .macro invalid_host_el1_vect
 153         .align 7
 154         mov     x0, xzr         /* restore_host = false */
 155         mrs     x1, spsr_el2
 156         mrs     x2, elr_el2
 157         mrs     x3, par_el1
 158         b       __hyp_do_panic
 159 .endm
 160
 161 /*
 162  * The host vector does not use an ESB instruction in order to avoid consuming
 163  * SErrors that should only be consumed by the host. Guest entry is deferred by
 164  * __guest_enter if there are any pending asynchronous exceptions so hyp will
 165  * always return to the host without having consumerd host SErrors.
 166  *
 167  * CONFIG_KVM_INDIRECT_VECTORS is not applied to the host vectors because the
 168  * host knows about the EL2 vectors already, and there is no point in hiding
 169  * them.
 170  */
 171         .align 11
 172 SYM_CODE_START(__kvm_hyp_host_vector)
 173         invalid_host_el2_vect                   // Synchronous EL2t
 174         invalid_host_el2_vect                   // IRQ EL2t
 175         invalid_host_el2_vect                   // FIQ EL2t
 176         invalid_host_el2_vect                   // Error EL2t
 177
 178         invalid_host_el2_vect                   // Synchronous EL2h
 179         invalid_host_el2_vect                   // IRQ EL2h
 180         invalid_host_el2_vect                   // FIQ EL2h
 181         invalid_host_el2_vect                   // Error EL2h
 182
 183         host_el1_sync_vect                      // Synchronous 64-bit EL1
 184         invalid_host_el1_vect                   // IRQ 64-bit EL1
 185         invalid_host_el1_vect                   // FIQ 64-bit EL1
 186         invalid_host_el1_vect                   // Error 64-bit EL1
 187
 188         invalid_host_el1_vect                   // Synchronous 32-bit EL1
 189         invalid_host_el1_vect                   // IRQ 32-bit EL1
 190         invalid_host_el1_vect                   // FIQ 32-bit EL1
 191         invalid_host_el1_vect                   // Error 32-bit EL1
 192 SYM_CODE_END(__kvm_hyp_host_vector)
 193
 194 /*
 195  * Forward SMC with arguments in struct kvm_cpu_context, and
 196  * store the result into the same struct. Assumes SMCCC 1.2 or older.
 197  *
 198  * x0: struct kvm_cpu_context*
 199  */
 200 SYM_CODE_START(__kvm_hyp_host_forward_smc)
 201         /*
 202          * Use x18 to keep the pointer to the host context because
 203          * x18 is callee-saved in SMCCC but not in AAPCS64.
 204          */
 205         mov     x18, x0
 206
 207         ldp     x0, x1,   [x18, #CPU_XREG_OFFSET(0)]
 208         ldp     x2, x3,   [x18, #CPU_XREG_OFFSET(2)]
 209         ldp     x4, x5,   [x18, #CPU_XREG_OFFSET(4)]
 210         ldp     x6, x7,   [x18, #CPU_XREG_OFFSET(6)]
 211         ldp     x8, x9,   [x18, #CPU_XREG_OFFSET(8)]
 212         ldp     x10, x11, [x18, #CPU_XREG_OFFSET(10)]
 213         ldp     x12, x13, [x18, #CPU_XREG_OFFSET(12)]
 214         ldp     x14, x15, [x18, #CPU_XREG_OFFSET(14)]
 215         ldp     x16, x17, [x18, #CPU_XREG_OFFSET(16)]
 216
 217         smc     #0
 218
 219         stp     x0, x1,   [x18, #CPU_XREG_OFFSET(0)]
 220         stp     x2, x3,   [x18, #CPU_XREG_OFFSET(2)]
 221         stp     x4, x5,   [x18, #CPU_XREG_OFFSET(4)]
 222         stp     x6, x7,   [x18, #CPU_XREG_OFFSET(6)]
 223         stp     x8, x9,   [x18, #CPU_XREG_OFFSET(8)]
 224         stp     x10, x11, [x18, #CPU_XREG_OFFSET(10)]
 225         stp     x12, x13, [x18, #CPU_XREG_OFFSET(12)]
 226         stp     x14, x15, [x18, #CPU_XREG_OFFSET(14)]
 227         stp     x16, x17, [x18, #CPU_XREG_OFFSET(16)]
 228
 229         ret
 230 SYM_CODE_END(__kvm_hyp_host_forward_smc)