arch/x86/mm/mem_encrypt.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  * Memory Encryption Support Common Code
   4  *
   5  * Copyright (C) 2016 Advanced Micro Devices, Inc.
   6  *
   7  * Author: Tom Lendacky <thomas.lendacky@amd.com>
   8  */
   9
  10 #include <linux/dma-direct.h>
  11 #include <linux/dma-mapping.h>
  12 #include <linux/swiotlb.h>
  13 #include <linux/cc_platform.h>
  14 #include <linux/mem_encrypt.h>
  15 #include <linux/virtio_anchor.h>
  16
  17 /* Override for DMA direct allocation check - ARCH_HAS_FORCE_DMA_UNENCRYPTED */
  18 bool force_dma_unencrypted(struct device *dev)
  19 {
  20         /*
  21          * For SEV, all DMA must be to unencrypted addresses.
  22          */
  23         if (cc_platform_has(CC_ATTR_GUEST_MEM_ENCRYPT))
  24                 return true;
  25
  26         /*
  27          * For SME, all DMA must be to unencrypted addresses if the
  28          * device does not support DMA to addresses that include the
  29          * encryption mask.
  30          */
  31         if (cc_platform_has(CC_ATTR_HOST_MEM_ENCRYPT)) {
  32                 u64 dma_enc_mask = DMA_BIT_MASK(__ffs64(sme_me_mask));
  33                 u64 dma_dev_mask = min_not_zero(dev->coherent_dma_mask,
  34                                                 dev->bus_dma_limit);
  35
  36                 if (dma_dev_mask <= dma_enc_mask)
  37                         return true;
  38         }
  39
  40         return false;
  41 }
  42
  43 static void print_mem_encrypt_feature_info(void)
  44 {
  45         pr_info("Memory Encryption Features active: ");
  46
  47         switch (cc_vendor) {
  48         case CC_VENDOR_INTEL:
  49                 pr_cont("Intel TDX\n");
  50                 break;
  51         case CC_VENDOR_AMD:
  52                 pr_cont("AMD");
  53
  54                 /* Secure Memory Encryption */
  55                 if (cc_platform_has(CC_ATTR_HOST_MEM_ENCRYPT)) {
  56                 /*
  57                  * SME is mutually exclusive with any of the SEV
  58                  * features below.
  59                 */
  60                         pr_cont(" SME\n");
  61                         return;
  62                 }
  63
  64                 /* Secure Encrypted Virtualization */
  65                 if (cc_platform_has(CC_ATTR_GUEST_MEM_ENCRYPT))
  66                         pr_cont(" SEV");
  67
  68                 /* Encrypted Register State */
  69                 if (cc_platform_has(CC_ATTR_GUEST_STATE_ENCRYPT))
  70                         pr_cont(" SEV-ES");
  71
  72                 /* Secure Nested Paging */
  73                 if (cc_platform_has(CC_ATTR_GUEST_SEV_SNP))
  74                         pr_cont(" SEV-SNP");
  75
  76                 pr_cont("\n");
  77                 break;
  78         default:
  79                 pr_cont("Unknown\n");
  80         }
  81 }
  82
  83 /* Architecture __weak replacement functions */
  84 void __init mem_encrypt_init(void)
  85 {
  86         if (!cc_platform_has(CC_ATTR_MEM_ENCRYPT))
  87                 return;
  88
  89         /* Call into SWIOTLB to update the SWIOTLB DMA buffers */
  90         swiotlb_update_mem_attributes();
  91
  92         print_mem_encrypt_feature_info();
  93 }
  94
  95 void __init mem_encrypt_setup_arch(void)
  96 {
  97         phys_addr_t total_mem = memblock_phys_mem_size();
  98         unsigned long size;
  99
 100         if (!cc_platform_has(CC_ATTR_GUEST_MEM_ENCRYPT))
 101                 return;
 102
 103         /*
 104          * For SEV and TDX, all DMA has to occur via shared/unencrypted pages.
 105          * Kernel uses SWIOTLB to make this happen without changing device
 106          * drivers. However, depending on the workload being run, the
 107          * default 64MB of SWIOTLB may not be enough and SWIOTLB may
 108          * run out of buffers for DMA, resulting in I/O errors and/or
 109          * performance degradation especially with high I/O workloads.
 110          *
 111          * Adjust the default size of SWIOTLB using a percentage of guest
 112          * memory for SWIOTLB buffers. Also, as the SWIOTLB bounce buffer
 113          * memory is allocated from low memory, ensure that the adjusted size
 114          * is within the limits of low available memory.
 115          *
 116          * The percentage of guest memory used here for SWIOTLB buffers
 117          * is more of an approximation of the static adjustment which
 118          * 64MB for <1G, and ~128M to 256M for 1G-to-4G, i.e., the 6%
 119          */
 120         size = total_mem * 6 / 100;
 121         size = clamp_val(size, IO_TLB_DEFAULT_SIZE, SZ_1G);
 122         swiotlb_adjust_size(size);
 123
 124         /* Set restricted memory access for virtio. */
 125         virtio_set_mem_acc_cb(virtio_require_restricted_mem_acc);
 126 }