arch/x86/include/asm/resctrl.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifndef _ASM_X86_RESCTRL_H
   3 #define _ASM_X86_RESCTRL_H
   4
   5 #ifdef CONFIG_X86_CPU_RESCTRL
   6
   7 #include <linux/sched.h>
   8 #include <linux/jump_label.h>
   9
  10 /**
  11  * struct resctrl_pqr_state - State cache for the PQR MSR
  12  * @cur_rmid:           The cached Resource Monitoring ID
  13  * @cur_closid: The cached Class Of Service ID
  14  * @default_rmid:       The user assigned Resource Monitoring ID
  15  * @default_closid:     The user assigned cached Class Of Service ID
  16  *
  17  * The upper 32 bits of MSR_IA32_PQR_ASSOC contain closid and the
  18  * lower 10 bits rmid. The update to MSR_IA32_PQR_ASSOC always
  19  * contains both parts, so we need to cache them. This also
  20  * stores the user configured per cpu CLOSID and RMID.
  21  *
  22  * The cache also helps to avoid pointless updates if the value does
  23  * not change.
  24  */
  25 struct resctrl_pqr_state {
  26         u32                     cur_rmid;
  27         u32                     cur_closid;
  28         u32                     default_rmid;
  29         u32                     default_closid;
  30 };
  31
  32 DECLARE_PER_CPU(struct resctrl_pqr_state, pqr_state);
  33
  34 DECLARE_STATIC_KEY_FALSE(rdt_enable_key);
  35 DECLARE_STATIC_KEY_FALSE(rdt_alloc_enable_key);
  36 DECLARE_STATIC_KEY_FALSE(rdt_mon_enable_key);
  37
  38 /*
  39  * __resctrl_sched_in() - Writes the task's CLOSid/RMID to IA32_PQR_MSR
  40  *
  41  * Following considerations are made so that this has minimal impact
  42  * on scheduler hot path:
  43  * - This will stay as no-op unless we are running on an Intel SKU
  44  *   which supports resource control or monitoring and we enable by
  45  *   mounting the resctrl file system.
  46  * - Caches the per cpu CLOSid/RMID values and does the MSR write only
  47  *   when a task with a different CLOSid/RMID is scheduled in.
  48  * - We allocate RMIDs/CLOSids globally in order to keep this as
  49  *   simple as possible.
  50  * Must be called with preemption disabled.
  51  */
  52 static inline void __resctrl_sched_in(struct task_struct *tsk)
  53 {
  54         struct resctrl_pqr_state *state = this_cpu_ptr(&pqr_state);
  55         u32 closid = state->default_closid;
  56         u32 rmid = state->default_rmid;
  57         u32 tmp;
  58
  59         /*
  60          * If this task has a closid/rmid assigned, use it.
  61          * Else use the closid/rmid assigned to this cpu.
  62          */
  63         if (static_branch_likely(&rdt_alloc_enable_key)) {
  64                 tmp = READ_ONCE(tsk->closid);
  65                 if (tmp)
  66                         closid = tmp;
  67         }
  68
  69         if (static_branch_likely(&rdt_mon_enable_key)) {
  70                 tmp = READ_ONCE(tsk->rmid);
  71                 if (tmp)
  72                         rmid = tmp;
  73         }
  74
  75         if (closid != state->cur_closid || rmid != state->cur_rmid) {
  76                 state->cur_closid = closid;
  77                 state->cur_rmid = rmid;
  78                 wrmsr(MSR_IA32_PQR_ASSOC, rmid, closid);
  79         }
  80 }
  81
  82 static inline unsigned int resctrl_arch_round_mon_val(unsigned int val)
  83 {
  84         unsigned int scale = boot_cpu_data.x86_cache_occ_scale;
  85
  86         /* h/w works in units of "boot_cpu_data.x86_cache_occ_scale" */
  87         val /= scale;
  88         return val * scale;
  89 }
  90
  91 static inline void resctrl_sched_in(struct task_struct *tsk)
  92 {
  93         if (static_branch_likely(&rdt_enable_key))
  94                 __resctrl_sched_in(tsk);
  95 }
  96
  97 void resctrl_cpu_detect(struct cpuinfo_x86 *c);
  98
  99 #else
 100
 101 static inline void resctrl_sched_in(struct task_struct *tsk) {}
 102 static inline void resctrl_cpu_detect(struct cpuinfo_x86 *c) {}
 103
 104 #endif /* CONFIG_X86_CPU_RESCTRL */
 105
 106 #endif /* _ASM_X86_RESCTRL_H */