b29c3bfdc599794ab2c44b1648e1e2cea7590243
[sfrench/cifs-2.6.git] / drivers / gpu / drm / i915 / gvt / handlers.c
1 /*
2  * Copyright(c) 2011-2016 Intel Corporation. All rights reserved.
3  *
4  * Permission is hereby granted, free of charge, to any person obtaining a
5  * copy of this software and associated documentation files (the "Software"),
6  * to deal in the Software without restriction, including without limitation
7  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
8  * and/or sell copies of the Software, and to permit persons to whom the
9  * Software is furnished to do so, subject to the following conditions:
10  *
11  * The above copyright notice and this permission notice (including the next
12  * paragraph) shall be included in all copies or substantial portions of the
13  * Software.
14  *
15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
18  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
20  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
21  * SOFTWARE.
22  *
23  * Authors:
24  *    Kevin Tian <kevin.tian@intel.com>
25  *    Eddie Dong <eddie.dong@intel.com>
26  *    Zhiyuan Lv <zhiyuan.lv@intel.com>
27  *
28  * Contributors:
29  *    Min He <min.he@intel.com>
30  *    Tina Zhang <tina.zhang@intel.com>
31  *    Pei Zhang <pei.zhang@intel.com>
32  *    Niu Bing <bing.niu@intel.com>
33  *    Ping Gao <ping.a.gao@intel.com>
34  *    Zhi Wang <zhi.a.wang@intel.com>
35  *
36
37  */
38
39 #include "i915_drv.h"
40
41 /* XXX FIXME i915 has changed PP_XXX definition */
42 #define PCH_PP_STATUS  _MMIO(0xc7200)
43 #define PCH_PP_CONTROL _MMIO(0xc7204)
44 #define PCH_PP_ON_DELAYS _MMIO(0xc7208)
45 #define PCH_PP_OFF_DELAYS _MMIO(0xc720c)
46 #define PCH_PP_DIVISOR _MMIO(0xc7210)
47
48 /* Register contains RO bits */
49 #define F_RO            (1 << 0)
50 /* Register contains graphics address */
51 #define F_GMADR         (1 << 1)
52 /* Mode mask registers with high 16 bits as the mask bits */
53 #define F_MODE_MASK     (1 << 2)
54 /* This reg can be accessed by GPU commands */
55 #define F_CMD_ACCESS    (1 << 3)
56 /* This reg has been accessed by a VM */
57 #define F_ACCESSED      (1 << 4)
58 /* This reg has been accessed through GPU commands */
59 #define F_CMD_ACCESSED  (1 << 5)
60 /* This reg could be accessed by unaligned address */
61 #define F_UNALIGN       (1 << 6)
62
63 unsigned long intel_gvt_get_device_type(struct intel_gvt *gvt)
64 {
65         if (IS_BROADWELL(gvt->dev_priv))
66                 return D_BDW;
67         else if (IS_SKYLAKE(gvt->dev_priv))
68                 return D_SKL;
69
70         return 0;
71 }
72
73 bool intel_gvt_match_device(struct intel_gvt *gvt,
74                 unsigned long device)
75 {
76         return intel_gvt_get_device_type(gvt) & device;
77 }
78
79 static void read_vreg(struct intel_vgpu *vgpu, unsigned int offset,
80         void *p_data, unsigned int bytes)
81 {
82         memcpy(p_data, &vgpu_vreg(vgpu, offset), bytes);
83 }
84
85 static void write_vreg(struct intel_vgpu *vgpu, unsigned int offset,
86         void *p_data, unsigned int bytes)
87 {
88         memcpy(&vgpu_vreg(vgpu, offset), p_data, bytes);
89 }
90
91 static int new_mmio_info(struct intel_gvt *gvt,
92                 u32 offset, u32 flags, u32 size,
93                 u32 addr_mask, u32 ro_mask, u32 device,
94                 void *read, void *write)
95 {
96         struct intel_gvt_mmio_info *info, *p;
97         u32 start, end, i;
98
99         if (!intel_gvt_match_device(gvt, device))
100                 return 0;
101
102         if (WARN_ON(!IS_ALIGNED(offset, 4)))
103                 return -EINVAL;
104
105         start = offset;
106         end = offset + size;
107
108         for (i = start; i < end; i += 4) {
109                 info = kzalloc(sizeof(*info), GFP_KERNEL);
110                 if (!info)
111                         return -ENOMEM;
112
113                 info->offset = i;
114                 p = intel_gvt_find_mmio_info(gvt, info->offset);
115                 if (p)
116                         gvt_err("dup mmio definition offset %x\n",
117                                 info->offset);
118                 info->size = size;
119                 info->length = (i + 4) < end ? 4 : (end - i);
120                 info->addr_mask = addr_mask;
121                 info->device = device;
122                 info->read = read ? read : intel_vgpu_default_mmio_read;
123                 info->write = write ? write : intel_vgpu_default_mmio_write;
124                 gvt->mmio.mmio_attribute[info->offset / 4] = flags;
125                 INIT_HLIST_NODE(&info->node);
126                 hash_add(gvt->mmio.mmio_info_table, &info->node, info->offset);
127         }
128         return 0;
129 }
130
131 #define offset_to_fence_num(offset) \
132         ((offset - i915_mmio_reg_offset(FENCE_REG_GEN6_LO(0))) >> 3)
133
134 #define fence_num_to_offset(num) \
135         (num * 8 + i915_mmio_reg_offset(FENCE_REG_GEN6_LO(0)))
136
137 static int sanitize_fence_mmio_access(struct intel_vgpu *vgpu,
138                 unsigned int fence_num, void *p_data, unsigned int bytes)
139 {
140         if (fence_num >= vgpu_fence_sz(vgpu)) {
141                 gvt_err("vgpu%d: found oob fence register access\n",
142                                 vgpu->id);
143                 gvt_err("vgpu%d: total fence num %d access fence num %d\n",
144                                 vgpu->id, vgpu_fence_sz(vgpu), fence_num);
145                 memset(p_data, 0, bytes);
146         }
147         return 0;
148 }
149
150 static int fence_mmio_read(struct intel_vgpu *vgpu, unsigned int off,
151                 void *p_data, unsigned int bytes)
152 {
153         int ret;
154
155         ret = sanitize_fence_mmio_access(vgpu, offset_to_fence_num(off),
156                         p_data, bytes);
157         if (ret)
158                 return ret;
159         read_vreg(vgpu, off, p_data, bytes);
160         return 0;
161 }
162
163 static int fence_mmio_write(struct intel_vgpu *vgpu, unsigned int off,
164                 void *p_data, unsigned int bytes)
165 {
166         unsigned int fence_num = offset_to_fence_num(off);
167         int ret;
168
169         ret = sanitize_fence_mmio_access(vgpu, fence_num, p_data, bytes);
170         if (ret)
171                 return ret;
172         write_vreg(vgpu, off, p_data, bytes);
173
174         intel_vgpu_write_fence(vgpu, fence_num,
175                         vgpu_vreg64(vgpu, fence_num_to_offset(fence_num)));
176         return 0;
177 }
178
179 #define CALC_MODE_MASK_REG(old, new) \
180         (((new) & GENMASK(31, 16)) \
181          | ((((old) & GENMASK(15, 0)) & ~((new) >> 16)) \
182          | ((new) & ((new) >> 16))))
183
184 static int mul_force_wake_write(struct intel_vgpu *vgpu,
185                 unsigned int offset, void *p_data, unsigned int bytes)
186 {
187         u32 old, new;
188         uint32_t ack_reg_offset;
189
190         old = vgpu_vreg(vgpu, offset);
191         new = CALC_MODE_MASK_REG(old, *(u32 *)p_data);
192
193         if (IS_SKYLAKE(vgpu->gvt->dev_priv)) {
194                 switch (offset) {
195                 case FORCEWAKE_RENDER_GEN9_REG:
196                         ack_reg_offset = FORCEWAKE_ACK_RENDER_GEN9_REG;
197                         break;
198                 case FORCEWAKE_BLITTER_GEN9_REG:
199                         ack_reg_offset = FORCEWAKE_ACK_BLITTER_GEN9_REG;
200                         break;
201                 case FORCEWAKE_MEDIA_GEN9_REG:
202                         ack_reg_offset = FORCEWAKE_ACK_MEDIA_GEN9_REG;
203                         break;
204                 default:
205                         /*should not hit here*/
206                         gvt_err("invalid forcewake offset 0x%x\n", offset);
207                         return 1;
208                 }
209         } else {
210                 ack_reg_offset = FORCEWAKE_ACK_HSW_REG;
211         }
212
213         vgpu_vreg(vgpu, offset) = new;
214         vgpu_vreg(vgpu, ack_reg_offset) = (new & GENMASK(15, 0));
215         return 0;
216 }
217
218 static int gdrst_mmio_write(struct intel_vgpu *vgpu, unsigned int offset,
219                 void *p_data, unsigned int bytes)
220 {
221         u32 data;
222         u32 bitmap = 0;
223
224         data = vgpu_vreg(vgpu, offset);
225
226         if (data & GEN6_GRDOM_FULL) {
227                 gvt_dbg_mmio("vgpu%d: request full GPU reset\n", vgpu->id);
228                 bitmap = 0xff;
229         }
230         if (data & GEN6_GRDOM_RENDER) {
231                 gvt_dbg_mmio("vgpu%d: request RCS reset\n", vgpu->id);
232                 bitmap |= (1 << RCS);
233         }
234         if (data & GEN6_GRDOM_MEDIA) {
235                 gvt_dbg_mmio("vgpu%d: request VCS reset\n", vgpu->id);
236                 bitmap |= (1 << VCS);
237         }
238         if (data & GEN6_GRDOM_BLT) {
239                 gvt_dbg_mmio("vgpu%d: request BCS Reset\n", vgpu->id);
240                 bitmap |= (1 << BCS);
241         }
242         if (data & GEN6_GRDOM_VECS) {
243                 gvt_dbg_mmio("vgpu%d: request VECS Reset\n", vgpu->id);
244                 bitmap |= (1 << VECS);
245         }
246         if (data & GEN8_GRDOM_MEDIA2) {
247                 gvt_dbg_mmio("vgpu%d: request VCS2 Reset\n", vgpu->id);
248                 if (HAS_BSD2(vgpu->gvt->dev_priv))
249                         bitmap |= (1 << VCS2);
250         }
251         return 0;
252 }
253
254 #define _vgtif_reg(x) \
255         (VGT_PVINFO_PAGE + offsetof(struct vgt_if, x))
256
257 static int pvinfo_mmio_read(struct intel_vgpu *vgpu, unsigned int offset,
258                 void *p_data, unsigned int bytes)
259 {
260         bool invalid_read = false;
261
262         read_vreg(vgpu, offset, p_data, bytes);
263
264         switch (offset) {
265         case _vgtif_reg(magic) ... _vgtif_reg(vgt_id):
266                 if (offset + bytes > _vgtif_reg(vgt_id) + 4)
267                         invalid_read = true;
268                 break;
269         case _vgtif_reg(avail_rs.mappable_gmadr.base) ...
270                 _vgtif_reg(avail_rs.fence_num):
271                 if (offset + bytes >
272                         _vgtif_reg(avail_rs.fence_num) + 4)
273                         invalid_read = true;
274                 break;
275         case 0x78010:   /* vgt_caps */
276         case 0x7881c:
277                 break;
278         default:
279                 invalid_read = true;
280                 break;
281         }
282         if (invalid_read)
283                 gvt_err("invalid pvinfo read: [%x:%x] = %x\n",
284                                 offset, bytes, *(u32 *)p_data);
285         return 0;
286 }
287
288 static int handle_g2v_notification(struct intel_vgpu *vgpu, int notification)
289 {
290         int ret = 0;
291
292         switch (notification) {
293         case VGT_G2V_PPGTT_L3_PAGE_TABLE_CREATE:
294                 ret = intel_vgpu_g2v_create_ppgtt_mm(vgpu, 3);
295                 break;
296         case VGT_G2V_PPGTT_L3_PAGE_TABLE_DESTROY:
297                 ret = intel_vgpu_g2v_destroy_ppgtt_mm(vgpu, 3);
298                 break;
299         case VGT_G2V_PPGTT_L4_PAGE_TABLE_CREATE:
300                 ret = intel_vgpu_g2v_create_ppgtt_mm(vgpu, 4);
301                 break;
302         case VGT_G2V_PPGTT_L4_PAGE_TABLE_DESTROY:
303                 ret = intel_vgpu_g2v_destroy_ppgtt_mm(vgpu, 4);
304                 break;
305         case VGT_G2V_EXECLIST_CONTEXT_CREATE:
306         case VGT_G2V_EXECLIST_CONTEXT_DESTROY:
307         case 1: /* Remove this in guest driver. */
308                 break;
309         default:
310                 gvt_err("Invalid PV notification %d\n", notification);
311         }
312         return ret;
313 }
314
315 static int pvinfo_mmio_write(struct intel_vgpu *vgpu, unsigned int offset,
316                 void *p_data, unsigned int bytes)
317 {
318         u32 data;
319         int ret;
320
321         write_vreg(vgpu, offset, p_data, bytes);
322         data = vgpu_vreg(vgpu, offset);
323
324         switch (offset) {
325         case _vgtif_reg(display_ready):
326         case _vgtif_reg(g2v_notify):
327                 ret = handle_g2v_notification(vgpu, data);
328                 break;
329         /* add xhot and yhot to handled list to avoid error log */
330         case 0x78830:
331         case 0x78834:
332         case _vgtif_reg(pdp[0].lo):
333         case _vgtif_reg(pdp[0].hi):
334         case _vgtif_reg(pdp[1].lo):
335         case _vgtif_reg(pdp[1].hi):
336         case _vgtif_reg(pdp[2].lo):
337         case _vgtif_reg(pdp[2].hi):
338         case _vgtif_reg(pdp[3].lo):
339         case _vgtif_reg(pdp[3].hi):
340         case _vgtif_reg(execlist_context_descriptor_lo):
341         case _vgtif_reg(execlist_context_descriptor_hi):
342                 break;
343         default:
344                 gvt_err("invalid pvinfo write offset %x bytes %x data %x\n",
345                                 offset, bytes, data);
346                 break;
347         }
348         return 0;
349 }
350
351 static int fpga_dbg_mmio_write(struct intel_vgpu *vgpu,
352         unsigned int offset, void *p_data, unsigned int bytes)
353 {
354         write_vreg(vgpu, offset, p_data, bytes);
355
356         if (vgpu_vreg(vgpu, offset) & FPGA_DBG_RM_NOCLAIM)
357                 vgpu_vreg(vgpu, offset) &= ~FPGA_DBG_RM_NOCLAIM;
358         return 0;
359 }
360
361 static int dma_ctrl_write(struct intel_vgpu *vgpu, unsigned int offset,
362                 void *p_data, unsigned int bytes)
363 {
364         u32 mode = *(u32 *)p_data;
365
366         if (GFX_MODE_BIT_SET_IN_MASK(mode, START_DMA)) {
367                 WARN_ONCE(1, "VM(%d): iGVT-g doesn't supporte GuC\n",
368                                 vgpu->id);
369                 return 0;
370         }
371
372         return 0;
373 }
374
375 static int gen9_trtte_write(struct intel_vgpu *vgpu, unsigned int offset,
376                 void *p_data, unsigned int bytes)
377 {
378         struct drm_i915_private *dev_priv = vgpu->gvt->dev_priv;
379         u32 trtte = *(u32 *)p_data;
380
381         if ((trtte & 1) && (trtte & (1 << 1)) == 0) {
382                 WARN(1, "VM(%d): Use physical address for TRTT!\n",
383                                 vgpu->id);
384                 return -EINVAL;
385         }
386         write_vreg(vgpu, offset, p_data, bytes);
387         /* TRTTE is not per-context */
388         I915_WRITE(_MMIO(offset), vgpu_vreg(vgpu, offset));
389
390         return 0;
391 }
392
393 static int gen9_trtt_chicken_write(struct intel_vgpu *vgpu, unsigned int offset,
394                 void *p_data, unsigned int bytes)
395 {
396         struct drm_i915_private *dev_priv = vgpu->gvt->dev_priv;
397         u32 val = *(u32 *)p_data;
398
399         if (val & 1) {
400                 /* unblock hw logic */
401                 I915_WRITE(_MMIO(offset), val);
402         }
403         write_vreg(vgpu, offset, p_data, bytes);
404         return 0;
405 }
406
407 #define MMIO_F(reg, s, f, am, rm, d, r, w) do { \
408         ret = new_mmio_info(gvt, INTEL_GVT_MMIO_OFFSET(reg), \
409                 f, s, am, rm, d, r, w); \
410         if (ret) \
411                 return ret; \
412 } while (0)
413
414 #define MMIO_D(reg, d) \
415         MMIO_F(reg, 4, 0, 0, 0, d, NULL, NULL)
416
417 #define MMIO_DH(reg, d, r, w) \
418         MMIO_F(reg, 4, 0, 0, 0, d, r, w)
419
420 #define MMIO_DFH(reg, d, f, r, w) \
421         MMIO_F(reg, 4, f, 0, 0, d, r, w)
422
423 #define MMIO_GM(reg, d, r, w) \
424         MMIO_F(reg, 4, F_GMADR, 0xFFFFF000, 0, d, r, w)
425
426 #define MMIO_RO(reg, d, f, rm, r, w) \
427         MMIO_F(reg, 4, F_RO | f, 0, rm, d, r, w)
428
429 #define MMIO_RING_F(prefix, s, f, am, rm, d, r, w) do { \
430         MMIO_F(prefix(RENDER_RING_BASE), s, f, am, rm, d, r, w); \
431         MMIO_F(prefix(BLT_RING_BASE), s, f, am, rm, d, r, w); \
432         MMIO_F(prefix(GEN6_BSD_RING_BASE), s, f, am, rm, d, r, w); \
433         MMIO_F(prefix(VEBOX_RING_BASE), s, f, am, rm, d, r, w); \
434 } while (0)
435
436 #define MMIO_RING_D(prefix, d) \
437         MMIO_RING_F(prefix, 4, 0, 0, 0, d, NULL, NULL)
438
439 #define MMIO_RING_DFH(prefix, d, f, r, w) \
440         MMIO_RING_F(prefix, 4, f, 0, 0, d, r, w)
441
442 #define MMIO_RING_GM(prefix, d, r, w) \
443         MMIO_RING_F(prefix, 4, F_GMADR, 0xFFFF0000, 0, d, r, w)
444
445 #define MMIO_RING_RO(prefix, d, f, rm, r, w) \
446         MMIO_RING_F(prefix, 4, F_RO | f, 0, rm, d, r, w)
447
448 static int init_generic_mmio_info(struct intel_gvt *gvt)
449 {
450         struct drm_i915_private *dev_priv = gvt->dev_priv;
451         int ret;
452
453         MMIO_RING_DFH(RING_IMR, D_ALL, 0, NULL, intel_vgpu_reg_imr_handler);
454
455         MMIO_DFH(SDEIMR, D_ALL, 0, NULL, intel_vgpu_reg_imr_handler);
456         MMIO_DFH(SDEIER, D_ALL, 0, NULL, intel_vgpu_reg_ier_handler);
457         MMIO_DFH(SDEIIR, D_ALL, 0, NULL, intel_vgpu_reg_iir_handler);
458         MMIO_D(SDEISR, D_ALL);
459
460         MMIO_RING_D(RING_HWSTAM, D_ALL);
461
462         MMIO_GM(RENDER_HWS_PGA_GEN7, D_ALL, NULL, NULL);
463         MMIO_GM(BSD_HWS_PGA_GEN7, D_ALL, NULL, NULL);
464         MMIO_GM(BLT_HWS_PGA_GEN7, D_ALL, NULL, NULL);
465         MMIO_GM(VEBOX_HWS_PGA_GEN7, D_ALL, NULL, NULL);
466
467 #define RING_REG(base) (base + 0x28)
468         MMIO_RING_D(RING_REG, D_ALL);
469 #undef RING_REG
470
471 #define RING_REG(base) (base + 0x134)
472         MMIO_RING_D(RING_REG, D_ALL);
473 #undef RING_REG
474
475         MMIO_GM(0x2148, D_ALL, NULL, NULL);
476         MMIO_GM(CCID, D_ALL, NULL, NULL);
477         MMIO_GM(0x12198, D_ALL, NULL, NULL);
478         MMIO_D(GEN7_CXT_SIZE, D_ALL);
479
480         MMIO_RING_D(RING_TAIL, D_ALL);
481         MMIO_RING_D(RING_HEAD, D_ALL);
482         MMIO_RING_D(RING_CTL, D_ALL);
483         MMIO_RING_D(RING_ACTHD, D_ALL);
484         MMIO_RING_GM(RING_START, D_ALL, NULL, NULL);
485
486         /* RING MODE */
487 #define RING_REG(base) (base + 0x29c)
488         MMIO_RING_DFH(RING_REG, D_ALL, F_MODE_MASK, NULL, NULL);
489 #undef RING_REG
490
491         MMIO_RING_DFH(RING_MI_MODE, D_ALL, F_MODE_MASK, NULL, NULL);
492         MMIO_RING_DFH(RING_INSTPM, D_ALL, F_MODE_MASK, NULL, NULL);
493         MMIO_RING_DFH(RING_TIMESTAMP, D_ALL, F_CMD_ACCESS, NULL, NULL);
494         MMIO_RING_DFH(RING_TIMESTAMP_UDW, D_ALL, F_CMD_ACCESS, NULL, NULL);
495
496         MMIO_DFH(GEN7_GT_MODE, D_ALL, F_MODE_MASK, NULL, NULL);
497         MMIO_DFH(CACHE_MODE_0_GEN7, D_ALL, F_MODE_MASK, NULL, NULL);
498         MMIO_DFH(CACHE_MODE_1, D_ALL, F_MODE_MASK, NULL, NULL);
499
500         MMIO_DFH(0x20dc, D_ALL, F_MODE_MASK, NULL, NULL);
501         MMIO_DFH(_3D_CHICKEN3, D_ALL, F_MODE_MASK, NULL, NULL);
502         MMIO_DFH(0x2088, D_ALL, F_MODE_MASK, NULL, NULL);
503         MMIO_DFH(0x20e4, D_ALL, F_MODE_MASK, NULL, NULL);
504         MMIO_DFH(0x2470, D_ALL, F_MODE_MASK, NULL, NULL);
505         MMIO_D(GAM_ECOCHK, D_ALL);
506         MMIO_DFH(GEN7_COMMON_SLICE_CHICKEN1, D_ALL, F_MODE_MASK, NULL, NULL);
507         MMIO_DFH(COMMON_SLICE_CHICKEN2, D_ALL, F_MODE_MASK, NULL, NULL);
508         MMIO_D(0x9030, D_ALL);
509         MMIO_D(0x20a0, D_ALL);
510         MMIO_D(0x2420, D_ALL);
511         MMIO_D(0x2430, D_ALL);
512         MMIO_D(0x2434, D_ALL);
513         MMIO_D(0x2438, D_ALL);
514         MMIO_D(0x243c, D_ALL);
515         MMIO_DFH(0x7018, D_ALL, F_MODE_MASK, NULL, NULL);
516         MMIO_DFH(0xe184, D_ALL, F_MODE_MASK, NULL, NULL);
517         MMIO_DFH(0xe100, D_ALL, F_MODE_MASK, NULL, NULL);
518
519         /* display */
520         MMIO_F(0x60220, 0x20, 0, 0, 0, D_ALL, NULL, NULL);
521         MMIO_D(0x602a0, D_ALL);
522
523         MMIO_D(0x65050, D_ALL);
524         MMIO_D(0x650b4, D_ALL);
525
526         MMIO_D(0xc4040, D_ALL);
527         MMIO_D(DERRMR, D_ALL);
528
529         MMIO_D(PIPEDSL(PIPE_A), D_ALL);
530         MMIO_D(PIPEDSL(PIPE_B), D_ALL);
531         MMIO_D(PIPEDSL(PIPE_C), D_ALL);
532         MMIO_D(PIPEDSL(_PIPE_EDP), D_ALL);
533
534         MMIO_DH(PIPECONF(PIPE_A), D_ALL, NULL, NULL);
535         MMIO_DH(PIPECONF(PIPE_B), D_ALL, NULL, NULL);
536         MMIO_DH(PIPECONF(PIPE_C), D_ALL, NULL, NULL);
537         MMIO_DH(PIPECONF(_PIPE_EDP), D_ALL, NULL, NULL);
538
539         MMIO_D(PIPESTAT(PIPE_A), D_ALL);
540         MMIO_D(PIPESTAT(PIPE_B), D_ALL);
541         MMIO_D(PIPESTAT(PIPE_C), D_ALL);
542         MMIO_D(PIPESTAT(_PIPE_EDP), D_ALL);
543
544         MMIO_D(PIPE_FLIPCOUNT_G4X(PIPE_A), D_ALL);
545         MMIO_D(PIPE_FLIPCOUNT_G4X(PIPE_B), D_ALL);
546         MMIO_D(PIPE_FLIPCOUNT_G4X(PIPE_C), D_ALL);
547         MMIO_D(PIPE_FLIPCOUNT_G4X(_PIPE_EDP), D_ALL);
548
549         MMIO_D(PIPE_FRMCOUNT_G4X(PIPE_A), D_ALL);
550         MMIO_D(PIPE_FRMCOUNT_G4X(PIPE_B), D_ALL);
551         MMIO_D(PIPE_FRMCOUNT_G4X(PIPE_C), D_ALL);
552         MMIO_D(PIPE_FRMCOUNT_G4X(_PIPE_EDP), D_ALL);
553
554         MMIO_D(CURCNTR(PIPE_A), D_ALL);
555         MMIO_D(CURCNTR(PIPE_B), D_ALL);
556         MMIO_D(CURCNTR(PIPE_C), D_ALL);
557
558         MMIO_D(CURPOS(PIPE_A), D_ALL);
559         MMIO_D(CURPOS(PIPE_B), D_ALL);
560         MMIO_D(CURPOS(PIPE_C), D_ALL);
561
562         MMIO_D(CURBASE(PIPE_A), D_ALL);
563         MMIO_D(CURBASE(PIPE_B), D_ALL);
564         MMIO_D(CURBASE(PIPE_C), D_ALL);
565
566         MMIO_D(0x700ac, D_ALL);
567         MMIO_D(0x710ac, D_ALL);
568         MMIO_D(0x720ac, D_ALL);
569
570         MMIO_D(0x70090, D_ALL);
571         MMIO_D(0x70094, D_ALL);
572         MMIO_D(0x70098, D_ALL);
573         MMIO_D(0x7009c, D_ALL);
574
575         MMIO_D(DSPCNTR(PIPE_A), D_ALL);
576         MMIO_D(DSPADDR(PIPE_A), D_ALL);
577         MMIO_D(DSPSTRIDE(PIPE_A), D_ALL);
578         MMIO_D(DSPPOS(PIPE_A), D_ALL);
579         MMIO_D(DSPSIZE(PIPE_A), D_ALL);
580         MMIO_D(DSPSURF(PIPE_A), D_ALL);
581         MMIO_D(DSPOFFSET(PIPE_A), D_ALL);
582         MMIO_D(DSPSURFLIVE(PIPE_A), D_ALL);
583
584         MMIO_D(DSPCNTR(PIPE_B), D_ALL);
585         MMIO_D(DSPADDR(PIPE_B), D_ALL);
586         MMIO_D(DSPSTRIDE(PIPE_B), D_ALL);
587         MMIO_D(DSPPOS(PIPE_B), D_ALL);
588         MMIO_D(DSPSIZE(PIPE_B), D_ALL);
589         MMIO_D(DSPSURF(PIPE_B), D_ALL);
590         MMIO_D(DSPOFFSET(PIPE_B), D_ALL);
591         MMIO_D(DSPSURFLIVE(PIPE_B), D_ALL);
592
593         MMIO_D(DSPCNTR(PIPE_C), D_ALL);
594         MMIO_D(DSPADDR(PIPE_C), D_ALL);
595         MMIO_D(DSPSTRIDE(PIPE_C), D_ALL);
596         MMIO_D(DSPPOS(PIPE_C), D_ALL);
597         MMIO_D(DSPSIZE(PIPE_C), D_ALL);
598         MMIO_D(DSPSURF(PIPE_C), D_ALL);
599         MMIO_D(DSPOFFSET(PIPE_C), D_ALL);
600         MMIO_D(DSPSURFLIVE(PIPE_C), D_ALL);
601
602         MMIO_D(SPRCTL(PIPE_A), D_ALL);
603         MMIO_D(SPRLINOFF(PIPE_A), D_ALL);
604         MMIO_D(SPRSTRIDE(PIPE_A), D_ALL);
605         MMIO_D(SPRPOS(PIPE_A), D_ALL);
606         MMIO_D(SPRSIZE(PIPE_A), D_ALL);
607         MMIO_D(SPRKEYVAL(PIPE_A), D_ALL);
608         MMIO_D(SPRKEYMSK(PIPE_A), D_ALL);
609         MMIO_D(SPRSURF(PIPE_A), D_ALL);
610         MMIO_D(SPRKEYMAX(PIPE_A), D_ALL);
611         MMIO_D(SPROFFSET(PIPE_A), D_ALL);
612         MMIO_D(SPRSCALE(PIPE_A), D_ALL);
613         MMIO_D(SPRSURFLIVE(PIPE_A), D_ALL);
614
615         MMIO_D(SPRCTL(PIPE_B), D_ALL);
616         MMIO_D(SPRLINOFF(PIPE_B), D_ALL);
617         MMIO_D(SPRSTRIDE(PIPE_B), D_ALL);
618         MMIO_D(SPRPOS(PIPE_B), D_ALL);
619         MMIO_D(SPRSIZE(PIPE_B), D_ALL);
620         MMIO_D(SPRKEYVAL(PIPE_B), D_ALL);
621         MMIO_D(SPRKEYMSK(PIPE_B), D_ALL);
622         MMIO_D(SPRSURF(PIPE_B), D_ALL);
623         MMIO_D(SPRKEYMAX(PIPE_B), D_ALL);
624         MMIO_D(SPROFFSET(PIPE_B), D_ALL);
625         MMIO_D(SPRSCALE(PIPE_B), D_ALL);
626         MMIO_D(SPRSURFLIVE(PIPE_B), D_ALL);
627
628         MMIO_D(SPRCTL(PIPE_C), D_ALL);
629         MMIO_D(SPRLINOFF(PIPE_C), D_ALL);
630         MMIO_D(SPRSTRIDE(PIPE_C), D_ALL);
631         MMIO_D(SPRPOS(PIPE_C), D_ALL);
632         MMIO_D(SPRSIZE(PIPE_C), D_ALL);
633         MMIO_D(SPRKEYVAL(PIPE_C), D_ALL);
634         MMIO_D(SPRKEYMSK(PIPE_C), D_ALL);
635         MMIO_D(SPRSURF(PIPE_C), D_ALL);
636         MMIO_D(SPRKEYMAX(PIPE_C), D_ALL);
637         MMIO_D(SPROFFSET(PIPE_C), D_ALL);
638         MMIO_D(SPRSCALE(PIPE_C), D_ALL);
639         MMIO_D(SPRSURFLIVE(PIPE_C), D_ALL);
640
641         MMIO_F(LGC_PALETTE(PIPE_A, 0), 4 * 256, 0, 0, 0, D_ALL, NULL, NULL);
642         MMIO_F(LGC_PALETTE(PIPE_B, 0), 4 * 256, 0, 0, 0, D_ALL, NULL, NULL);
643         MMIO_F(LGC_PALETTE(PIPE_C, 0), 4 * 256, 0, 0, 0, D_ALL, NULL, NULL);
644
645         MMIO_D(HTOTAL(TRANSCODER_A), D_ALL);
646         MMIO_D(HBLANK(TRANSCODER_A), D_ALL);
647         MMIO_D(HSYNC(TRANSCODER_A), D_ALL);
648         MMIO_D(VTOTAL(TRANSCODER_A), D_ALL);
649         MMIO_D(VBLANK(TRANSCODER_A), D_ALL);
650         MMIO_D(VSYNC(TRANSCODER_A), D_ALL);
651         MMIO_D(BCLRPAT(TRANSCODER_A), D_ALL);
652         MMIO_D(VSYNCSHIFT(TRANSCODER_A), D_ALL);
653         MMIO_D(PIPESRC(TRANSCODER_A), D_ALL);
654
655         MMIO_D(HTOTAL(TRANSCODER_B), D_ALL);
656         MMIO_D(HBLANK(TRANSCODER_B), D_ALL);
657         MMIO_D(HSYNC(TRANSCODER_B), D_ALL);
658         MMIO_D(VTOTAL(TRANSCODER_B), D_ALL);
659         MMIO_D(VBLANK(TRANSCODER_B), D_ALL);
660         MMIO_D(VSYNC(TRANSCODER_B), D_ALL);
661         MMIO_D(BCLRPAT(TRANSCODER_B), D_ALL);
662         MMIO_D(VSYNCSHIFT(TRANSCODER_B), D_ALL);
663         MMIO_D(PIPESRC(TRANSCODER_B), D_ALL);
664
665         MMIO_D(HTOTAL(TRANSCODER_C), D_ALL);
666         MMIO_D(HBLANK(TRANSCODER_C), D_ALL);
667         MMIO_D(HSYNC(TRANSCODER_C), D_ALL);
668         MMIO_D(VTOTAL(TRANSCODER_C), D_ALL);
669         MMIO_D(VBLANK(TRANSCODER_C), D_ALL);
670         MMIO_D(VSYNC(TRANSCODER_C), D_ALL);
671         MMIO_D(BCLRPAT(TRANSCODER_C), D_ALL);
672         MMIO_D(VSYNCSHIFT(TRANSCODER_C), D_ALL);
673         MMIO_D(PIPESRC(TRANSCODER_C), D_ALL);
674
675         MMIO_D(HTOTAL(TRANSCODER_EDP), D_ALL);
676         MMIO_D(HBLANK(TRANSCODER_EDP), D_ALL);
677         MMIO_D(HSYNC(TRANSCODER_EDP), D_ALL);
678         MMIO_D(VTOTAL(TRANSCODER_EDP), D_ALL);
679         MMIO_D(VBLANK(TRANSCODER_EDP), D_ALL);
680         MMIO_D(VSYNC(TRANSCODER_EDP), D_ALL);
681         MMIO_D(BCLRPAT(TRANSCODER_EDP), D_ALL);
682         MMIO_D(VSYNCSHIFT(TRANSCODER_EDP), D_ALL);
683
684         MMIO_D(PIPE_DATA_M1(TRANSCODER_A), D_ALL);
685         MMIO_D(PIPE_DATA_N1(TRANSCODER_A), D_ALL);
686         MMIO_D(PIPE_DATA_M2(TRANSCODER_A), D_ALL);
687         MMIO_D(PIPE_DATA_N2(TRANSCODER_A), D_ALL);
688         MMIO_D(PIPE_LINK_M1(TRANSCODER_A), D_ALL);
689         MMIO_D(PIPE_LINK_N1(TRANSCODER_A), D_ALL);
690         MMIO_D(PIPE_LINK_M2(TRANSCODER_A), D_ALL);
691         MMIO_D(PIPE_LINK_N2(TRANSCODER_A), D_ALL);
692
693         MMIO_D(PIPE_DATA_M1(TRANSCODER_B), D_ALL);
694         MMIO_D(PIPE_DATA_N1(TRANSCODER_B), D_ALL);
695         MMIO_D(PIPE_DATA_M2(TRANSCODER_B), D_ALL);
696         MMIO_D(PIPE_DATA_N2(TRANSCODER_B), D_ALL);
697         MMIO_D(PIPE_LINK_M1(TRANSCODER_B), D_ALL);
698         MMIO_D(PIPE_LINK_N1(TRANSCODER_B), D_ALL);
699         MMIO_D(PIPE_LINK_M2(TRANSCODER_B), D_ALL);
700         MMIO_D(PIPE_LINK_N2(TRANSCODER_B), D_ALL);
701
702         MMIO_D(PIPE_DATA_M1(TRANSCODER_C), D_ALL);
703         MMIO_D(PIPE_DATA_N1(TRANSCODER_C), D_ALL);
704         MMIO_D(PIPE_DATA_M2(TRANSCODER_C), D_ALL);
705         MMIO_D(PIPE_DATA_N2(TRANSCODER_C), D_ALL);
706         MMIO_D(PIPE_LINK_M1(TRANSCODER_C), D_ALL);
707         MMIO_D(PIPE_LINK_N1(TRANSCODER_C), D_ALL);
708         MMIO_D(PIPE_LINK_M2(TRANSCODER_C), D_ALL);
709         MMIO_D(PIPE_LINK_N2(TRANSCODER_C), D_ALL);
710
711         MMIO_D(PIPE_DATA_M1(TRANSCODER_EDP), D_ALL);
712         MMIO_D(PIPE_DATA_N1(TRANSCODER_EDP), D_ALL);
713         MMIO_D(PIPE_DATA_M2(TRANSCODER_EDP), D_ALL);
714         MMIO_D(PIPE_DATA_N2(TRANSCODER_EDP), D_ALL);
715         MMIO_D(PIPE_LINK_M1(TRANSCODER_EDP), D_ALL);
716         MMIO_D(PIPE_LINK_N1(TRANSCODER_EDP), D_ALL);
717         MMIO_D(PIPE_LINK_M2(TRANSCODER_EDP), D_ALL);
718         MMIO_D(PIPE_LINK_N2(TRANSCODER_EDP), D_ALL);
719
720         MMIO_D(PF_CTL(PIPE_A), D_ALL);
721         MMIO_D(PF_WIN_SZ(PIPE_A), D_ALL);
722         MMIO_D(PF_WIN_POS(PIPE_A), D_ALL);
723         MMIO_D(PF_VSCALE(PIPE_A), D_ALL);
724         MMIO_D(PF_HSCALE(PIPE_A), D_ALL);
725
726         MMIO_D(PF_CTL(PIPE_B), D_ALL);
727         MMIO_D(PF_WIN_SZ(PIPE_B), D_ALL);
728         MMIO_D(PF_WIN_POS(PIPE_B), D_ALL);
729         MMIO_D(PF_VSCALE(PIPE_B), D_ALL);
730         MMIO_D(PF_HSCALE(PIPE_B), D_ALL);
731
732         MMIO_D(PF_CTL(PIPE_C), D_ALL);
733         MMIO_D(PF_WIN_SZ(PIPE_C), D_ALL);
734         MMIO_D(PF_WIN_POS(PIPE_C), D_ALL);
735         MMIO_D(PF_VSCALE(PIPE_C), D_ALL);
736         MMIO_D(PF_HSCALE(PIPE_C), D_ALL);
737
738         MMIO_D(WM0_PIPEA_ILK, D_ALL);
739         MMIO_D(WM0_PIPEB_ILK, D_ALL);
740         MMIO_D(WM0_PIPEC_IVB, D_ALL);
741         MMIO_D(WM1_LP_ILK, D_ALL);
742         MMIO_D(WM2_LP_ILK, D_ALL);
743         MMIO_D(WM3_LP_ILK, D_ALL);
744         MMIO_D(WM1S_LP_ILK, D_ALL);
745         MMIO_D(WM2S_LP_IVB, D_ALL);
746         MMIO_D(WM3S_LP_IVB, D_ALL);
747
748         MMIO_D(BLC_PWM_CPU_CTL2, D_ALL);
749         MMIO_D(BLC_PWM_CPU_CTL, D_ALL);
750         MMIO_D(BLC_PWM_PCH_CTL1, D_ALL);
751         MMIO_D(BLC_PWM_PCH_CTL2, D_ALL);
752
753         MMIO_D(0x48268, D_ALL);
754
755         MMIO_F(PCH_GMBUS0, 4 * 4, 0, 0, 0, D_ALL, NULL, NULL);
756         MMIO_F(PCH_GPIOA, 6 * 4, 0, 0, 0, D_ALL, NULL, NULL);
757         MMIO_F(0xe4f00, 0x28, 0, 0, 0, D_ALL, NULL, NULL);
758
759         MMIO_F(_PCH_DPB_AUX_CH_CTL, 6 * 4, 0, 0, 0, D_PRE_SKL, NULL, NULL);
760         MMIO_F(_PCH_DPC_AUX_CH_CTL, 6 * 4, 0, 0, 0, D_PRE_SKL, NULL, NULL);
761         MMIO_F(_PCH_DPD_AUX_CH_CTL, 6 * 4, 0, 0, 0, D_PRE_SKL, NULL, NULL);
762
763         MMIO_RO(PCH_ADPA, D_ALL, 0,
764                         ADPA_CRT_HOTPLUG_MONITOR_MASK, NULL, NULL);
765
766         MMIO_DH(_PCH_TRANSACONF, D_ALL, NULL, NULL);
767         MMIO_DH(_PCH_TRANSBCONF, D_ALL, NULL, NULL);
768
769         MMIO_DH(FDI_RX_IIR(PIPE_A), D_ALL, NULL, NULL);
770         MMIO_DH(FDI_RX_IIR(PIPE_B), D_ALL, NULL, NULL);
771         MMIO_DH(FDI_RX_IIR(PIPE_C), D_ALL, NULL, NULL);
772         MMIO_DH(FDI_RX_IMR(PIPE_A), D_ALL, NULL, NULL);
773         MMIO_DH(FDI_RX_IMR(PIPE_B), D_ALL, NULL, NULL);
774         MMIO_DH(FDI_RX_IMR(PIPE_C), D_ALL, NULL, NULL);
775         MMIO_DH(FDI_RX_CTL(PIPE_A), D_ALL, NULL, NULL);
776         MMIO_DH(FDI_RX_CTL(PIPE_B), D_ALL, NULL, NULL);
777         MMIO_DH(FDI_RX_CTL(PIPE_C), D_ALL, NULL, NULL);
778
779         MMIO_D(_PCH_TRANS_HTOTAL_A, D_ALL);
780         MMIO_D(_PCH_TRANS_HBLANK_A, D_ALL);
781         MMIO_D(_PCH_TRANS_HSYNC_A, D_ALL);
782         MMIO_D(_PCH_TRANS_VTOTAL_A, D_ALL);
783         MMIO_D(_PCH_TRANS_VBLANK_A, D_ALL);
784         MMIO_D(_PCH_TRANS_VSYNC_A, D_ALL);
785         MMIO_D(_PCH_TRANS_VSYNCSHIFT_A, D_ALL);
786
787         MMIO_D(_PCH_TRANS_HTOTAL_B, D_ALL);
788         MMIO_D(_PCH_TRANS_HBLANK_B, D_ALL);
789         MMIO_D(_PCH_TRANS_HSYNC_B, D_ALL);
790         MMIO_D(_PCH_TRANS_VTOTAL_B, D_ALL);
791         MMIO_D(_PCH_TRANS_VBLANK_B, D_ALL);
792         MMIO_D(_PCH_TRANS_VSYNC_B, D_ALL);
793         MMIO_D(_PCH_TRANS_VSYNCSHIFT_B, D_ALL);
794
795         MMIO_D(_PCH_TRANSA_DATA_M1, D_ALL);
796         MMIO_D(_PCH_TRANSA_DATA_N1, D_ALL);
797         MMIO_D(_PCH_TRANSA_DATA_M2, D_ALL);
798         MMIO_D(_PCH_TRANSA_DATA_N2, D_ALL);
799         MMIO_D(_PCH_TRANSA_LINK_M1, D_ALL);
800         MMIO_D(_PCH_TRANSA_LINK_N1, D_ALL);
801         MMIO_D(_PCH_TRANSA_LINK_M2, D_ALL);
802         MMIO_D(_PCH_TRANSA_LINK_N2, D_ALL);
803
804         MMIO_D(TRANS_DP_CTL(PIPE_A), D_ALL);
805         MMIO_D(TRANS_DP_CTL(PIPE_B), D_ALL);
806         MMIO_D(TRANS_DP_CTL(PIPE_C), D_ALL);
807
808         MMIO_D(TVIDEO_DIP_CTL(PIPE_A), D_ALL);
809         MMIO_D(TVIDEO_DIP_DATA(PIPE_A), D_ALL);
810         MMIO_D(TVIDEO_DIP_GCP(PIPE_A), D_ALL);
811
812         MMIO_D(TVIDEO_DIP_CTL(PIPE_B), D_ALL);
813         MMIO_D(TVIDEO_DIP_DATA(PIPE_B), D_ALL);
814         MMIO_D(TVIDEO_DIP_GCP(PIPE_B), D_ALL);
815
816         MMIO_D(TVIDEO_DIP_CTL(PIPE_C), D_ALL);
817         MMIO_D(TVIDEO_DIP_DATA(PIPE_C), D_ALL);
818         MMIO_D(TVIDEO_DIP_GCP(PIPE_C), D_ALL);
819
820         MMIO_D(_FDI_RXA_MISC, D_ALL);
821         MMIO_D(_FDI_RXB_MISC, D_ALL);
822         MMIO_D(_FDI_RXA_TUSIZE1, D_ALL);
823         MMIO_D(_FDI_RXA_TUSIZE2, D_ALL);
824         MMIO_D(_FDI_RXB_TUSIZE1, D_ALL);
825         MMIO_D(_FDI_RXB_TUSIZE2, D_ALL);
826
827         MMIO_DH(PCH_PP_CONTROL, D_ALL, NULL, NULL);
828         MMIO_D(PCH_PP_DIVISOR, D_ALL);
829         MMIO_D(PCH_PP_STATUS,  D_ALL);
830         MMIO_D(PCH_LVDS, D_ALL);
831         MMIO_D(_PCH_DPLL_A, D_ALL);
832         MMIO_D(_PCH_DPLL_B, D_ALL);
833         MMIO_D(_PCH_FPA0, D_ALL);
834         MMIO_D(_PCH_FPA1, D_ALL);
835         MMIO_D(_PCH_FPB0, D_ALL);
836         MMIO_D(_PCH_FPB1, D_ALL);
837         MMIO_D(PCH_DREF_CONTROL, D_ALL);
838         MMIO_D(PCH_RAWCLK_FREQ, D_ALL);
839         MMIO_D(PCH_DPLL_SEL, D_ALL);
840
841         MMIO_D(0x61208, D_ALL);
842         MMIO_D(0x6120c, D_ALL);
843         MMIO_D(PCH_PP_ON_DELAYS, D_ALL);
844         MMIO_D(PCH_PP_OFF_DELAYS, D_ALL);
845
846         MMIO_DH(0xe651c, D_ALL, NULL, NULL);
847         MMIO_DH(0xe661c, D_ALL, NULL, NULL);
848         MMIO_DH(0xe671c, D_ALL, NULL, NULL);
849         MMIO_DH(0xe681c, D_ALL, NULL, NULL);
850         MMIO_DH(0xe6c04, D_ALL, NULL, NULL);
851         MMIO_DH(0xe6e1c, D_ALL, NULL, NULL);
852
853         MMIO_RO(PCH_PORT_HOTPLUG, D_ALL, 0,
854                 PORTA_HOTPLUG_STATUS_MASK
855                 | PORTB_HOTPLUG_STATUS_MASK
856                 | PORTC_HOTPLUG_STATUS_MASK
857                 | PORTD_HOTPLUG_STATUS_MASK,
858                 NULL, NULL);
859
860         MMIO_DH(LCPLL_CTL, D_ALL, NULL, NULL);
861         MMIO_D(FUSE_STRAP, D_ALL);
862         MMIO_D(DIGITAL_PORT_HOTPLUG_CNTRL, D_ALL);
863
864         MMIO_D(DISP_ARB_CTL, D_ALL);
865         MMIO_D(DISP_ARB_CTL2, D_ALL);
866
867         MMIO_D(ILK_DISPLAY_CHICKEN1, D_ALL);
868         MMIO_D(ILK_DISPLAY_CHICKEN2, D_ALL);
869         MMIO_D(ILK_DSPCLK_GATE_D, D_ALL);
870
871         MMIO_D(SOUTH_CHICKEN1, D_ALL);
872         MMIO_DH(SOUTH_CHICKEN2, D_ALL, NULL, NULL);
873         MMIO_D(_TRANSA_CHICKEN1, D_ALL);
874         MMIO_D(_TRANSB_CHICKEN1, D_ALL);
875         MMIO_D(SOUTH_DSPCLK_GATE_D, D_ALL);
876         MMIO_D(_TRANSA_CHICKEN2, D_ALL);
877         MMIO_D(_TRANSB_CHICKEN2, D_ALL);
878
879         MMIO_D(ILK_DPFC_CB_BASE, D_ALL);
880         MMIO_D(ILK_DPFC_CONTROL, D_ALL);
881         MMIO_D(ILK_DPFC_RECOMP_CTL, D_ALL);
882         MMIO_D(ILK_DPFC_STATUS, D_ALL);
883         MMIO_D(ILK_DPFC_FENCE_YOFF, D_ALL);
884         MMIO_D(ILK_DPFC_CHICKEN, D_ALL);
885         MMIO_D(ILK_FBC_RT_BASE, D_ALL);
886
887         MMIO_D(IPS_CTL, D_ALL);
888
889         MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_A), D_ALL);
890         MMIO_D(PIPE_CSC_COEFF_BY(PIPE_A), D_ALL);
891         MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_A), D_ALL);
892         MMIO_D(PIPE_CSC_COEFF_BU(PIPE_A), D_ALL);
893         MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_A), D_ALL);
894         MMIO_D(PIPE_CSC_COEFF_BV(PIPE_A), D_ALL);
895         MMIO_D(PIPE_CSC_MODE(PIPE_A), D_ALL);
896         MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_A), D_ALL);
897         MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_A), D_ALL);
898         MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_A), D_ALL);
899         MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_A), D_ALL);
900         MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_A), D_ALL);
901         MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_A), D_ALL);
902
903         MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_B), D_ALL);
904         MMIO_D(PIPE_CSC_COEFF_BY(PIPE_B), D_ALL);
905         MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_B), D_ALL);
906         MMIO_D(PIPE_CSC_COEFF_BU(PIPE_B), D_ALL);
907         MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_B), D_ALL);
908         MMIO_D(PIPE_CSC_COEFF_BV(PIPE_B), D_ALL);
909         MMIO_D(PIPE_CSC_MODE(PIPE_B), D_ALL);
910         MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_B), D_ALL);
911         MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_B), D_ALL);
912         MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_B), D_ALL);
913         MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_B), D_ALL);
914         MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_B), D_ALL);
915         MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_B), D_ALL);
916
917         MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_C), D_ALL);
918         MMIO_D(PIPE_CSC_COEFF_BY(PIPE_C), D_ALL);
919         MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_C), D_ALL);
920         MMIO_D(PIPE_CSC_COEFF_BU(PIPE_C), D_ALL);
921         MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_C), D_ALL);
922         MMIO_D(PIPE_CSC_COEFF_BV(PIPE_C), D_ALL);
923         MMIO_D(PIPE_CSC_MODE(PIPE_C), D_ALL);
924         MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_C), D_ALL);
925         MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_C), D_ALL);
926         MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_C), D_ALL);
927         MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_C), D_ALL);
928         MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_C), D_ALL);
929         MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_C), D_ALL);
930
931         MMIO_D(0x60110, D_ALL);
932         MMIO_D(0x61110, D_ALL);
933         MMIO_F(0x70400, 0x40, 0, 0, 0, D_ALL, NULL, NULL);
934         MMIO_F(0x71400, 0x40, 0, 0, 0, D_ALL, NULL, NULL);
935         MMIO_F(0x72400, 0x40, 0, 0, 0, D_ALL, NULL, NULL);
936         MMIO_F(0x70440, 0xc, 0, 0, 0, D_PRE_SKL, NULL, NULL);
937         MMIO_F(0x71440, 0xc, 0, 0, 0, D_PRE_SKL, NULL, NULL);
938         MMIO_F(0x72440, 0xc, 0, 0, 0, D_PRE_SKL, NULL, NULL);
939         MMIO_F(0x7044c, 0xc, 0, 0, 0, D_PRE_SKL, NULL, NULL);
940         MMIO_F(0x7144c, 0xc, 0, 0, 0, D_PRE_SKL, NULL, NULL);
941         MMIO_F(0x7244c, 0xc, 0, 0, 0, D_PRE_SKL, NULL, NULL);
942
943         MMIO_D(PIPE_WM_LINETIME(PIPE_A), D_ALL);
944         MMIO_D(PIPE_WM_LINETIME(PIPE_B), D_ALL);
945         MMIO_D(PIPE_WM_LINETIME(PIPE_C), D_ALL);
946         MMIO_D(SPLL_CTL, D_ALL);
947         MMIO_D(_WRPLL_CTL1, D_ALL);
948         MMIO_D(_WRPLL_CTL2, D_ALL);
949         MMIO_D(PORT_CLK_SEL(PORT_A), D_ALL);
950         MMIO_D(PORT_CLK_SEL(PORT_B), D_ALL);
951         MMIO_D(PORT_CLK_SEL(PORT_C), D_ALL);
952         MMIO_D(PORT_CLK_SEL(PORT_D), D_ALL);
953         MMIO_D(PORT_CLK_SEL(PORT_E), D_ALL);
954         MMIO_D(TRANS_CLK_SEL(TRANSCODER_A), D_ALL);
955         MMIO_D(TRANS_CLK_SEL(TRANSCODER_B), D_ALL);
956         MMIO_D(TRANS_CLK_SEL(TRANSCODER_C), D_ALL);
957
958         MMIO_D(HSW_NDE_RSTWRN_OPT, D_ALL);
959         MMIO_D(0x46508, D_ALL);
960
961         MMIO_D(0x49080, D_ALL);
962         MMIO_D(0x49180, D_ALL);
963         MMIO_D(0x49280, D_ALL);
964
965         MMIO_F(0x49090, 0x14, 0, 0, 0, D_ALL, NULL, NULL);
966         MMIO_F(0x49190, 0x14, 0, 0, 0, D_ALL, NULL, NULL);
967         MMIO_F(0x49290, 0x14, 0, 0, 0, D_ALL, NULL, NULL);
968
969         MMIO_D(GAMMA_MODE(PIPE_A), D_ALL);
970         MMIO_D(GAMMA_MODE(PIPE_B), D_ALL);
971         MMIO_D(GAMMA_MODE(PIPE_C), D_ALL);
972
973         MMIO_D(0x4a400, D_ALL);
974         MMIO_D(0x4ac00, D_ALL);
975         MMIO_D(0x4b400, D_ALL);
976
977         MMIO_D(PIPE_MULT(PIPE_A), D_ALL);
978         MMIO_D(PIPE_MULT(PIPE_B), D_ALL);
979         MMIO_D(PIPE_MULT(PIPE_C), D_ALL);
980
981         MMIO_D(HSW_TVIDEO_DIP_CTL(TRANSCODER_A), D_ALL);
982         MMIO_D(HSW_TVIDEO_DIP_CTL(TRANSCODER_B), D_ALL);
983         MMIO_D(HSW_TVIDEO_DIP_CTL(TRANSCODER_C), D_ALL);
984
985         MMIO_DH(SFUSE_STRAP, D_ALL, NULL, NULL);
986         MMIO_D(SBI_ADDR, D_ALL);
987         MMIO_DH(SBI_DATA, D_ALL, NULL, NULL);
988         MMIO_DH(SBI_CTL_STAT, D_ALL, NULL, NULL);
989         MMIO_D(PIXCLK_GATE, D_ALL);
990
991         MMIO_F(_DPA_AUX_CH_CTL, 6 * 4, 0, 0, 0, D_ALL, NULL, NULL);
992
993         MMIO_RO(DDI_BUF_CTL(PORT_A), D_ALL, 0,
994                 DDI_INIT_DISPLAY_DETECTED, NULL, NULL);
995         MMIO_RO(DDI_BUF_CTL(PORT_B), D_ALL, 0,
996                 DDI_INIT_DISPLAY_DETECTED, NULL, NULL);
997         MMIO_RO(DDI_BUF_CTL(PORT_C), D_ALL, 0,
998                 DDI_INIT_DISPLAY_DETECTED, NULL, NULL);
999         MMIO_RO(DDI_BUF_CTL(PORT_D), D_ALL, 0,
1000                 DDI_INIT_DISPLAY_DETECTED, NULL, NULL);
1001         MMIO_RO(DDI_BUF_CTL(PORT_E), D_ALL, 0,
1002                 DDI_INIT_DISPLAY_DETECTED, NULL, NULL);
1003
1004         MMIO_DH(DP_TP_CTL(PORT_A), D_ALL, NULL, NULL);
1005         MMIO_DH(DP_TP_CTL(PORT_B), D_ALL, NULL, NULL);
1006         MMIO_DH(DP_TP_CTL(PORT_C), D_ALL, NULL, NULL);
1007         MMIO_DH(DP_TP_CTL(PORT_D), D_ALL, NULL, NULL);
1008         MMIO_DH(DP_TP_CTL(PORT_E), D_ALL, NULL, NULL);
1009
1010         MMIO_RO(DP_TP_STATUS(PORT_A), D_ALL, 0,
1011                         (1 << 27) | (1 << 26) | (1 << 24), NULL, NULL);
1012         MMIO_RO(DP_TP_STATUS(PORT_B), D_ALL, 0,
1013                         (1 << 27) | (1 << 26) | (1 << 24), NULL, NULL);
1014         MMIO_RO(DP_TP_STATUS(PORT_C), D_ALL, 0,
1015                         (1 << 27) | (1 << 26) | (1 << 24), NULL, NULL);
1016         MMIO_RO(DP_TP_STATUS(PORT_D), D_ALL, 0,
1017                         (1 << 27) | (1 << 26) | (1 << 24), NULL, NULL);
1018         MMIO_RO(DP_TP_STATUS(PORT_E), D_ALL, 0,
1019                         (1 << 27) | (1 << 26) | (1 << 24), NULL, NULL);
1020
1021         MMIO_F(_DDI_BUF_TRANS_A, 0x50, 0, 0, 0, D_ALL, NULL, NULL);
1022         MMIO_F(0x64e60, 0x50, 0, 0, 0, D_ALL, NULL, NULL);
1023         MMIO_F(0x64eC0, 0x50, 0, 0, 0, D_ALL, NULL, NULL);
1024         MMIO_F(0x64f20, 0x50, 0, 0, 0, D_ALL, NULL, NULL);
1025         MMIO_F(0x64f80, 0x50, 0, 0, 0, D_ALL, NULL, NULL);
1026
1027         MMIO_D(HSW_AUD_CFG(PIPE_A), D_ALL);
1028         MMIO_D(HSW_AUD_PIN_ELD_CP_VLD, D_ALL);
1029
1030         MMIO_DH(_TRANS_DDI_FUNC_CTL_A, D_ALL, NULL, NULL);
1031         MMIO_DH(_TRANS_DDI_FUNC_CTL_B, D_ALL, NULL, NULL);
1032         MMIO_DH(_TRANS_DDI_FUNC_CTL_C, D_ALL, NULL, NULL);
1033         MMIO_DH(_TRANS_DDI_FUNC_CTL_EDP, D_ALL, NULL, NULL);
1034
1035         MMIO_D(_TRANSA_MSA_MISC, D_ALL);
1036         MMIO_D(_TRANSB_MSA_MISC, D_ALL);
1037         MMIO_D(_TRANSC_MSA_MISC, D_ALL);
1038         MMIO_D(_TRANS_EDP_MSA_MISC, D_ALL);
1039
1040         MMIO_DH(FORCEWAKE, D_ALL, NULL, NULL);
1041         MMIO_D(FORCEWAKE_ACK, D_ALL);
1042         MMIO_D(GEN6_GT_CORE_STATUS, D_ALL);
1043         MMIO_D(GEN6_GT_THREAD_STATUS_REG, D_ALL);
1044         MMIO_D(GTFIFODBG, D_ALL);
1045         MMIO_D(GTFIFOCTL, D_ALL);
1046         MMIO_DH(FORCEWAKE_MT, D_PRE_SKL, NULL, mul_force_wake_write);
1047         MMIO_DH(FORCEWAKE_ACK_HSW, D_HSW | D_BDW, NULL, NULL);
1048         MMIO_D(ECOBUS, D_ALL);
1049         MMIO_DH(GEN6_RC_CONTROL, D_ALL, NULL, NULL);
1050         MMIO_DH(GEN6_RC_STATE, D_ALL, NULL, NULL);
1051         MMIO_D(GEN6_RPNSWREQ, D_ALL);
1052         MMIO_D(GEN6_RC_VIDEO_FREQ, D_ALL);
1053         MMIO_D(GEN6_RP_DOWN_TIMEOUT, D_ALL);
1054         MMIO_D(GEN6_RP_INTERRUPT_LIMITS, D_ALL);
1055         MMIO_D(GEN6_RPSTAT1, D_ALL);
1056         MMIO_D(GEN6_RP_CONTROL, D_ALL);
1057         MMIO_D(GEN6_RP_UP_THRESHOLD, D_ALL);
1058         MMIO_D(GEN6_RP_DOWN_THRESHOLD, D_ALL);
1059         MMIO_D(GEN6_RP_CUR_UP_EI, D_ALL);
1060         MMIO_D(GEN6_RP_CUR_UP, D_ALL);
1061         MMIO_D(GEN6_RP_PREV_UP, D_ALL);
1062         MMIO_D(GEN6_RP_CUR_DOWN_EI, D_ALL);
1063         MMIO_D(GEN6_RP_CUR_DOWN, D_ALL);
1064         MMIO_D(GEN6_RP_PREV_DOWN, D_ALL);
1065         MMIO_D(GEN6_RP_UP_EI, D_ALL);
1066         MMIO_D(GEN6_RP_DOWN_EI, D_ALL);
1067         MMIO_D(GEN6_RP_IDLE_HYSTERSIS, D_ALL);
1068         MMIO_D(GEN6_RC1_WAKE_RATE_LIMIT, D_ALL);
1069         MMIO_D(GEN6_RC6_WAKE_RATE_LIMIT, D_ALL);
1070         MMIO_D(GEN6_RC6pp_WAKE_RATE_LIMIT, D_ALL);
1071         MMIO_D(GEN6_RC_EVALUATION_INTERVAL, D_ALL);
1072         MMIO_D(GEN6_RC_IDLE_HYSTERSIS, D_ALL);
1073         MMIO_D(GEN6_RC_SLEEP, D_ALL);
1074         MMIO_D(GEN6_RC1e_THRESHOLD, D_ALL);
1075         MMIO_D(GEN6_RC6_THRESHOLD, D_ALL);
1076         MMIO_D(GEN6_RC6p_THRESHOLD, D_ALL);
1077         MMIO_D(GEN6_RC6pp_THRESHOLD, D_ALL);
1078         MMIO_D(GEN6_PMINTRMSK, D_ALL);
1079         MMIO_DH(HSW_PWR_WELL_BIOS, D_HSW | D_BDW, NULL, NULL);
1080         MMIO_DH(HSW_PWR_WELL_DRIVER, D_HSW | D_BDW, NULL, NULL);
1081         MMIO_DH(HSW_PWR_WELL_KVMR, D_HSW | D_BDW, NULL, NULL);
1082         MMIO_DH(HSW_PWR_WELL_DEBUG, D_HSW | D_BDW, NULL, NULL);
1083         MMIO_DH(HSW_PWR_WELL_CTL5, D_HSW | D_BDW, NULL, NULL);
1084         MMIO_DH(HSW_PWR_WELL_CTL6, D_HSW | D_BDW, NULL, NULL);
1085
1086         MMIO_D(RSTDBYCTL, D_ALL);
1087
1088         MMIO_DH(GEN6_GDRST, D_ALL, NULL, gdrst_mmio_write);
1089         MMIO_F(FENCE_REG_GEN6_LO(0), 0x80, 0, 0, 0, D_ALL, fence_mmio_read, fence_mmio_write);
1090         MMIO_F(VGT_PVINFO_PAGE, VGT_PVINFO_SIZE, F_UNALIGN, 0, 0, D_ALL, pvinfo_mmio_read, pvinfo_mmio_write);
1091         MMIO_DH(CPU_VGACNTRL, D_ALL, NULL, NULL);
1092
1093         MMIO_F(MCHBAR_MIRROR_BASE_SNB, 0x40000, 0, 0, 0, D_ALL, NULL, NULL);
1094
1095         MMIO_D(TILECTL, D_ALL);
1096
1097         MMIO_D(GEN6_UCGCTL1, D_ALL);
1098         MMIO_D(GEN6_UCGCTL2, D_ALL);
1099
1100         MMIO_F(0x4f000, 0x90, 0, 0, 0, D_ALL, NULL, NULL);
1101
1102         MMIO_D(GEN6_PCODE_MAILBOX, D_PRE_SKL);
1103         MMIO_D(GEN6_PCODE_DATA, D_ALL);
1104         MMIO_D(0x13812c, D_ALL);
1105         MMIO_DH(GEN7_ERR_INT, D_ALL, NULL, NULL);
1106         MMIO_D(HSW_EDRAM_CAP, D_ALL);
1107         MMIO_D(HSW_IDICR, D_ALL);
1108         MMIO_DH(GFX_FLSH_CNTL_GEN6, D_ALL, NULL, NULL);
1109
1110         MMIO_D(0x3c, D_ALL);
1111         MMIO_D(0x860, D_ALL);
1112         MMIO_D(ECOSKPD, D_ALL);
1113         MMIO_D(0x121d0, D_ALL);
1114         MMIO_D(GEN6_BLITTER_ECOSKPD, D_ALL);
1115         MMIO_D(0x41d0, D_ALL);
1116         MMIO_D(GAC_ECO_BITS, D_ALL);
1117         MMIO_D(0x6200, D_ALL);
1118         MMIO_D(0x6204, D_ALL);
1119         MMIO_D(0x6208, D_ALL);
1120         MMIO_D(0x7118, D_ALL);
1121         MMIO_D(0x7180, D_ALL);
1122         MMIO_D(0x7408, D_ALL);
1123         MMIO_D(0x7c00, D_ALL);
1124         MMIO_D(GEN6_MBCTL, D_ALL);
1125         MMIO_D(0x911c, D_ALL);
1126         MMIO_D(0x9120, D_ALL);
1127
1128         MMIO_D(GAB_CTL, D_ALL);
1129         MMIO_D(0x48800, D_ALL);
1130         MMIO_D(0xce044, D_ALL);
1131         MMIO_D(0xe6500, D_ALL);
1132         MMIO_D(0xe6504, D_ALL);
1133         MMIO_D(0xe6600, D_ALL);
1134         MMIO_D(0xe6604, D_ALL);
1135         MMIO_D(0xe6700, D_ALL);
1136         MMIO_D(0xe6704, D_ALL);
1137         MMIO_D(0xe6800, D_ALL);
1138         MMIO_D(0xe6804, D_ALL);
1139         MMIO_D(PCH_GMBUS4, D_ALL);
1140         MMIO_D(PCH_GMBUS5, D_ALL);
1141
1142         MMIO_D(0x902c, D_ALL);
1143         MMIO_D(0xec008, D_ALL);
1144         MMIO_D(0xec00c, D_ALL);
1145         MMIO_D(0xec008 + 0x18, D_ALL);
1146         MMIO_D(0xec00c + 0x18, D_ALL);
1147         MMIO_D(0xec008 + 0x18 * 2, D_ALL);
1148         MMIO_D(0xec00c + 0x18 * 2, D_ALL);
1149         MMIO_D(0xec008 + 0x18 * 3, D_ALL);
1150         MMIO_D(0xec00c + 0x18 * 3, D_ALL);
1151         MMIO_D(0xec408, D_ALL);
1152         MMIO_D(0xec40c, D_ALL);
1153         MMIO_D(0xec408 + 0x18, D_ALL);
1154         MMIO_D(0xec40c + 0x18, D_ALL);
1155         MMIO_D(0xec408 + 0x18 * 2, D_ALL);
1156         MMIO_D(0xec40c + 0x18 * 2, D_ALL);
1157         MMIO_D(0xec408 + 0x18 * 3, D_ALL);
1158         MMIO_D(0xec40c + 0x18 * 3, D_ALL);
1159         MMIO_D(0xfc810, D_ALL);
1160         MMIO_D(0xfc81c, D_ALL);
1161         MMIO_D(0xfc828, D_ALL);
1162         MMIO_D(0xfc834, D_ALL);
1163         MMIO_D(0xfcc00, D_ALL);
1164         MMIO_D(0xfcc0c, D_ALL);
1165         MMIO_D(0xfcc18, D_ALL);
1166         MMIO_D(0xfcc24, D_ALL);
1167         MMIO_D(0xfd000, D_ALL);
1168         MMIO_D(0xfd00c, D_ALL);
1169         MMIO_D(0xfd018, D_ALL);
1170         MMIO_D(0xfd024, D_ALL);
1171         MMIO_D(0xfd034, D_ALL);
1172
1173         MMIO_DH(FPGA_DBG, D_ALL, NULL, fpga_dbg_mmio_write);
1174         MMIO_D(0x2054, D_ALL);
1175         MMIO_D(0x12054, D_ALL);
1176         MMIO_D(0x22054, D_ALL);
1177         MMIO_D(0x1a054, D_ALL);
1178
1179         MMIO_D(0x44070, D_ALL);
1180
1181         MMIO_D(0x215c, D_HSW_PLUS);
1182         MMIO_DFH(0x2178, D_ALL, F_CMD_ACCESS, NULL, NULL);
1183         MMIO_DFH(0x217c, D_ALL, F_CMD_ACCESS, NULL, NULL);
1184         MMIO_DFH(0x12178, D_ALL, F_CMD_ACCESS, NULL, NULL);
1185         MMIO_DFH(0x1217c, D_ALL, F_CMD_ACCESS, NULL, NULL);
1186
1187         MMIO_F(0x2290, 8, 0, 0, 0, D_HSW_PLUS, NULL, NULL);
1188         MMIO_D(OACONTROL, D_HSW);
1189         MMIO_D(0x2b00, D_BDW_PLUS);
1190         MMIO_D(0x2360, D_BDW_PLUS);
1191         MMIO_F(0x5200, 32, 0, 0, 0, D_ALL, NULL, NULL);
1192         MMIO_F(0x5240, 32, 0, 0, 0, D_ALL, NULL, NULL);
1193         MMIO_F(0x5280, 16, 0, 0, 0, D_ALL, NULL, NULL);
1194
1195         MMIO_DFH(0x1c17c, D_BDW_PLUS, F_CMD_ACCESS, NULL, NULL);
1196         MMIO_DFH(0x1c178, D_BDW_PLUS, F_CMD_ACCESS, NULL, NULL);
1197         MMIO_D(BCS_SWCTRL, D_ALL);
1198
1199         MMIO_F(HS_INVOCATION_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1200         MMIO_F(DS_INVOCATION_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1201         MMIO_F(IA_VERTICES_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1202         MMIO_F(IA_PRIMITIVES_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1203         MMIO_F(VS_INVOCATION_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1204         MMIO_F(GS_INVOCATION_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1205         MMIO_F(GS_PRIMITIVES_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1206         MMIO_F(CL_INVOCATION_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1207         MMIO_F(CL_PRIMITIVES_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1208         MMIO_F(PS_INVOCATION_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1209         MMIO_F(PS_DEPTH_COUNT, 8, 0, 0, 0, D_ALL, NULL, NULL);
1210         MMIO_DH(0x4260, D_BDW_PLUS, NULL, NULL);
1211         MMIO_DH(0x4264, D_BDW_PLUS, NULL, NULL);
1212         MMIO_DH(0x4268, D_BDW_PLUS, NULL, NULL);
1213         MMIO_DH(0x426c, D_BDW_PLUS, NULL, NULL);
1214         MMIO_DH(0x4270, D_BDW_PLUS, NULL, NULL);
1215         MMIO_DFH(0x4094, D_BDW_PLUS, F_CMD_ACCESS, NULL, NULL);
1216
1217         return 0;
1218 }
1219
1220 static int init_broadwell_mmio_info(struct intel_gvt *gvt)
1221 {
1222         struct drm_i915_private *dev_priv = gvt->dev_priv;
1223         int ret;
1224
1225         MMIO_DH(RING_IMR(GEN8_BSD2_RING_BASE), D_BDW_PLUS, NULL,
1226                         intel_vgpu_reg_imr_handler);
1227
1228         MMIO_DH(GEN8_GT_IMR(0), D_BDW_PLUS, NULL, intel_vgpu_reg_imr_handler);
1229         MMIO_DH(GEN8_GT_IER(0), D_BDW_PLUS, NULL, intel_vgpu_reg_ier_handler);
1230         MMIO_DH(GEN8_GT_IIR(0), D_BDW_PLUS, NULL, intel_vgpu_reg_iir_handler);
1231         MMIO_D(GEN8_GT_ISR(0), D_BDW_PLUS);
1232
1233         MMIO_DH(GEN8_GT_IMR(1), D_BDW_PLUS, NULL, intel_vgpu_reg_imr_handler);
1234         MMIO_DH(GEN8_GT_IER(1), D_BDW_PLUS, NULL, intel_vgpu_reg_ier_handler);
1235         MMIO_DH(GEN8_GT_IIR(1), D_BDW_PLUS, NULL, intel_vgpu_reg_iir_handler);
1236         MMIO_D(GEN8_GT_ISR(1), D_BDW_PLUS);
1237
1238         MMIO_DH(GEN8_GT_IMR(2), D_BDW_PLUS, NULL, intel_vgpu_reg_imr_handler);
1239         MMIO_DH(GEN8_GT_IER(2), D_BDW_PLUS, NULL, intel_vgpu_reg_ier_handler);
1240         MMIO_DH(GEN8_GT_IIR(2), D_BDW_PLUS, NULL, intel_vgpu_reg_iir_handler);
1241         MMIO_D(GEN8_GT_ISR(2), D_BDW_PLUS);
1242
1243         MMIO_DH(GEN8_GT_IMR(3), D_BDW_PLUS, NULL, intel_vgpu_reg_imr_handler);
1244         MMIO_DH(GEN8_GT_IER(3), D_BDW_PLUS, NULL, intel_vgpu_reg_ier_handler);
1245         MMIO_DH(GEN8_GT_IIR(3), D_BDW_PLUS, NULL, intel_vgpu_reg_iir_handler);
1246         MMIO_D(GEN8_GT_ISR(3), D_BDW_PLUS);
1247
1248         MMIO_DH(GEN8_DE_PIPE_IMR(PIPE_A), D_BDW_PLUS, NULL,
1249                 intel_vgpu_reg_imr_handler);
1250         MMIO_DH(GEN8_DE_PIPE_IER(PIPE_A), D_BDW_PLUS, NULL,
1251                 intel_vgpu_reg_ier_handler);
1252         MMIO_DH(GEN8_DE_PIPE_IIR(PIPE_A), D_BDW_PLUS, NULL,
1253                 intel_vgpu_reg_iir_handler);
1254         MMIO_D(GEN8_DE_PIPE_ISR(PIPE_A), D_BDW_PLUS);
1255
1256         MMIO_DH(GEN8_DE_PIPE_IMR(PIPE_B), D_BDW_PLUS, NULL,
1257                 intel_vgpu_reg_imr_handler);
1258         MMIO_DH(GEN8_DE_PIPE_IER(PIPE_B), D_BDW_PLUS, NULL,
1259                 intel_vgpu_reg_ier_handler);
1260         MMIO_DH(GEN8_DE_PIPE_IIR(PIPE_B), D_BDW_PLUS, NULL,
1261                 intel_vgpu_reg_iir_handler);
1262         MMIO_D(GEN8_DE_PIPE_ISR(PIPE_B), D_BDW_PLUS);
1263
1264         MMIO_DH(GEN8_DE_PIPE_IMR(PIPE_C), D_BDW_PLUS, NULL,
1265                 intel_vgpu_reg_imr_handler);
1266         MMIO_DH(GEN8_DE_PIPE_IER(PIPE_C), D_BDW_PLUS, NULL,
1267                 intel_vgpu_reg_ier_handler);
1268         MMIO_DH(GEN8_DE_PIPE_IIR(PIPE_C), D_BDW_PLUS, NULL,
1269                 intel_vgpu_reg_iir_handler);
1270         MMIO_D(GEN8_DE_PIPE_ISR(PIPE_C), D_BDW_PLUS);
1271
1272         MMIO_DH(GEN8_DE_PORT_IMR, D_BDW_PLUS, NULL, intel_vgpu_reg_imr_handler);
1273         MMIO_DH(GEN8_DE_PORT_IER, D_BDW_PLUS, NULL, intel_vgpu_reg_ier_handler);
1274         MMIO_DH(GEN8_DE_PORT_IIR, D_BDW_PLUS, NULL, intel_vgpu_reg_iir_handler);
1275         MMIO_D(GEN8_DE_PORT_ISR, D_BDW_PLUS);
1276
1277         MMIO_DH(GEN8_DE_MISC_IMR, D_BDW_PLUS, NULL, intel_vgpu_reg_imr_handler);
1278         MMIO_DH(GEN8_DE_MISC_IER, D_BDW_PLUS, NULL, intel_vgpu_reg_ier_handler);
1279         MMIO_DH(GEN8_DE_MISC_IIR, D_BDW_PLUS, NULL, intel_vgpu_reg_iir_handler);
1280         MMIO_D(GEN8_DE_MISC_ISR, D_BDW_PLUS);
1281
1282         MMIO_DH(GEN8_PCU_IMR, D_BDW_PLUS, NULL, intel_vgpu_reg_imr_handler);
1283         MMIO_DH(GEN8_PCU_IER, D_BDW_PLUS, NULL, intel_vgpu_reg_ier_handler);
1284         MMIO_DH(GEN8_PCU_IIR, D_BDW_PLUS, NULL, intel_vgpu_reg_iir_handler);
1285         MMIO_D(GEN8_PCU_ISR, D_BDW_PLUS);
1286
1287         MMIO_DH(GEN8_MASTER_IRQ, D_BDW_PLUS, NULL,
1288                 intel_vgpu_reg_master_irq_handler);
1289
1290         MMIO_D(RING_HWSTAM(GEN8_BSD2_RING_BASE), D_BDW_PLUS);
1291         MMIO_D(0x1c134, D_BDW_PLUS);
1292
1293         MMIO_D(RING_TAIL(GEN8_BSD2_RING_BASE), D_BDW_PLUS);
1294         MMIO_D(RING_HEAD(GEN8_BSD2_RING_BASE),  D_BDW_PLUS);
1295         MMIO_GM(RING_START(GEN8_BSD2_RING_BASE), D_BDW_PLUS, NULL, NULL);
1296         MMIO_D(RING_CTL(GEN8_BSD2_RING_BASE), D_BDW_PLUS);
1297         MMIO_D(RING_ACTHD(GEN8_BSD2_RING_BASE), D_BDW_PLUS);
1298         MMIO_D(RING_ACTHD_UDW(GEN8_BSD2_RING_BASE), D_BDW_PLUS);
1299         MMIO_DFH(0x1c29c, D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1300         MMIO_DFH(RING_MI_MODE(GEN8_BSD2_RING_BASE), D_BDW_PLUS, F_MODE_MASK,
1301                         NULL, NULL);
1302         MMIO_DFH(RING_INSTPM(GEN8_BSD2_RING_BASE), D_BDW_PLUS, F_MODE_MASK,
1303                         NULL, NULL);
1304         MMIO_DFH(RING_TIMESTAMP(GEN8_BSD2_RING_BASE), D_BDW_PLUS, F_MODE_MASK,
1305                         NULL, NULL);
1306
1307         MMIO_RING_D(RING_ACTHD_UDW, D_BDW_PLUS);
1308
1309 #define RING_REG(base) (base + 0x230)
1310         MMIO_RING_DFH(RING_REG, D_BDW_PLUS, 0, NULL, NULL);
1311         MMIO_DH(RING_REG(GEN8_BSD2_RING_BASE), D_BDW_PLUS, NULL, NULL);
1312 #undef RING_REG
1313
1314 #define RING_REG(base) (base + 0x234)
1315         MMIO_RING_F(RING_REG, 8, F_RO, 0, ~0, D_BDW_PLUS, NULL, NULL);
1316         MMIO_F(RING_REG(GEN8_BSD2_RING_BASE), 4, F_RO, 0, ~0LL, D_BDW_PLUS, NULL, NULL);
1317 #undef RING_REG
1318
1319 #define RING_REG(base) (base + 0x244)
1320         MMIO_RING_D(RING_REG, D_BDW_PLUS);
1321         MMIO_D(RING_REG(GEN8_BSD2_RING_BASE), D_BDW_PLUS);
1322 #undef RING_REG
1323
1324 #define RING_REG(base) (base + 0x370)
1325         MMIO_RING_F(RING_REG, 48, F_RO, 0, ~0, D_BDW_PLUS, NULL, NULL);
1326         MMIO_F(RING_REG(GEN8_BSD2_RING_BASE), 48, F_RO, 0, ~0, D_BDW_PLUS,
1327                         NULL, NULL);
1328 #undef RING_REG
1329
1330 #define RING_REG(base) (base + 0x3a0)
1331         MMIO_RING_DFH(RING_REG, D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1332         MMIO_DFH(RING_REG(GEN8_BSD2_RING_BASE), D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1333 #undef RING_REG
1334
1335         MMIO_D(PIPEMISC(PIPE_A), D_BDW_PLUS);
1336         MMIO_D(PIPEMISC(PIPE_B), D_BDW_PLUS);
1337         MMIO_D(PIPEMISC(PIPE_C), D_BDW_PLUS);
1338         MMIO_D(0x1c1d0, D_BDW_PLUS);
1339         MMIO_D(GEN6_MBCUNIT_SNPCR, D_BDW_PLUS);
1340         MMIO_D(GEN7_MISCCPCTL, D_BDW_PLUS);
1341         MMIO_D(0x1c054, D_BDW_PLUS);
1342
1343         MMIO_D(GEN8_PRIVATE_PAT_LO, D_BDW_PLUS);
1344         MMIO_D(GEN8_PRIVATE_PAT_HI, D_BDW_PLUS);
1345
1346         MMIO_D(GAMTARBMODE, D_BDW_PLUS);
1347
1348 #define RING_REG(base) (base + 0x270)
1349         MMIO_RING_F(RING_REG, 32, 0, 0, 0, D_BDW_PLUS, NULL, NULL);
1350         MMIO_F(RING_REG(GEN8_BSD2_RING_BASE), 32, 0, 0, 0, D_BDW_PLUS, NULL, NULL);
1351 #undef RING_REG
1352
1353         MMIO_RING_GM(RING_HWS_PGA, D_BDW_PLUS, NULL, NULL);
1354         MMIO_GM(0x1c080, D_BDW_PLUS, NULL, NULL);
1355
1356         MMIO_DFH(HDC_CHICKEN0, D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1357
1358         MMIO_D(CHICKEN_PIPESL_1(PIPE_A), D_BDW);
1359         MMIO_D(CHICKEN_PIPESL_1(PIPE_B), D_BDW);
1360         MMIO_D(CHICKEN_PIPESL_1(PIPE_C), D_BDW);
1361
1362         MMIO_D(WM_MISC, D_BDW);
1363         MMIO_D(BDW_EDP_PSR_BASE, D_BDW);
1364
1365         MMIO_D(0x66c00, D_BDW_PLUS);
1366         MMIO_D(0x66c04, D_BDW_PLUS);
1367
1368         MMIO_D(HSW_GTT_CACHE_EN, D_BDW_PLUS);
1369
1370         MMIO_D(GEN8_EU_DISABLE0, D_BDW_PLUS);
1371         MMIO_D(GEN8_EU_DISABLE1, D_BDW_PLUS);
1372         MMIO_D(GEN8_EU_DISABLE2, D_BDW_PLUS);
1373
1374         MMIO_D(0xfdc, D_BDW);
1375         MMIO_D(GEN8_ROW_CHICKEN, D_BDW_PLUS);
1376         MMIO_D(GEN7_ROW_CHICKEN2, D_BDW_PLUS);
1377         MMIO_D(GEN8_UCGCTL6, D_BDW_PLUS);
1378
1379         MMIO_D(0xb1f0, D_BDW);
1380         MMIO_D(0xb1c0, D_BDW);
1381         MMIO_DFH(GEN8_L3SQCREG4, D_BDW_PLUS, F_CMD_ACCESS, NULL, NULL);
1382         MMIO_D(0xb100, D_BDW);
1383         MMIO_D(0xb10c, D_BDW);
1384         MMIO_D(0xb110, D_BDW);
1385
1386         MMIO_DH(0x24d0, D_BDW_PLUS, NULL, NULL);
1387         MMIO_DH(0x24d4, D_BDW_PLUS, NULL, NULL);
1388         MMIO_DH(0x24d8, D_BDW_PLUS, NULL, NULL);
1389         MMIO_DH(0x24dc, D_BDW_PLUS, NULL, NULL);
1390
1391         MMIO_D(0x83a4, D_BDW);
1392         MMIO_D(GEN8_L3_LRA_1_GPGPU, D_BDW_PLUS);
1393
1394         MMIO_D(0x8430, D_BDW);
1395
1396         MMIO_D(0x110000, D_BDW_PLUS);
1397
1398         MMIO_D(0x48400, D_BDW_PLUS);
1399
1400         MMIO_D(0x6e570, D_BDW_PLUS);
1401         MMIO_D(0x65f10, D_BDW_PLUS);
1402
1403         MMIO_DFH(0xe194, D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1404         MMIO_DFH(0xe188, D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1405         MMIO_DFH(0xe180, D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1406         MMIO_DFH(0x2580, D_BDW_PLUS, F_MODE_MASK, NULL, NULL);
1407
1408         MMIO_D(0x2248, D_BDW);
1409
1410         return 0;
1411 }
1412
1413 static int init_skl_mmio_info(struct intel_gvt *gvt)
1414 {
1415         struct drm_i915_private *dev_priv = gvt->dev_priv;
1416         int ret;
1417
1418         MMIO_DH(FORCEWAKE_RENDER_GEN9, D_SKL_PLUS, NULL, mul_force_wake_write);
1419         MMIO_DH(FORCEWAKE_ACK_RENDER_GEN9, D_SKL_PLUS, NULL, NULL);
1420         MMIO_DH(FORCEWAKE_BLITTER_GEN9, D_SKL_PLUS, NULL, mul_force_wake_write);
1421         MMIO_DH(FORCEWAKE_ACK_BLITTER_GEN9, D_SKL_PLUS, NULL, NULL);
1422         MMIO_DH(FORCEWAKE_MEDIA_GEN9, D_SKL_PLUS, NULL, mul_force_wake_write);
1423         MMIO_DH(FORCEWAKE_ACK_MEDIA_GEN9, D_SKL_PLUS, NULL, NULL);
1424
1425         MMIO_F(_DPB_AUX_CH_CTL, 6 * 4, 0, 0, 0, D_SKL, NULL, NULL);
1426         MMIO_F(_DPC_AUX_CH_CTL, 6 * 4, 0, 0, 0, D_SKL, NULL, NULL);
1427         MMIO_F(_DPD_AUX_CH_CTL, 6 * 4, 0, 0, 0, D_SKL, NULL, NULL);
1428
1429         MMIO_D(HSW_PWR_WELL_BIOS, D_SKL);
1430         MMIO_DH(HSW_PWR_WELL_DRIVER, D_SKL, NULL, NULL);
1431
1432         MMIO_DH(GEN6_PCODE_MAILBOX, D_SKL, NULL, NULL);
1433         MMIO_D(0xa210, D_SKL_PLUS);
1434         MMIO_D(GEN9_MEDIA_PG_IDLE_HYSTERESIS, D_SKL_PLUS);
1435         MMIO_D(GEN9_RENDER_PG_IDLE_HYSTERESIS, D_SKL_PLUS);
1436         MMIO_DH(0x4ddc, D_SKL, NULL, NULL);
1437         MMIO_DH(0x42080, D_SKL, NULL, NULL);
1438         MMIO_D(0x45504, D_SKL);
1439         MMIO_D(0x45520, D_SKL);
1440         MMIO_D(0x46000, D_SKL);
1441         MMIO_DH(0x46010, D_SKL, NULL, NULL);
1442         MMIO_DH(0x46014, D_SKL, NULL, NULL);
1443         MMIO_D(0x6C040, D_SKL);
1444         MMIO_D(0x6C048, D_SKL);
1445         MMIO_D(0x6C050, D_SKL);
1446         MMIO_D(0x6C044, D_SKL);
1447         MMIO_D(0x6C04C, D_SKL);
1448         MMIO_D(0x6C054, D_SKL);
1449         MMIO_D(0x6c058, D_SKL);
1450         MMIO_D(0x6c05c, D_SKL);
1451         MMIO_DH(0x6c060, D_SKL, NULL, NULL);
1452
1453         MMIO_DH(SKL_PS_WIN_POS(PIPE_A, 0), D_SKL, NULL, NULL);
1454         MMIO_DH(SKL_PS_WIN_POS(PIPE_A, 1), D_SKL, NULL, NULL);
1455         MMIO_DH(SKL_PS_WIN_POS(PIPE_B, 0), D_SKL, NULL, NULL);
1456         MMIO_DH(SKL_PS_WIN_POS(PIPE_B, 1), D_SKL, NULL, NULL);
1457         MMIO_DH(SKL_PS_WIN_POS(PIPE_C, 0), D_SKL, NULL, NULL);
1458         MMIO_DH(SKL_PS_WIN_POS(PIPE_C, 1), D_SKL, NULL, NULL);
1459
1460         MMIO_DH(SKL_PS_WIN_SZ(PIPE_A, 0), D_SKL, NULL, NULL);
1461         MMIO_DH(SKL_PS_WIN_SZ(PIPE_A, 1), D_SKL, NULL, NULL);
1462         MMIO_DH(SKL_PS_WIN_SZ(PIPE_B, 0), D_SKL, NULL, NULL);
1463         MMIO_DH(SKL_PS_WIN_SZ(PIPE_B, 1), D_SKL, NULL, NULL);
1464         MMIO_DH(SKL_PS_WIN_SZ(PIPE_C, 0), D_SKL, NULL, NULL);
1465         MMIO_DH(SKL_PS_WIN_SZ(PIPE_C, 1), D_SKL, NULL, NULL);
1466
1467         MMIO_DH(SKL_PS_CTRL(PIPE_A, 0), D_SKL, NULL, NULL);
1468         MMIO_DH(SKL_PS_CTRL(PIPE_A, 1), D_SKL, NULL, NULL);
1469         MMIO_DH(SKL_PS_CTRL(PIPE_B, 0), D_SKL, NULL, NULL);
1470         MMIO_DH(SKL_PS_CTRL(PIPE_B, 1), D_SKL, NULL, NULL);
1471         MMIO_DH(SKL_PS_CTRL(PIPE_C, 0), D_SKL, NULL, NULL);
1472         MMIO_DH(SKL_PS_CTRL(PIPE_C, 1), D_SKL, NULL, NULL);
1473
1474         MMIO_DH(PLANE_BUF_CFG(PIPE_A, 0), D_SKL, NULL, NULL);
1475         MMIO_DH(PLANE_BUF_CFG(PIPE_A, 1), D_SKL, NULL, NULL);
1476         MMIO_DH(PLANE_BUF_CFG(PIPE_A, 2), D_SKL, NULL, NULL);
1477         MMIO_DH(PLANE_BUF_CFG(PIPE_A, 3), D_SKL, NULL, NULL);
1478
1479         MMIO_DH(PLANE_BUF_CFG(PIPE_B, 0), D_SKL, NULL, NULL);
1480         MMIO_DH(PLANE_BUF_CFG(PIPE_B, 1), D_SKL, NULL, NULL);
1481         MMIO_DH(PLANE_BUF_CFG(PIPE_B, 2), D_SKL, NULL, NULL);
1482         MMIO_DH(PLANE_BUF_CFG(PIPE_B, 3), D_SKL, NULL, NULL);
1483
1484         MMIO_DH(PLANE_BUF_CFG(PIPE_C, 0), D_SKL, NULL, NULL);
1485         MMIO_DH(PLANE_BUF_CFG(PIPE_C, 1), D_SKL, NULL, NULL);
1486         MMIO_DH(PLANE_BUF_CFG(PIPE_C, 2), D_SKL, NULL, NULL);
1487         MMIO_DH(PLANE_BUF_CFG(PIPE_C, 3), D_SKL, NULL, NULL);
1488
1489         MMIO_DH(CUR_BUF_CFG(PIPE_A), D_SKL, NULL, NULL);
1490         MMIO_DH(CUR_BUF_CFG(PIPE_B), D_SKL, NULL, NULL);
1491         MMIO_DH(CUR_BUF_CFG(PIPE_C), D_SKL, NULL, NULL);
1492
1493         MMIO_F(PLANE_WM(PIPE_A, 0, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1494         MMIO_F(PLANE_WM(PIPE_A, 1, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1495         MMIO_F(PLANE_WM(PIPE_A, 2, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1496
1497         MMIO_F(PLANE_WM(PIPE_B, 0, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1498         MMIO_F(PLANE_WM(PIPE_B, 1, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1499         MMIO_F(PLANE_WM(PIPE_B, 2, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1500
1501         MMIO_F(PLANE_WM(PIPE_C, 0, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1502         MMIO_F(PLANE_WM(PIPE_C, 1, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1503         MMIO_F(PLANE_WM(PIPE_C, 2, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1504
1505         MMIO_F(CUR_WM(PIPE_A, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1506         MMIO_F(CUR_WM(PIPE_B, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1507         MMIO_F(CUR_WM(PIPE_C, 0), 4 * 8, 0, 0, 0, D_SKL, NULL, NULL);
1508
1509         MMIO_DH(PLANE_WM_TRANS(PIPE_A, 0), D_SKL, NULL, NULL);
1510         MMIO_DH(PLANE_WM_TRANS(PIPE_A, 1), D_SKL, NULL, NULL);
1511         MMIO_DH(PLANE_WM_TRANS(PIPE_A, 2), D_SKL, NULL, NULL);
1512
1513         MMIO_DH(PLANE_WM_TRANS(PIPE_B, 0), D_SKL, NULL, NULL);
1514         MMIO_DH(PLANE_WM_TRANS(PIPE_B, 1), D_SKL, NULL, NULL);
1515         MMIO_DH(PLANE_WM_TRANS(PIPE_B, 2), D_SKL, NULL, NULL);
1516
1517         MMIO_DH(PLANE_WM_TRANS(PIPE_C, 0), D_SKL, NULL, NULL);
1518         MMIO_DH(PLANE_WM_TRANS(PIPE_C, 1), D_SKL, NULL, NULL);
1519         MMIO_DH(PLANE_WM_TRANS(PIPE_C, 2), D_SKL, NULL, NULL);
1520
1521         MMIO_DH(CUR_WM_TRANS(PIPE_A), D_SKL, NULL, NULL);
1522         MMIO_DH(CUR_WM_TRANS(PIPE_B), D_SKL, NULL, NULL);
1523         MMIO_DH(CUR_WM_TRANS(PIPE_C), D_SKL, NULL, NULL);
1524
1525         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_A, 0), D_SKL, NULL, NULL);
1526         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_A, 1), D_SKL, NULL, NULL);
1527         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_A, 2), D_SKL, NULL, NULL);
1528         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_A, 3), D_SKL, NULL, NULL);
1529
1530         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_B, 0), D_SKL, NULL, NULL);
1531         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_B, 1), D_SKL, NULL, NULL);
1532         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_B, 2), D_SKL, NULL, NULL);
1533         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_B, 3), D_SKL, NULL, NULL);
1534
1535         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_C, 0), D_SKL, NULL, NULL);
1536         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_C, 1), D_SKL, NULL, NULL);
1537         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_C, 2), D_SKL, NULL, NULL);
1538         MMIO_DH(PLANE_NV12_BUF_CFG(PIPE_C, 3), D_SKL, NULL, NULL);
1539
1540         MMIO_DH(_REG_701C0(PIPE_A, 1), D_SKL, NULL, NULL);
1541         MMIO_DH(_REG_701C0(PIPE_A, 2), D_SKL, NULL, NULL);
1542         MMIO_DH(_REG_701C0(PIPE_A, 3), D_SKL, NULL, NULL);
1543         MMIO_DH(_REG_701C0(PIPE_A, 4), D_SKL, NULL, NULL);
1544
1545         MMIO_DH(_REG_701C0(PIPE_B, 1), D_SKL, NULL, NULL);
1546         MMIO_DH(_REG_701C0(PIPE_B, 2), D_SKL, NULL, NULL);
1547         MMIO_DH(_REG_701C0(PIPE_B, 3), D_SKL, NULL, NULL);
1548         MMIO_DH(_REG_701C0(PIPE_B, 4), D_SKL, NULL, NULL);
1549
1550         MMIO_DH(_REG_701C0(PIPE_C, 1), D_SKL, NULL, NULL);
1551         MMIO_DH(_REG_701C0(PIPE_C, 2), D_SKL, NULL, NULL);
1552         MMIO_DH(_REG_701C0(PIPE_C, 3), D_SKL, NULL, NULL);
1553         MMIO_DH(_REG_701C0(PIPE_C, 4), D_SKL, NULL, NULL);
1554
1555         MMIO_DH(_REG_701C4(PIPE_A, 1), D_SKL, NULL, NULL);
1556         MMIO_DH(_REG_701C4(PIPE_A, 2), D_SKL, NULL, NULL);
1557         MMIO_DH(_REG_701C4(PIPE_A, 3), D_SKL, NULL, NULL);
1558         MMIO_DH(_REG_701C4(PIPE_A, 4), D_SKL, NULL, NULL);
1559
1560         MMIO_DH(_REG_701C4(PIPE_B, 1), D_SKL, NULL, NULL);
1561         MMIO_DH(_REG_701C4(PIPE_B, 2), D_SKL, NULL, NULL);
1562         MMIO_DH(_REG_701C4(PIPE_B, 3), D_SKL, NULL, NULL);
1563         MMIO_DH(_REG_701C4(PIPE_B, 4), D_SKL, NULL, NULL);
1564
1565         MMIO_DH(_REG_701C4(PIPE_C, 1), D_SKL, NULL, NULL);
1566         MMIO_DH(_REG_701C4(PIPE_C, 2), D_SKL, NULL, NULL);
1567         MMIO_DH(_REG_701C4(PIPE_C, 3), D_SKL, NULL, NULL);
1568         MMIO_DH(_REG_701C4(PIPE_C, 4), D_SKL, NULL, NULL);
1569
1570         MMIO_D(0x70380, D_SKL);
1571         MMIO_D(0x71380, D_SKL);
1572         MMIO_D(0x72380, D_SKL);
1573         MMIO_D(0x7039c, D_SKL);
1574
1575         MMIO_F(0x80000, 0x3000, 0, 0, 0, D_SKL, NULL, NULL);
1576         MMIO_D(0x8f074, D_SKL);
1577         MMIO_D(0x8f004, D_SKL);
1578         MMIO_D(0x8f034, D_SKL);
1579
1580         MMIO_D(0xb11c, D_SKL);
1581
1582         MMIO_D(0x51000, D_SKL);
1583         MMIO_D(0x6c00c, D_SKL);
1584
1585         MMIO_F(0xc800, 0x7f8, 0, 0, 0, D_SKL, NULL, NULL);
1586         MMIO_F(0xb020, 0x80, 0, 0, 0, D_SKL, NULL, NULL);
1587
1588         MMIO_D(0xd08, D_SKL);
1589         MMIO_D(0x20e0, D_SKL);
1590         MMIO_D(0x20ec, D_SKL);
1591
1592         /* TRTT */
1593         MMIO_D(0x4de0, D_SKL);
1594         MMIO_D(0x4de4, D_SKL);
1595         MMIO_D(0x4de8, D_SKL);
1596         MMIO_D(0x4dec, D_SKL);
1597         MMIO_D(0x4df0, D_SKL);
1598         MMIO_DH(0x4df4, D_SKL, NULL, gen9_trtte_write);
1599         MMIO_DH(0x4dfc, D_SKL, NULL, gen9_trtt_chicken_write);
1600
1601         MMIO_D(0x45008, D_SKL);
1602
1603         MMIO_D(0x46430, D_SKL);
1604
1605         MMIO_D(0x46520, D_SKL);
1606
1607         MMIO_D(0xc403c, D_SKL);
1608         MMIO_D(0xb004, D_SKL);
1609         MMIO_DH(DMA_CTRL, D_SKL_PLUS, NULL, dma_ctrl_write);
1610
1611         MMIO_D(0x65900, D_SKL);
1612         MMIO_D(0x1082c0, D_SKL);
1613         MMIO_D(0x4068, D_SKL);
1614         MMIO_D(0x67054, D_SKL);
1615         MMIO_D(0x6e560, D_SKL);
1616         MMIO_D(0x6e554, D_SKL);
1617         MMIO_D(0x2b20, D_SKL);
1618         MMIO_D(0x65f00, D_SKL);
1619         MMIO_D(0x65f08, D_SKL);
1620         MMIO_D(0x320f0, D_SKL);
1621
1622         MMIO_D(_REG_VCS2_EXCC, D_SKL);
1623         MMIO_D(0x70034, D_SKL);
1624         MMIO_D(0x71034, D_SKL);
1625         MMIO_D(0x72034, D_SKL);
1626
1627         MMIO_D(_PLANE_KEYVAL_1(PIPE_A), D_SKL);
1628         MMIO_D(_PLANE_KEYVAL_1(PIPE_B), D_SKL);
1629         MMIO_D(_PLANE_KEYVAL_1(PIPE_C), D_SKL);
1630         MMIO_D(_PLANE_KEYMSK_1(PIPE_A), D_SKL);
1631         MMIO_D(_PLANE_KEYMSK_1(PIPE_B), D_SKL);
1632         MMIO_D(_PLANE_KEYMSK_1(PIPE_C), D_SKL);
1633
1634         MMIO_D(0x44500, D_SKL);
1635         return 0;
1636 }
1637 /**
1638  * intel_gvt_find_mmio_info - find MMIO information entry by aligned offset
1639  * @gvt: GVT device
1640  * @offset: register offset
1641  *
1642  * This function is used to find the MMIO information entry from hash table
1643  *
1644  * Returns:
1645  * pointer to MMIO information entry, NULL if not exists
1646  */
1647 struct intel_gvt_mmio_info *intel_gvt_find_mmio_info(struct intel_gvt *gvt,
1648         unsigned int offset)
1649 {
1650         struct intel_gvt_mmio_info *e;
1651
1652         WARN_ON(!IS_ALIGNED(offset, 4));
1653
1654         hash_for_each_possible(gvt->mmio.mmio_info_table, e, node, offset) {
1655                 if (e->offset == offset)
1656                         return e;
1657         }
1658         return NULL;
1659 }
1660
1661 /**
1662  * intel_gvt_clean_mmio_info - clean up MMIO information table for GVT device
1663  * @gvt: GVT device
1664  *
1665  * This function is called at the driver unloading stage, to clean up the MMIO
1666  * information table of GVT device
1667  *
1668  */
1669 void intel_gvt_clean_mmio_info(struct intel_gvt *gvt)
1670 {
1671         struct hlist_node *tmp;
1672         struct intel_gvt_mmio_info *e;
1673         int i;
1674
1675         hash_for_each_safe(gvt->mmio.mmio_info_table, i, tmp, e, node)
1676                 kfree(e);
1677
1678         vfree(gvt->mmio.mmio_attribute);
1679         gvt->mmio.mmio_attribute = NULL;
1680 }
1681
1682 /**
1683  * intel_gvt_setup_mmio_info - setup MMIO information table for GVT device
1684  * @gvt: GVT device
1685  *
1686  * This function is called at the initialization stage, to setup the MMIO
1687  * information table for GVT device
1688  *
1689  * Returns:
1690  * zero on success, negative if failed.
1691  */
1692 int intel_gvt_setup_mmio_info(struct intel_gvt *gvt)
1693 {
1694         struct intel_gvt_device_info *info = &gvt->device_info;
1695         struct drm_i915_private *dev_priv = gvt->dev_priv;
1696         int ret;
1697
1698         gvt->mmio.mmio_attribute = vzalloc(info->mmio_size);
1699         if (!gvt->mmio.mmio_attribute)
1700                 return -ENOMEM;
1701
1702         ret = init_generic_mmio_info(gvt);
1703         if (ret)
1704                 goto err;
1705
1706         if (IS_BROADWELL(dev_priv)) {
1707                 ret = init_broadwell_mmio_info(gvt);
1708                 if (ret)
1709                         goto err;
1710         } else if (IS_SKYLAKE(dev_priv)) {
1711                 ret = init_broadwell_mmio_info(gvt);
1712                 if (ret)
1713                         goto err;
1714                 ret = init_skl_mmio_info(gvt);
1715                 if (ret)
1716                         goto err;
1717         }
1718         return 0;
1719 err:
1720         intel_gvt_clean_mmio_info(gvt);
1721         return ret;
1722 }
1723
1724 /**
1725  * intel_gvt_mmio_set_accessed - mark a MMIO has been accessed
1726  * @gvt: a GVT device
1727  * @offset: register offset
1728  *
1729  */
1730 void intel_gvt_mmio_set_accessed(struct intel_gvt *gvt, unsigned int offset)
1731 {
1732         gvt->mmio.mmio_attribute[offset >> 2] |=
1733                 F_ACCESSED;
1734 }
1735
1736 /**
1737  * intel_gvt_mmio_is_cmd_accessed - mark a MMIO could be accessed by command
1738  * @gvt: a GVT device
1739  * @offset: register offset
1740  *
1741  */
1742 bool intel_gvt_mmio_is_cmd_access(struct intel_gvt *gvt,
1743                 unsigned int offset)
1744 {
1745         return gvt->mmio.mmio_attribute[offset >> 2] &
1746                 F_CMD_ACCESS;
1747 }
1748
1749 /**
1750  * intel_gvt_mmio_is_unalign - mark a MMIO could be accessed unaligned
1751  * @gvt: a GVT device
1752  * @offset: register offset
1753  *
1754  */
1755 bool intel_gvt_mmio_is_unalign(struct intel_gvt *gvt,
1756                 unsigned int offset)
1757 {
1758         return gvt->mmio.mmio_attribute[offset >> 2] &
1759                 F_UNALIGN;
1760 }
1761
1762 /**
1763  * intel_gvt_mmio_set_cmd_accessed - mark a MMIO has been accessed by command
1764  * @gvt: a GVT device
1765  * @offset: register offset
1766  *
1767  */
1768 void intel_gvt_mmio_set_cmd_accessed(struct intel_gvt *gvt,
1769                 unsigned int offset)
1770 {
1771         gvt->mmio.mmio_attribute[offset >> 2] |=
1772                 F_CMD_ACCESSED;
1773 }
1774
1775 /**
1776  * intel_gvt_mmio_has_mode_mask - if a MMIO has a mode mask
1777  * @gvt: a GVT device
1778  * @offset: register offset
1779  *
1780  * Returns:
1781  * True if a MMIO has a mode mask in its higher 16 bits, false if it isn't.
1782  *
1783  */
1784 bool intel_gvt_mmio_has_mode_mask(struct intel_gvt *gvt, unsigned int offset)
1785 {
1786         return gvt->mmio.mmio_attribute[offset >> 2] &
1787                 F_MODE_MASK;
1788 }
1789
1790 /**
1791  * intel_vgpu_default_mmio_read - default MMIO read handler
1792  * @vgpu: a vGPU
1793  * @offset: access offset
1794  * @p_data: data return buffer
1795  * @bytes: access data length
1796  *
1797  * Returns:
1798  * Zero on success, negative error code if failed.
1799  */
1800 int intel_vgpu_default_mmio_read(struct intel_vgpu *vgpu, unsigned int offset,
1801                 void *p_data, unsigned int bytes)
1802 {
1803         read_vreg(vgpu, offset, p_data, bytes);
1804         return 0;
1805 }
1806
1807 /**
1808  * intel_t_default_mmio_write - default MMIO write handler
1809  * @vgpu: a vGPU
1810  * @offset: access offset
1811  * @p_data: write data buffer
1812  * @bytes: access data length
1813  *
1814  * Returns:
1815  * Zero on success, negative error code if failed.
1816  */
1817 int intel_vgpu_default_mmio_write(struct intel_vgpu *vgpu, unsigned int offset,
1818                 void *p_data, unsigned int bytes)
1819 {
1820         write_vreg(vgpu, offset, p_data, bytes);
1821         return 0;
1822 }