iommu: add essential functionality
[akaros.git] / kern / arch / x86 / intel-iommu.h
1 /*
2  * Copyright © 2006-2015, Intel Corporation.
3  *
4  * Authors: Ashok Raj <ashok.raj@intel.com>
5  *          Anil S Keshavamurthy <anil.s.keshavamurthy@intel.com>
6  *          David Woodhouse <David.Woodhouse@intel.com>
7  *
8  * This program is free software; you can redistribute it and/or modify it
9  * under the terms and conditions of the GNU General Public License,
10  * version 2, as published by the Free Software Foundation.
11  *
12  * This program is distributed in the hope it will be useful, but WITHOUT
13  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
14  * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License for
15  * more details.
16  *
17  * You should have received a copy of the GNU General Public License along with
18  * this program; if not, write to the Free Software Foundation, Inc., 59 Temple
19  * Place - Suite 330, Boston, MA 02111-1307 USA.
20  */
21
22 #ifndef _INTEL_IOMMU_H_
23 #define _INTEL_IOMMU_H_
24
25 #include <atomic.h>
26 #include <env.h>
27
28 #define u8 uint8_t
29 #define u16 uint16_t
30 #define u32 uint32_t
31 #define u64 uint64_t
32
33 /* paging: root table entries */
34 #define RT_LO_PRESENT_SHIFT     0
35
36 /* paging: context entries */
37 #define CTX_HI_DID_SHIFT        8
38 #define CTX_HI_AW_SHIFT         0 // address width
39 #define CTX_LO_TRANS_SHIFT      2
40 #define CTX_LO_FPD_SHIFT        1
41 #define CTX_LO_PRESENT_SHIFT    0
42
43 #define CTX_AW_L2       0x0 // 2-level page table
44 #define CTX_AW_L3       0x1
45 #define CTX_AW_L4       0x2
46 #define CTX_AW_L5       0x3
47 #define CTX_AW_L6       0x4
48
49 #define IOMMU_DID_DEFAULT 1 // means pid 1 cannot have a passthru device
50
51 struct iommu {
52         spinlock_t iommu_lock;
53         TAILQ_ENTRY(iommu) iommu_link;
54         struct proc_list procs; // unused
55         bool supported;
56
57         void __iomem *regio;
58         uint64_t rba; /* for unique assertion */
59         uint64_t num_assigned_devs;
60         physaddr_t roottable;
61         uint8_t haw_dmar; /* (=N+1) haw reported by DMAR */
62         uint8_t haw_cap; /* (=N+1) haw reported by CAP[MGAW] of iommu */
63 };
64 extern TAILQ_HEAD(iommu_list_tq, iommu) iommu_list;
65
66 void iommu_initialize(struct iommu *iommu, uint8_t haw, uint64_t rba);
67 void iommu_initialize_global(void);
68 void iommu_map_pci_devices(void); /* associate pci devices with correct iommu */
69 bool iommu_supported(void);
70 struct iommu *get_default_iommu(void); /* IOMMU of DRHD with INCLUDE_PCI_ALL */
71 void iommu_enable(void); /* enable all iommus */
72 void iommu_disable(void); /* disable all iommus */
73 bool iommu_status(void); /* returns true if any iommu is turned on */
74 /* remove all pci devices associated with proc */
75 void iommu_process_cleanup(struct proc *p);
76
77 /*
78  * VT-d hardware uses 4KiB page size regardless of host page size.
79  */
80 #define VTD_PAGE_SHIFT          (12)
81 #define VTD_PAGE_SIZE           (1UL << VTD_PAGE_SHIFT)
82 #define VTD_PAGE_MASK           (((u64)-1) << VTD_PAGE_SHIFT)
83 #define VTD_PAGE_ALIGN(addr)    (((addr) + VTD_PAGE_SIZE - 1) & VTD_PAGE_MASK)
84
85 #define VTD_STRIDE_SHIFT        (9)
86 #define VTD_STRIDE_MASK         (((u64)-1) << VTD_STRIDE_SHIFT)
87
88 #define DMA_PTE_READ (1)
89 #define DMA_PTE_WRITE (2)
90 #define DMA_PTE_LARGE_PAGE (1 << 7)
91 #define DMA_PTE_SNP (1 << 11)
92
93 #define CONTEXT_TT_MULTI_LEVEL  0
94 #define CONTEXT_TT_DEV_IOTLB    1
95 #define CONTEXT_TT_PASS_THROUGH 2
96 #define CONTEXT_PASIDE          BIT_ULL(3)
97
98 /*
99  * Intel IOMMU register specification per version 1.0 public spec.
100  */
101 #define DMAR_VER_REG    0x0     /* Arch version supported by this IOMMU */
102 #define DMAR_CAP_REG    0x8     /* Hardware supported capabilities */
103 #define DMAR_ECAP_REG   0x10    /* Extended capabilities supported */
104 #define DMAR_GCMD_REG   0x18    /* Global command register */
105 #define DMAR_GSTS_REG   0x1c    /* Global status register */
106 #define DMAR_RTADDR_REG 0x20    /* Root entry table */
107 #define DMAR_CCMD_REG   0x28    /* Context command reg */
108 #define DMAR_FSTS_REG   0x34    /* Fault Status register */
109 #define DMAR_FECTL_REG  0x38    /* Fault control register */
110 #define DMAR_FEDATA_REG 0x3c    /* Fault event interrupt data register */
111 #define DMAR_FEADDR_REG 0x40    /* Fault event interrupt addr register */
112 #define DMAR_FEUADDR_REG 0x44   /* Upper address register */
113 #define DMAR_AFLOG_REG  0x58    /* Advanced Fault control */
114 #define DMAR_PMEN_REG   0x64    /* Enable Protected Memory Region */
115 #define DMAR_PLMBASE_REG 0x68   /* PMRR Low addr */
116 #define DMAR_PLMLIMIT_REG 0x6c  /* PMRR low limit */
117 #define DMAR_PHMBASE_REG 0x70   /* pmrr high base addr */
118 #define DMAR_PHMLIMIT_REG 0x78  /* pmrr high limit */
119 #define DMAR_IQH_REG    0x80    /* Invalidation queue head register */
120 #define DMAR_IQT_REG    0x88    /* Invalidation queue tail register */
121 #define DMAR_IQ_SHIFT   4       /* Invalidation queue head/tail shift */
122 #define DMAR_IQA_REG    0x90    /* Invalidation queue addr register */
123 #define DMAR_ICS_REG    0x9c    /* Invalidation complete status register */
124 #define DMAR_IRTA_REG   0xb8    /* Interrupt remapping table addr register */
125 #define DMAR_PQH_REG    0xc0    /* Page request queue head register */
126 #define DMAR_PQT_REG    0xc8    /* Page request queue tail register */
127 #define DMAR_PQA_REG    0xd0    /* Page request queue address register */
128 #define DMAR_PRS_REG    0xdc    /* Page request status register */
129 #define DMAR_PECTL_REG  0xe0    /* Page request event control register */
130 #define DMAR_PEDATA_REG 0xe4    /* Page request event interrupt data register */
131 #define DMAR_PEADDR_REG 0xe8    /* Page request event interrupt addr register */
132 #define DMAR_PEUADDR_REG 0xec   /* Page request event Upper address register */
133 #define DMAR_MTRRCAP_REG 0x100  /* MTRR capability register */
134 #define DMAR_MTRRDEF_REG 0x108  /* MTRR default type register */
135 #define DMAR_MTRR_FIX64K_00000_REG 0x120 /* MTRR Fixed range registers */
136 #define DMAR_MTRR_FIX16K_80000_REG 0x128
137 #define DMAR_MTRR_FIX16K_A0000_REG 0x130
138 #define DMAR_MTRR_FIX4K_C0000_REG 0x138
139 #define DMAR_MTRR_FIX4K_C8000_REG 0x140
140 #define DMAR_MTRR_FIX4K_D0000_REG 0x148
141 #define DMAR_MTRR_FIX4K_D8000_REG 0x150
142 #define DMAR_MTRR_FIX4K_E0000_REG 0x158
143 #define DMAR_MTRR_FIX4K_E8000_REG 0x160
144 #define DMAR_MTRR_FIX4K_F0000_REG 0x168
145 #define DMAR_MTRR_FIX4K_F8000_REG 0x170
146 #define DMAR_MTRR_PHYSBASE0_REG 0x180 /* MTRR Variable range registers */
147 #define DMAR_MTRR_PHYSMASK0_REG 0x188
148 #define DMAR_MTRR_PHYSBASE1_REG 0x190
149 #define DMAR_MTRR_PHYSMASK1_REG 0x198
150 #define DMAR_MTRR_PHYSBASE2_REG 0x1a0
151 #define DMAR_MTRR_PHYSMASK2_REG 0x1a8
152 #define DMAR_MTRR_PHYSBASE3_REG 0x1b0
153 #define DMAR_MTRR_PHYSMASK3_REG 0x1b8
154 #define DMAR_MTRR_PHYSBASE4_REG 0x1c0
155 #define DMAR_MTRR_PHYSMASK4_REG 0x1c8
156 #define DMAR_MTRR_PHYSBASE5_REG 0x1d0
157 #define DMAR_MTRR_PHYSMASK5_REG 0x1d8
158 #define DMAR_MTRR_PHYSBASE6_REG 0x1e0
159 #define DMAR_MTRR_PHYSMASK6_REG 0x1e8
160 #define DMAR_MTRR_PHYSBASE7_REG 0x1f0
161 #define DMAR_MTRR_PHYSMASK7_REG 0x1f8
162 #define DMAR_MTRR_PHYSBASE8_REG 0x200
163 #define DMAR_MTRR_PHYSMASK8_REG 0x208
164 #define DMAR_MTRR_PHYSBASE9_REG 0x210
165 #define DMAR_MTRR_PHYSMASK9_REG 0x218
166 #define DMAR_VCCAP_REG          0xe00 /* Virtual command capability register */
167 #define DMAR_VCMD_REG           0xe10 /* Virtual command register */
168 #define DMAR_VCRSP_REG          0xe20 /* Virtual command response register */
169
170 #define OFFSET_STRIDE           (9)
171
172 #define dmar_readq(a) readq(a)
173 #define dmar_writeq(a,v) writeq(v,a)
174
175 #define DMAR_VER_MAJOR(v)               (((v) & 0xf0) >> 4)
176 #define DMAR_VER_MINOR(v)               ((v) & 0x0f)
177
178 /*
179  * Decoding Capability Register
180  */
181 #define cap_5lp_support(c)      (((c) >> 60) & 1)
182 #define cap_pi_support(c)       (((c) >> 59) & 1)
183 #define cap_fl1gp_support(c)    (((c) >> 56) & 1)
184 #define cap_read_drain(c)       (((c) >> 55) & 1)
185 #define cap_write_drain(c)      (((c) >> 54) & 1)
186 #define cap_max_amask_val(c)    (((c) >> 48) & 0x3f)
187 #define cap_num_fault_regs(c)   ((((c) >> 40) & 0xff) + 1)
188 #define cap_pgsel_inv(c)        (((c) >> 39) & 1)
189
190 #define cap_super_page_val(c)   (((c) >> 34) & 0xf)
191 #define cap_super_offset(c)     (((find_first_bit(&cap_super_page_val(c), 4)) \
192                                         * OFFSET_STRIDE) + 21)
193
194 #define cap_fault_reg_offset(c) ((((c) >> 24) & 0x3ff) * 16)
195 #define cap_max_fault_reg_offset(c) \
196         (cap_fault_reg_offset(c) + cap_num_fault_regs(c) * 16)
197
198 #define cap_zlr(c)              (((c) >> 22) & 1)
199 #define cap_isoch(c)            (((c) >> 23) & 1)
200 #define cap_mgaw(c)             ((((c) >> 16) & 0x3f) + 1)
201 #define cap_sagaw(c)            (((c) >> 8) & 0x1f)
202 #define cap_caching_mode(c)     (((c) >> 7) & 1)
203 #define cap_phmr(c)             (((c) >> 6) & 1)
204 #define cap_plmr(c)             (((c) >> 5) & 1)
205 #define cap_rwbf(c)             (((c) >> 4) & 1)
206 #define cap_afl(c)              (((c) >> 3) & 1)
207 #define cap_ndoms(c)            (((unsigned long)1) << (4 + 2 * ((c) & 0x7)))
208 /*
209  * Extended Capability Register
210  */
211
212 #define ecap_smpwc(e)           (((e) >> 48) & 0x1)
213 #define ecap_flts(e)            (((e) >> 47) & 0x1)
214 #define ecap_slts(e)            (((e) >> 46) & 0x1)
215 #define ecap_smts(e)            (((e) >> 43) & 0x1)
216 #define ecap_dit(e)             ((e >> 41) & 0x1)
217 #define ecap_pasid(e)           ((e >> 40) & 0x1)
218 #define ecap_pss(e)             ((e >> 35) & 0x1f)
219 #define ecap_eafs(e)            ((e >> 34) & 0x1)
220 #define ecap_nwfs(e)            ((e >> 33) & 0x1)
221 #define ecap_srs(e)             ((e >> 31) & 0x1)
222 #define ecap_ers(e)             ((e >> 30) & 0x1)
223 #define ecap_prs(e)             ((e >> 29) & 0x1)
224 #define ecap_broken_pasid(e)    ((e >> 28) & 0x1)
225 #define ecap_dis(e)             ((e >> 27) & 0x1)
226 #define ecap_nest(e)            ((e >> 26) & 0x1)
227 #define ecap_mts(e)             ((e >> 25) & 0x1)
228 #define ecap_ecs(e)             ((e >> 24) & 0x1)
229 #define ecap_iotlb_offset(e)    ((((e) >> 8) & 0x3ff) * 16)
230 #define ecap_max_iotlb_offset(e) (ecap_iotlb_offset(e) + 16)
231 #define ecap_coherent(e)        ((e) & 0x1)
232 #define ecap_qis(e)             ((e) & 0x2)
233 #define ecap_pass_through(e)    ((e >> 6) & 0x1)
234 #define ecap_eim_support(e)     ((e >> 4) & 0x1)
235 #define ecap_ir_support(e)      ((e >> 3) & 0x1)
236 #define ecap_dev_iotlb_support(e)       (((e) >> 2) & 0x1)
237 #define ecap_max_handle_mask(e) ((e >> 20) & 0xf)
238 #define ecap_sc_support(e)      ((e >> 7) & 0x1) /* Snooping Control */
239
240 /* IOTLB_REG */
241 #define DMA_TLB_FLUSH_GRANU_OFFSET  60
242 #define DMA_TLB_GLOBAL_FLUSH (((u64)1) << 60)
243 #define DMA_TLB_DSI_FLUSH (((u64)2) << 60)
244 #define DMA_TLB_PSI_FLUSH (((u64)3) << 60)
245 #define DMA_TLB_IIRG(type) ((type >> 60) & 3)
246 #define DMA_TLB_IAIG(val) (((val) >> 57) & 3)
247 #define DMA_TLB_READ_DRAIN (((u64)1) << 49)
248 #define DMA_TLB_WRITE_DRAIN (((u64)1) << 48)
249 #define DMA_TLB_DID(id) (((u64)((id) & 0xffff)) << 32)
250 #define DMA_TLB_IVT (((u64)1) << 63)
251 #define DMA_TLB_IH_NONLEAF (((u64)1) << 6)
252 #define DMA_TLB_MAX_SIZE (0x3f)
253
254 /* INVALID_DESC */
255 #define DMA_CCMD_INVL_GRANU_OFFSET  61
256 #define DMA_ID_TLB_GLOBAL_FLUSH (((u64)1) << 4)
257 #define DMA_ID_TLB_DSI_FLUSH    (((u64)2) << 4)
258 #define DMA_ID_TLB_PSI_FLUSH    (((u64)3) << 4)
259 #define DMA_ID_TLB_READ_DRAIN   (((u64)1) << 7)
260 #define DMA_ID_TLB_WRITE_DRAIN  (((u64)1) << 6)
261 #define DMA_ID_TLB_DID(id)      (((u64)((id & 0xffff) << 16)))
262 #define DMA_ID_TLB_IH_NONLEAF   (((u64)1) << 6)
263 #define DMA_ID_TLB_ADDR(addr)   (addr)
264 #define DMA_ID_TLB_ADDR_MASK(mask)      (mask)
265
266 /* PMEN_REG */
267 #define DMA_PMEN_EPM (((u32)1)<<31)
268 #define DMA_PMEN_PRS (((u32)1)<<0)
269
270 /* GCMD_REG */
271 #define DMA_GCMD_TE (((u32)1) << 31)
272 #define DMA_GCMD_SRTP (((u32)1) << 30)
273 #define DMA_GCMD_SFL (((u32)1) << 29)
274 #define DMA_GCMD_EAFL (((u32)1) << 28)
275 #define DMA_GCMD_WBF (((u32)1) << 27)
276 #define DMA_GCMD_QIE (((u32)1) << 26)
277 #define DMA_GCMD_SIRTP (((u32)1) << 24)
278 #define DMA_GCMD_IRE (((u32) 1) << 25)
279 #define DMA_GCMD_CFI (((u32) 1) << 23)
280
281 /* GSTS_REG */
282 #define DMA_GSTS_TES (((u32)1) << 31)
283 #define DMA_GSTS_RTPS (((u32)1) << 30)
284 #define DMA_GSTS_FLS (((u32)1) << 29)
285 #define DMA_GSTS_AFLS (((u32)1) << 28)
286 #define DMA_GSTS_WBFS (((u32)1) << 27)
287 #define DMA_GSTS_QIES (((u32)1) << 26)
288 #define DMA_GSTS_IRTPS (((u32)1) << 24)
289 #define DMA_GSTS_IRES (((u32)1) << 25)
290 #define DMA_GSTS_CFIS (((u32)1) << 23)
291
292 /* DMA_RTADDR_REG */
293 #define DMA_RTADDR_RTT (((u64)1) << 11)
294 #define DMA_RTADDR_SMT (((u64)1) << 10)
295
296 /* CCMD_REG */
297 #define DMA_CCMD_ICC (((u64)1) << 63)
298 #define DMA_CCMD_GLOBAL_INVL (((u64)1) << 61)
299 #define DMA_CCMD_DOMAIN_INVL (((u64)2) << 61)
300 #define DMA_CCMD_DEVICE_INVL (((u64)3) << 61)
301 #define DMA_CCMD_FM(m) (((u64)((m) & 0x3)) << 32)
302 #define DMA_CCMD_MASK_NOBIT 0
303 #define DMA_CCMD_MASK_1BIT 1
304 #define DMA_CCMD_MASK_2BIT 2
305 #define DMA_CCMD_MASK_3BIT 3
306 #define DMA_CCMD_SID(s) (((u64)((s) & 0xffff)) << 16)
307 #define DMA_CCMD_DID(d) ((u64)((d) & 0xffff))
308
309 /* FECTL_REG */
310 #define DMA_FECTL_IM (((u32)1) << 31)
311
312 /* FSTS_REG */
313 #define DMA_FSTS_PFO (1 << 0) /* Primary Fault Overflow */
314 #define DMA_FSTS_PPF (1 << 1) /* Primary Pending Fault */
315 #define DMA_FSTS_IQE (1 << 4) /* Invalidation Queue Error */
316 #define DMA_FSTS_ICE (1 << 5) /* Invalidation Completion Error */
317 #define DMA_FSTS_ITE (1 << 6) /* Invalidation Time-out Error */
318 #define DMA_FSTS_PRO (1 << 7) /* Page Request Overflow */
319 #define dma_fsts_fault_record_index(s) (((s) >> 8) & 0xff)
320
321 /* FRCD_REG, 32 bits access */
322 #define DMA_FRCD_F (((u32)1) << 31)
323 #define dma_frcd_type(d) ((d >> 30) & 1)
324 #define dma_frcd_fault_reason(c) (c & 0xff)
325 #define dma_frcd_source_id(c) (c & 0xffff)
326 /* low 64 bit */
327 #define dma_frcd_page_addr(d) (d & (((u64)-1) << PAGE_SHIFT))
328
329 /* PRS_REG */
330 #define DMA_PRS_PPR     ((u32)1)
331
332 #define IOMMU_WAIT_OP(iommu, offset, op, cond, sts)                     \
333 do {                                                                    \
334         cycles_t start_time = get_cycles();                             \
335         while (1) {                                                     \
336                 sts = op(iommu->reg + offset);                          \
337                 if (cond)                                               \
338                         break;                                          \
339                 if (DMAR_OPERATION_TIMEOUT < (get_cycles() - start_time))\
340                         panic("DMAR hardware is malfunctioning\n");     \
341                 cpu_relax();                                            \
342         }                                                               \
343 } while (0)
344
345 #define QI_LENGTH       256     /* queue length */
346
347 enum {
348         QI_FREE,
349         QI_IN_USE,
350         QI_DONE,
351         QI_ABORT
352 };
353
354 #define QI_CC_TYPE              0x1
355 #define QI_IOTLB_TYPE           0x2
356 #define QI_DIOTLB_TYPE          0x3
357 #define QI_IEC_TYPE             0x4
358 #define QI_IWD_TYPE             0x5
359 #define QI_EIOTLB_TYPE          0x6
360 #define QI_PC_TYPE              0x7
361 #define QI_DEIOTLB_TYPE         0x8
362 #define QI_PGRP_RESP_TYPE       0x9
363 #define QI_PSTRM_RESP_TYPE      0xa
364
365 #define QI_IEC_SELECTIVE        (((u64)1) << 4)
366 #define QI_IEC_IIDEX(idx)       (((u64)(idx & 0xffff) << 32))
367 #define QI_IEC_IM(m)            (((u64)(m & 0x1f) << 27))
368
369 #define QI_IWD_STATUS_DATA(d)   (((u64)d) << 32)
370 #define QI_IWD_STATUS_WRITE     (((u64)1) << 5)
371
372 #define QI_IOTLB_DID(did)       (((u64)did) << 16)
373 #define QI_IOTLB_DR(dr)         (((u64)dr) << 7)
374 #define QI_IOTLB_DW(dw)         (((u64)dw) << 6)
375 #define QI_IOTLB_GRAN(gran)     (((u64)gran) >> (DMA_TLB_FLUSH_GRANU_OFFSET-4))
376 #define QI_IOTLB_ADDR(addr)     (((u64)addr) & VTD_PAGE_MASK)
377 #define QI_IOTLB_IH(ih)         (((u64)ih) << 6)
378 #define QI_IOTLB_AM(am)         (((u8)am))
379
380 #define QI_CC_FM(fm)            (((u64)fm) << 48)
381 #define QI_CC_SID(sid)          (((u64)sid) << 32)
382 #define QI_CC_DID(did)          (((u64)did) << 16)
383 #define QI_CC_GRAN(gran)        (((u64)gran) >> (DMA_CCMD_INVL_GRANU_OFFSET-4))
384
385 #define QI_DEV_IOTLB_SID(sid)   ((u64)((sid) & 0xffff) << 32)
386 #define QI_DEV_IOTLB_QDEP(qdep) (((qdep) & 0x1f) << 16)
387 #define QI_DEV_IOTLB_ADDR(addr) ((u64)(addr) & VTD_PAGE_MASK)
388 #define QI_DEV_IOTLB_PFSID(pfsid) (((u64)(pfsid & 0xf) << 12) | ((u64)(pfsid & 0xfff) << 52))
389 #define QI_DEV_IOTLB_SIZE       1
390 #define QI_DEV_IOTLB_MAX_INVS   32
391
392 #define QI_PC_PASID(pasid)      (((u64)pasid) << 32)
393 #define QI_PC_DID(did)          (((u64)did) << 16)
394 #define QI_PC_GRAN(gran)        (((u64)gran) << 4)
395
396 #define QI_PC_ALL_PASIDS        (QI_PC_TYPE | QI_PC_GRAN(0))
397 #define QI_PC_PASID_SEL         (QI_PC_TYPE | QI_PC_GRAN(1))
398
399 #define QI_EIOTLB_ADDR(addr)    ((u64)(addr) & VTD_PAGE_MASK)
400 #define QI_EIOTLB_GL(gl)        (((u64)gl) << 7)
401 #define QI_EIOTLB_IH(ih)        (((u64)ih) << 6)
402 #define QI_EIOTLB_AM(am)        (((u64)am))
403 #define QI_EIOTLB_PASID(pasid)  (((u64)pasid) << 32)
404 #define QI_EIOTLB_DID(did)      (((u64)did) << 16)
405 #define QI_EIOTLB_GRAN(gran)    (((u64)gran) << 4)
406
407 #define QI_DEV_EIOTLB_ADDR(a)   ((u64)(a) & VTD_PAGE_MASK)
408 #define QI_DEV_EIOTLB_SIZE      (((u64)1) << 11)
409 #define QI_DEV_EIOTLB_GLOB(g)   ((u64)g)
410 #define QI_DEV_EIOTLB_PASID(p)  (((u64)p) << 32)
411 #define QI_DEV_EIOTLB_SID(sid)  ((u64)((sid) & 0xffff) << 16)
412 #define QI_DEV_EIOTLB_QDEP(qd)  ((u64)((qd) & 0x1f) << 4)
413 #define QI_DEV_EIOTLB_PFSID(pfsid) (((u64)(pfsid & 0xf) << 12) | ((u64)(pfsid & 0xfff) << 52))
414 #define QI_DEV_EIOTLB_MAX_INVS  32
415
416 /* Page group response descriptor QW0 */
417 #define QI_PGRP_PASID_P(p)      (((u64)(p)) << 4)
418 #define QI_PGRP_PDP(p)          (((u64)(p)) << 5)
419 #define QI_PGRP_RESP_CODE(res)  (((u64)(res)) << 12)
420 #define QI_PGRP_DID(rid)        (((u64)(rid)) << 16)
421 #define QI_PGRP_PASID(pasid)    (((u64)(pasid)) << 32)
422
423 /* Page group response descriptor QW1 */
424 #define QI_PGRP_LPIG(x)         (((u64)(x)) << 2)
425 #define QI_PGRP_IDX(idx)        (((u64)(idx)) << 3)
426
427
428 #define QI_RESP_SUCCESS         0x0
429 #define QI_RESP_INVALID         0x1
430 #define QI_RESP_FAILURE         0xf
431
432 #define QI_GRAN_ALL_ALL                 0
433 #define QI_GRAN_NONG_ALL                1
434 #define QI_GRAN_NONG_PASID              2
435 #define QI_GRAN_PSI_PASID               3
436
437 #define qi_shift(iommu)         (DMAR_IQ_SHIFT + !!ecap_smts((iommu)->ecap))
438
439 struct qi_desc {
440         u64 qw0;
441         u64 qw1;
442         u64 qw2;
443         u64 qw3;
444 };
445
446 /* 1MB - maximum possible interrupt remapping table size */
447 #define INTR_REMAP_PAGE_ORDER   8
448 #define INTR_REMAP_TABLE_REG_SIZE       0xf
449 #define INTR_REMAP_TABLE_REG_SIZE_MASK  0xf
450
451 #define INTR_REMAP_TABLE_ENTRIES        65536
452
453 enum {
454         SR_DMAR_FECTL_REG,
455         SR_DMAR_FEDATA_REG,
456         SR_DMAR_FEADDR_REG,
457         SR_DMAR_FEUADDR_REG,
458         MAX_SR_DMAR_REGS
459 };
460
461 #define VTD_FLAG_TRANS_PRE_ENABLED      (1 << 0)
462 #define VTD_FLAG_IRQ_REMAP_PRE_ENABLED  (1 << 1)
463
464 /*
465  * 0: Present
466  * 1-11: Reserved
467  * 12-63: Context Ptr (12 - (haw-1))
468  * 64-127: Reserved
469  */
470 struct root_entry {
471         u64     lo;
472         u64     hi;
473 };
474
475 /*
476  * low 64 bits:
477  * 0: present
478  * 1: fault processing disable
479  * 2-3: translation type
480  * 12-63: address space root
481  * high 64 bits:
482  * 0-2: address width
483  * 3-6: aval
484  * 8-23: domain id
485  */
486 struct context_entry {
487         u64 lo;
488         u64 hi;
489 };
490
491 /*
492  * 0: readable
493  * 1: writable
494  * 2-6: reserved
495  * 7: super page
496  * 8-10: available
497  * 11: snoop behavior
498  * 12-63: Host physcial address
499  */
500 struct dma_pte {
501         u64 val;
502 };
503
504 #endif