1/* SPDX-License-Identifier: MIT */
2/*
3 * Copyright �� 2021-2023 Intel Corporation
4 */
5
6#ifndef _XE_MMIO_H_
7#define _XE_MMIO_H_
8
9#include <linux/delay.h>
10#include <linux/io-64-nonatomic-lo-hi.h>
11
12#include "regs/xe_reg_defs.h"
13#include "xe_device_types.h"
14#include "xe_gt_printk.h"
15#include "xe_gt_types.h"
16
17struct drm_device;
18struct drm_file;
19struct xe_device;
20
21#define LMEM_BAR		2
22
23int xe_mmio_init(struct xe_device *xe);
24int xe_mmio_root_tile_init(struct xe_device *xe);
25void xe_mmio_probe_tiles(struct xe_device *xe);
26
27static inline u8 xe_mmio_read8(struct xe_gt *gt, struct xe_reg reg)
28{
29	struct xe_tile *tile = gt_to_tile(gt);
30
31	if (reg.addr < gt->mmio.adj_limit)
32		reg.addr += gt->mmio.adj_offset;
33
34	return readb((reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
35}
36
37static inline u16 xe_mmio_read16(struct xe_gt *gt, struct xe_reg reg)
38{
39	struct xe_tile *tile = gt_to_tile(gt);
40
41	if (reg.addr < gt->mmio.adj_limit)
42		reg.addr += gt->mmio.adj_offset;
43
44	return readw((reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
45}
46
47static inline void xe_mmio_write32(struct xe_gt *gt,
48				   struct xe_reg reg, u32 val)
49{
50	struct xe_tile *tile = gt_to_tile(gt);
51
52	if (reg.addr < gt->mmio.adj_limit)
53		reg.addr += gt->mmio.adj_offset;
54
55	writel(val, (reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
56}
57
58static inline u32 xe_mmio_read32(struct xe_gt *gt, struct xe_reg reg)
59{
60	struct xe_tile *tile = gt_to_tile(gt);
61
62	if (reg.addr < gt->mmio.adj_limit)
63		reg.addr += gt->mmio.adj_offset;
64
65	return readl((reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
66}
67
68static inline u32 xe_mmio_rmw32(struct xe_gt *gt, struct xe_reg reg, u32 clr,
69				u32 set)
70{
71	u32 old, reg_val;
72
73	old = xe_mmio_read32(gt, reg);
74	reg_val = (old & ~clr) | set;
75	xe_mmio_write32(gt, reg, reg_val);
76
77	return old;
78}
79
80static inline int xe_mmio_write32_and_verify(struct xe_gt *gt,
81					     struct xe_reg reg, u32 val,
82					     u32 mask, u32 eval)
83{
84	u32 reg_val;
85
86	xe_mmio_write32(gt, reg, val);
87	reg_val = xe_mmio_read32(gt, reg);
88
89	return (reg_val & mask) != eval ? -EINVAL : 0;
90}
91
92static inline bool xe_mmio_in_range(const struct xe_gt *gt,
93				    const struct xe_mmio_range *range,
94				    struct xe_reg reg)
95{
96	if (reg.addr < gt->mmio.adj_limit)
97		reg.addr += gt->mmio.adj_offset;
98
99	return range && reg.addr >= range->start && reg.addr <= range->end;
100}
101
102int xe_mmio_probe_vram(struct xe_device *xe);
103u64 xe_mmio_read64_2x32(struct xe_gt *gt, struct xe_reg reg);
104int xe_mmio_wait32(struct xe_gt *gt, struct xe_reg reg, u32 mask, u32 val, u32 timeout_us,
105		   u32 *out_val, bool atomic);
106
107#endif
108