1#ifndef INTERNAL_IO_WQ_H
2#define INTERNAL_IO_WQ_H
3
4#include <linux/refcount.h>
5#include <linux/io_uring_types.h>
6
7struct io_wq;
8
9enum {
10	IO_WQ_WORK_CANCEL	= 1,
11	IO_WQ_WORK_HASHED	= 2,
12	IO_WQ_WORK_UNBOUND	= 4,
13	IO_WQ_WORK_CONCURRENT	= 16,
14
15	IO_WQ_HASH_SHIFT	= 24,	/* upper 8 bits are used for hash key */
16};
17
18enum io_wq_cancel {
19	IO_WQ_CANCEL_OK,	/* cancelled before started */
20	IO_WQ_CANCEL_RUNNING,	/* found, running, and attempted cancelled */
21	IO_WQ_CANCEL_NOTFOUND,	/* work not found */
22};
23
24typedef struct io_wq_work *(free_work_fn)(struct io_wq_work *);
25typedef void (io_wq_work_fn)(struct io_wq_work *);
26
27struct io_wq_hash {
28	refcount_t refs;
29	unsigned long map;
30	struct wait_queue_head wait;
31};
32
33static inline void io_wq_put_hash(struct io_wq_hash *hash)
34{
35	if (refcount_dec_and_test(&hash->refs))
36		kfree(hash);
37}
38
39struct io_wq_data {
40	struct io_wq_hash *hash;
41	struct task_struct *task;
42	io_wq_work_fn *do_work;
43	free_work_fn *free_work;
44};
45
46struct io_wq *io_wq_create(unsigned bounded, struct io_wq_data *data);
47void io_wq_exit_start(struct io_wq *wq);
48void io_wq_put_and_exit(struct io_wq *wq);
49
50void io_wq_enqueue(struct io_wq *wq, struct io_wq_work *work);
51void io_wq_hash_work(struct io_wq_work *work, void *val);
52
53int io_wq_cpu_affinity(struct io_uring_task *tctx, cpumask_var_t mask);
54int io_wq_max_workers(struct io_wq *wq, int *new_count);
55bool io_wq_worker_stopped(void);
56
57static inline bool io_wq_is_hashed(struct io_wq_work *work)
58{
59	return work->flags & IO_WQ_WORK_HASHED;
60}
61
62typedef bool (work_cancel_fn)(struct io_wq_work *, void *);
63
64enum io_wq_cancel io_wq_cancel_cb(struct io_wq *wq, work_cancel_fn *cancel,
65					void *data, bool cancel_all);
66
67#if defined(CONFIG_IO_WQ)
68extern void io_wq_worker_sleeping(struct task_struct *);
69extern void io_wq_worker_running(struct task_struct *);
70#else
71static inline void io_wq_worker_sleeping(struct task_struct *tsk)
72{
73}
74static inline void io_wq_worker_running(struct task_struct *tsk)
75{
76}
77#endif
78
79static inline bool io_wq_current_is_worker(void)
80{
81	return in_task() && (current->flags & PF_IO_WORKER) &&
82		current->worker_private;
83}
84#endif
85