linux-master/io_uring/io-wq.c

51 	struct io_wq *wq;
94  * Per io_wq state
96 struct io_wq {
136 static bool create_io_worker(struct io_wq *wq, int index);
138 static bool io_acct_cancel_pending_work(struct io_wq *wq,
142 static void io_wq_cancel_tw_create(struct io_wq *wq);
155 static inline struct io_wq_acct *io_get_acct(struct io_wq *wq, bool bound)
160 static inline struct io_wq_acct *io_work_get_acct(struct io_wq *wq,
171 static void io_worker_ref_put(struct io_wq *wq)
190 	struct io_wq *wq = worker->wq;
213 	struct io_wq *wq = worker->wq;
270 static bool io_wq_activate_free_worker(struct io_wq *wq,
306 static bool io_wq_create_worker(struct io_wq *wq, struct io_wq_acct *acct)
309 	 * Most likely an attempt to queue unbounded work on an io_wq that
337 	struct io_wq *wq;
366 	struct io_wq *wq = worker->wq;
411 	struct io_wq *wq = worker->wq;
431 static void __io_worker_busy(struct io_wq *wq, struct io_worker *worker)
444 static void __io_worker_idle(struct io_wq *wq, struct io_worker *worker)
458 static bool io_wait_on_hash(struct io_wq *wq, unsigned int hash)
482 	struct io_wq *wq = worker->wq;
553 	struct io_wq *wq = worker->wq;
630 	struct io_wq *wq = worker->wq;
725 static void io_init_new_worker(struct io_wq *wq, struct io_worker *worker,
769 	struct io_wq *wq;
816 static bool create_io_worker(struct io_wq *wq, int index)
861 static bool io_wq_for_each_worker(struct io_wq *wq,
889 static void io_run_cancel(struct io_wq_work *work, struct io_wq *wq)
898 static void io_wq_insert_work(struct io_wq *wq, struct io_wq_work *work)
924 void io_wq_enqueue(struct io_wq *wq, struct io_wq_work *work)
1016 static inline void io_wq_remove_pending(struct io_wq *wq,
1035 static bool io_acct_cancel_pending_work(struct io_wq *wq,
1059 static void io_wq_cancel_pending_work(struct io_wq *wq,
1075 static void io_wq_cancel_running_work(struct io_wq *wq,
1083 enum io_wq_cancel io_wq_cancel_cb(struct io_wq *wq, work_cancel_fn *cancel,
1125 	struct io_wq *wq = container_of(wait, struct io_wq, wait);
1141 struct io_wq *io_wq_create(unsigned bounded, struct io_wq_data *data)
1144 	struct io_wq *wq;
1151 	wq = kzalloc(sizeof(struct io_wq), GFP_KERNEL);
1208 void io_wq_exit_start(struct io_wq *wq)
1213 static void io_wq_cancel_tw_create(struct io_wq *wq)
1231 static void io_wq_exit_workers(struct io_wq *wq)
1252 static void io_wq_destroy(struct io_wq *wq)
1266 void io_wq_put_and_exit(struct io_wq *wq)
1290 static int __io_wq_cpu_online(struct io_wq *wq, unsigned int cpu, bool online)
1305 	struct io_wq *wq = hlist_entry_safe(node, struct io_wq, cpuhp_node);
1312 	struct io_wq *wq = hlist_entry_safe(node, struct io_wq, cpuhp_node);
1319 	if (!tctx || !tctx->io_wq)
1324 		cpumask_copy(tctx->io_wq->cpu_mask, mask);
1326 		cpumask_copy(tctx->io_wq->cpu_mask, cpu_possible_mask);
1336 int io_wq_max_workers(struct io_wq *wq, int *new_count)