kernel/bpf/memalloc.c

267 static int free_all(struct llist_node *llnode, bool percpu)
272 	llist_for_each_safe(pos, t, llnode) {
300 	struct llist_node *llnode = obj;
305 	llist_add(llnode, &c->free_by_rcu_ttrace);
310 	struct llist_node *llnode, *t;
314 			llnode = llist_del_all(&c->free_by_rcu_ttrace);
315 			free_all(llnode, !!c->percpu_size);
321 	llist_for_each_safe(llnode, t, llist_del_all(&c->free_by_rcu_ttrace))
322 		llist_add(llnode, &c->waiting_for_gp_ttrace);
340 	struct llist_node *llnode, *t;
349 		llnode = __llist_del_first(&c->free_llist);
350 		if (llnode)
355 		if (llnode)
356 			enque_to_free(tgt, llnode);
360 	llist_for_each_safe(llnode, t, llist_del_all(&c->free_llist_extra))
361 		enque_to_free(tgt, llnode);
369 	struct llist_node *llnode;
374 	llnode = llist_del_all(&c->waiting_for_gp);
375 	if (!llnode)
378 	llist_add_batch(llnode, c->waiting_for_gp_tail, &tgt->free_by_rcu_ttrace);
388 	struct llist_node *llnode, *t;
394 		llist_for_each_safe(llnode, t, llist_del_all(&c->free_llist_extra_rcu))
395 			if (__llist_add(llnode, &c->free_by_rcu))
396 				c->free_by_rcu_tail = llnode;
790 	struct llist_node *llnode = NULL;
806 		llnode = __llist_del_first(&c->free_llist);
807 		if (llnode) {
809 			*(struct bpf_mem_cache **)llnode = c;
824 	return llnode;
833 	struct llist_node *llnode = ptr - LLIST_NODE_SZ;
843 	c->tgt = *(struct bpf_mem_cache **)llnode;
847 		__llist_add(llnode, &c->free_llist);
856 		llist_add(llnode, &c->free_llist_extra);
873 	struct llist_node *llnode = ptr - LLIST_NODE_SZ;
876 	c->tgt = *(struct bpf_mem_cache **)llnode;
880 		if (__llist_add(llnode, &c->free_by_rcu))
881 			c->free_by_rcu_tail = llnode;
883 		llist_add(llnode, &c->free_llist_extra_rcu);