net/xdp/xsk_queue.h

44 	u32 cached_cons;
120 static inline void __xskq_cons_read_addr_unchecked(struct xsk_queue *q, u32 cached_cons, u64 *addr)
123 	u32 idx = cached_cons & q->ring_mask;
130 	if (q->cached_cons != q->cached_prod) {
131 		__xskq_cons_read_addr_unchecked(q, q->cached_cons, addr);
194 	return q->cached_cons != q->cached_prod;
212 	if (q->cached_cons != q->cached_prod) {
214 		u32 idx = q->cached_cons & q->ring_mask;
226 	q->cached_cons += cnt;
240 	u32 cached_cons = q->cached_cons, nb_entries = 0;
247 	while (cached_cons != q->cached_prod && nb_entries < max) {
249 		u32 idx = cached_cons & q->ring_mask;
253 		cached_cons++;
271 	cached_cons -= nr_frags;
273 	xskq_cons_release_n(q, cached_cons - q->cached_cons);
281 	smp_store_release(&q->ring->consumer, q->cached_cons); /* D, matchees A */
298 	u32 entries = q->cached_prod - q->cached_cons;
304 	entries = q->cached_prod - q->cached_cons;
316 	if (q->cached_prod == q->cached_cons)
325 	if (q->cached_prod == q->cached_cons)
336 	q->cached_cons++;
341 	q->cached_cons -= cnt;
354 	u32 free_entries = q->nentries - (q->cached_prod - q->cached_cons);
360 	q->cached_cons = READ_ONCE(q->ring->consumer);
361 	free_entries = q->nentries - (q->cached_prod - q->cached_cons);