sys/net/iflib.c

719 static void _iflib_pre_assert(if_softc_ctx_t scctx);
744 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
748 	return scctx->isc_nrxd[first_rxq];
754 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
758 	return scctx->isc_ntxd[first_txq];
1180 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
1263 				while (*cidxp >= scctx->isc_nrxd[0])
1264 					*cidxp -= scctx->isc_nrxd[0];
1709 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
1716 	nsegments = scctx->isc_tx_nsegments;
1717 	ntsosegments = scctx->isc_tx_tso_segments_max;
1718 	tsomaxsize = scctx->isc_tx_tso_size_max;
1721 	MPASS(scctx->isc_ntxd[0] > 0);
1722 	MPASS(scctx->isc_ntxd[txq->ift_br_offset] > 0);
1729 	lowaddr = DMA_WIDTH_TO_BUS_LOWADDR(scctx->isc_dma_width);
1772 	    scctx->isc_ntxd[txq->ift_br_offset], M_IFLIB, M_NOWAIT | M_ZERO))) {
1782 	    sizeof(bus_dmamap_t) * scctx->isc_ntxd[txq->ift_br_offset],
1790 	    sizeof(bus_dmamap_t) * scctx->isc_ntxd[txq->ift_br_offset],
1797 	for (int i = 0; i < scctx->isc_ntxd[txq->ift_br_offset]; i++) {
1912 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
1925 	txq->ift_size = scctx->isc_ntxd[txq->ift_br_offset];
1953 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
1959 	MPASS(scctx->isc_nrxd[0] > 0);
1960 	MPASS(scctx->isc_nrxd[rxq->ifr_fl_offset] > 0);
1962 	lowaddr = DMA_WIDTH_TO_BUS_LOWADDR(scctx->isc_dma_width);
1966 		fl->ifl_size = scctx->isc_nrxd[rxq->ifr_fl_offset]; /* this isn't necessarily the same */
1989 					      scctx->isc_nrxd[rxq->ifr_fl_offset], M_IFLIB, M_NOWAIT | M_ZERO))) {
1999 					      scctx->isc_nrxd[rxq->ifr_fl_offset], M_IFLIB, M_NOWAIT | M_ZERO))) {
2009 					      scctx->isc_nrxd[rxq->ifr_fl_offset], M_IFLIB, M_NOWAIT | M_ZERO))) {
2020 		      (bus_dmamap_t *) malloc(sizeof(bus_dmamap_t) * scctx->isc_nrxd[rxq->ifr_fl_offset], M_IFLIB, M_NOWAIT | M_ZERO))) {
2026 		for (int i = 0; i < scctx->isc_nrxd[rxq->ifr_fl_offset]; i++) {
2302 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
2313 	if (scctx->isc_rxd_buf_size[qidx] != 0)
2314 		fl->ifl_buf_size = scctx->isc_rxd_buf_size[qidx];
2487 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
2503 	tx_ip_csum_flags = scctx->isc_tx_csum_flags & (CSUM_IP | CSUM_TCP | CSUM_UDP | CSUM_SCTP);
2504 	tx_ip6_csum_flags = scctx->isc_tx_csum_flags & (CSUM_IP6_TCP | CSUM_IP6_UDP | CSUM_IP6_SCTP);
2516 	for (i = 0, txq = ctx->ifc_txqs; i < scctx->isc_ntxqsets; i++, txq++) {
2538 	for (i = 0, rxq = ctx->ifc_rxqs; i < scctx->isc_nrxqsets; i++, rxq++) {
2556 	for (i = 0; i < scctx->isc_ntxqsets; i++, txq++)
2593 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
2616 	for (i = 0; i < scctx->isc_ntxqsets; i++, txq++) {
2646 	for (i = 0; i < scctx->isc_nrxqsets; i++, rxq++) {
2948 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
3007 			while (rxq->ifr_cq_cidx >= scctx->isc_nrxd[0])
3008 				rxq->ifr_cq_cidx -= scctx->isc_nrxd[0];
3599 	if_softc_ctx_t		scctx;
3611 	scctx = &ctx->ifc_softc_ctx;
3639 		max_segs = scctx->isc_tx_tso_segments_max;
3645 		max_segs = scctx->isc_tx_nsegments;
3649 	    __predict_false(m_head->m_pkthdr.len < scctx->isc_min_frame_size)) {
3650 		err = iflib_ether_pad(ctx->ifc_dev, m_headp, scctx->isc_min_frame_size);
4780 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
4786 		scctx->isc_ntxqsets = ctx->ifc_sysctl_ntxqs;
4788 		scctx->isc_nrxqsets = ctx->ifc_sysctl_nrxqs;
4792 			scctx->isc_ntxd[i] = ctx->ifc_sysctl_ntxds[i];
4794 			scctx->isc_ntxd[i] = sctx->isc_ntxd_default[i];
4799 			scctx->isc_nrxd[i] = ctx->ifc_sysctl_nrxds[i];
4801 			scctx->isc_nrxd[i] = sctx->isc_nrxd_default[i];
4805 		if (scctx->isc_nrxd[i] < sctx->isc_nrxd_min[i]) {
4807 				      i, scctx->isc_nrxd[i], sctx->isc_nrxd_min[i]);
4808 			scctx->isc_nrxd[i] = sctx->isc_nrxd_min[i];
4810 		if (scctx->isc_nrxd[i] > sctx->isc_nrxd_max[i]) {
4812 				      i, scctx->isc_nrxd[i], sctx->isc_nrxd_max[i]);
4813 			scctx->isc_nrxd[i] = sctx->isc_nrxd_max[i];
4815 		if (!powerof2(scctx->isc_nrxd[i])) {
4817 				      i, scctx->isc_nrxd[i], sctx->isc_nrxd_default[i]);
4818 			scctx->isc_nrxd[i] = sctx->isc_nrxd_default[i];
4823 		if (scctx->isc_ntxd[i] < sctx->isc_ntxd_min[i]) {
4825 				      i, scctx->isc_ntxd[i], sctx->isc_ntxd_min[i]);
4826 			scctx->isc_ntxd[i] = sctx->isc_ntxd_min[i];
4828 		if (scctx->isc_ntxd[i] > sctx->isc_ntxd_max[i]) {
4830 				      i, scctx->isc_ntxd[i], sctx->isc_ntxd_max[i]);
4831 			scctx->isc_ntxd[i] = sctx->isc_ntxd_max[i];
4833 		if (!powerof2(scctx->isc_ntxd[i])) {
4835 				      i, scctx->isc_ntxd[i], sctx->isc_ntxd_default[i]);
4836 			scctx->isc_ntxd[i] = sctx->isc_ntxd_default[i];
5016 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
5031 		    is_tx && qid < scctx->isc_nrxqsets) {
5052 			core_index = scctx->isc_nrxqsets + qid;
5065 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
5130 	for (i = 0; i < scctx->isc_ntxqsets; i++)
5133 	for (i = 0; i < scctx->isc_nrxqsets; i++)
5195 	if_softc_ctx_t scctx;
5219 	scctx = &ctx->ifc_softc_ctx;
5229 	_iflib_pre_assert(scctx);
5230 	ctx->ifc_txrx = *scctx->isc_txrx;
5232 	MPASS(scctx->isc_dma_width <= flsll(BUS_SPACE_MAXADDR));
5235 		ctx->ifc_mediap = scctx->isc_media;
5238 	if (scctx->isc_capabilities & IFCAP_TXCSUM)
5239 		MPASS(scctx->isc_tx_csum_flags);
5243 	    scctx->isc_capabilities | IFCAP_HWSTATS | IFCAP_MEXTPG);
5245 	    scctx->isc_capenable | IFCAP_HWSTATS | IFCAP_MEXTPG);
5247 	if (scctx->isc_ntxqsets == 0 || (scctx->isc_ntxqsets_max && scctx->isc_ntxqsets_max < scctx->isc_ntxqsets))
5248 		scctx->isc_ntxqsets = scctx->isc_ntxqsets_max;
5249 	if (scctx->isc_nrxqsets == 0 || (scctx->isc_nrxqsets_max && scctx->isc_nrxqsets_max < scctx->isc_nrxqsets))
5250 		scctx->isc_nrxqsets = scctx->isc_nrxqsets_max;
5259 	if (scctx->isc_tx_nsegments > num_txd / MAX_SINGLE_PACKET_FRACTION)
5260 		scctx->isc_tx_nsegments = max(1, num_txd /
5262 	if (scctx->isc_tx_tso_segments_max > num_txd /
5264 		scctx->isc_tx_tso_segments_max = max(1,
5273 		if_sethwtsomax(ifp, min(scctx->isc_tx_tso_size_max,
5283 		if_sethwtsomaxsegcount(ifp, scctx->isc_tx_tso_segments_max - 3);
5284 		if_sethwtsomaxsegsize(ifp, scctx->isc_tx_tso_segsize_max);
5286 	if (scctx->isc_rss_table_size == 0)
5287 		scctx->isc_rss_table_size = 64;
5288 	scctx->isc_rss_table_mask = scctx->isc_rss_table_size-1;
5309 		msix = scctx->isc_vectors;
5310 	} else if (scctx->isc_msix_bar != 0)
5317 		scctx->isc_vectors = 1;
5318 		scctx->isc_ntxqsets = 1;
5319 		scctx->isc_nrxqsets = 1;
5320 		scctx->isc_intr = IFLIB_INTR_LEGACY;
5372 	} else if (scctx->isc_intr != IFLIB_INTR_MSIX) {
5374 		if (scctx->isc_intr == IFLIB_INTR_MSI) {
5729 _iflib_pre_assert(if_softc_ctx_t scctx)
5732 	MPASS(scctx->isc_txrx->ift_txd_encap);
5733 	MPASS(scctx->isc_txrx->ift_txd_flush);
5734 	MPASS(scctx->isc_txrx->ift_txd_credits_update);
5735 	MPASS(scctx->isc_txrx->ift_rxd_available);
5736 	MPASS(scctx->isc_txrx->ift_rxd_pkt_get);
5737 	MPASS(scctx->isc_txrx->ift_rxd_refill);
5738 	MPASS(scctx->isc_txrx->ift_rxd_flush);
5836 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
5838 	int nrxqsets = scctx->isc_nrxqsets;
5839 	int ntxqsets = scctx->isc_ntxqsets;
5845 	uint32_t *rxqsizes = scctx->isc_rxqsizes;
5846 	uint32_t *txqsizes = scctx->isc_txqsizes;
5901 			txq->ift_txd_size[j] = scctx->isc_txd_size[j];
5978 			fl[j].ifl_rxd_size = scctx->isc_rxd_size[j];
6609 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
6618 		    imax(scctx->isc_ntxqsets, scctx->isc_nrxqsets));
6621 	if (scctx->isc_disable_msix)
6675 	if (rx_queues > scctx->isc_nrxqsets)
6676 		rx_queues = scctx->isc_nrxqsets;
6686 	if (tx_queues > scctx->isc_ntxqsets)
6687 		tx_queues = scctx->isc_ntxqsets;
6726 		scctx->isc_vectors = vectors;
6727 		scctx->isc_nrxqsets = rx_queues;
6728 		scctx->isc_ntxqsets = tx_queues;
6729 		scctx->isc_intr = IFLIB_INTR_MSIX;
6745 	scctx->isc_nrxqsets = 1;
6746 	scctx->isc_ntxqsets = 1;
6747 	scctx->isc_vectors = vectors;
6750 		scctx->isc_intr = IFLIB_INTR_MSI;
6752 		scctx->isc_vectors = 1;
6754 		scctx->isc_intr = IFLIB_INTR_LEGACY;
6911 	if_softc_ctx_t scctx = &ctx->ifc_softc_ctx;
6928 	if (scctx->isc_ntxqsets > 100)
6930 	else if (scctx->isc_ntxqsets > 10)
6934 	for (i = 0, txq = ctx->ifc_txqs; i < scctx->isc_ntxqsets; i++, txq++) {
7007 	if (scctx->isc_nrxqsets > 100)
7009 	else if (scctx->isc_nrxqsets > 10)
7013 	for (i = 0, rxq = ctx->ifc_rxqs; i < scctx->isc_nrxqsets; i++, rxq++) {
7115 	if_softc_ctx_t scctx;
7121 	scctx = &ctx->ifc_softc_ctx;
7125 		for (i = 0; i < scctx->isc_nrxqsets; i++) {
7163 	if_softc_ctx_t scctx;
7168 	scctx = &ctx->ifc_softc_ctx;
7178 	for (i = 0; i < scctx->isc_nrxqsets; i++)