cavium/cryptocteon/cavium_crypto.c

325     struct octo_sess *od,
336     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
338 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
340 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
348     CVMX_PREFETCH0(od->octo_enckey);
352     CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
353     if (od->octo_encklen == 24) {
354 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
355 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
356     } else if (od->octo_encklen == 8) {
357 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 1);
358 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 2);
360 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
384     struct octo_sess *od,
395     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
397 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
399 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
407     CVMX_PREFETCH0(od->octo_enckey);
410     CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
411     if (od->octo_encklen == 24) {
412 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
413 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
414     } else if (od->octo_encklen == 8) {
415 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 1);
416 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 2);
418 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
444     struct octo_sess *od,
455     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
457 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
459 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
467     CVMX_PREFETCH0(od->octo_enckey);
470     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
471     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
473     if (od->octo_encklen == 16) {
476     } else if (od->octo_encklen == 24) {
477 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
479     } else if (od->octo_encklen == 32) {
480 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
481 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[3], 3);
483 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
486     CVMX_MT_AES_KEYLENGTH(od->octo_encklen / 8 - 1);
513     struct octo_sess *od,
524     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
526 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
528 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
536     CVMX_PREFETCH0(od->octo_enckey);
539     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
540     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
542     if (od->octo_encklen == 16) {
545     } else if (od->octo_encklen == 24) {
546 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
548     } else if (od->octo_encklen == 32) {
549 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
550 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[3], 3);
552 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
555     CVMX_MT_AES_KEYLENGTH(od->octo_encklen / 8 - 1);
584     struct octo_sess *od,
597     if (__predict_false(od == NULL || iov==NULL || iovlen==0 ||
599 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
601 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
609     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
610     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
624     CVMX_PREFETCH0(od->octo_hmouter);
654     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
655     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
686     struct octo_sess *od,
699     if (__predict_false(od == NULL || iov==NULL || iovlen==0 ||
701 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
703 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
711     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
712     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
713     CVMX_MT_HSH_IV(od->octo_hminner[2], 2);
727     CVMX_PREFETCH0(od->octo_hmouter);
758     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
759     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
760     CVMX_MT_HSH_IV(od->octo_hmouter[2], 2);
791     struct octo_sess *od,
809     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
814 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
816 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
824     CVMX_PREFETCH0(od->octo_enckey);
827     CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
828     if (od->octo_encklen == 24) {
829 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
830 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
831     } else if (od->octo_encklen == 8) {
832 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 1);
833 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 2);
835 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
842     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
843     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
877     CVMX_PREFETCH0(od->octo_hmouter);
907     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
908     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
939     struct octo_sess *od,
957     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
962 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
964 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
972     CVMX_PREFETCH0(od->octo_enckey);
975     CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
976     if (od->octo_encklen == 24) {
977 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
978 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
979     } else if (od->octo_encklen == 8) {
980 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 1);
981 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 2);
983 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
990     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
991     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
1025     CVMX_PREFETCH0(od->octo_hmouter);
1055     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
1056     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
1090     struct octo_sess *od,
1108     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
1113 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
1115 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
1123     CVMX_PREFETCH0(od->octo_enckey);
1126     CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
1127     if (od->octo_encklen == 24) {
1128 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
1129 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1130     } else if (od->octo_encklen == 8) {
1131 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 1);
1132 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 2);
1134 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
1141     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
1142     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
1143     CVMX_MT_HSH_IV(od->octo_hminner[2], 2);
1177     CVMX_PREFETCH0(od->octo_hmouter);
1208     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
1209     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
1210     CVMX_MT_HSH_IV(od->octo_hmouter[2], 2);
1241     struct octo_sess *od,
1259     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
1264 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
1266 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
1274     CVMX_PREFETCH0(od->octo_enckey);
1277     CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
1278     if (od->octo_encklen == 24) {
1279 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
1280 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1281     } else if (od->octo_encklen == 8) {
1282 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 1);
1283 	CVMX_MT_3DES_KEY(((uint64_t *) od->octo_enckey)[0], 2);
1285 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
1292     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
1293     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
1294     CVMX_MT_HSH_IV(od->octo_hminner[2], 2);
1328     CVMX_PREFETCH0(od->octo_hmouter);
1359     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
1360     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
1361     CVMX_MT_HSH_IV(od->octo_hmouter[2], 2);
1394     struct octo_sess *od,
1413     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
1418 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
1420 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
1428     CVMX_PREFETCH0(od->octo_enckey);
1431     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
1432     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
1434     if (od->octo_encklen == 16) {
1437     } else if (od->octo_encklen == 24) {
1438 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1440     } else if (od->octo_encklen == 32) {
1441 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1442 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[3], 3);
1444 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
1447     CVMX_MT_AES_KEYLENGTH(od->octo_encklen / 8 - 1);
1453     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
1454     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
1509     CVMX_PREFETCH0(od->octo_hmouter);
1539     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
1540     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
1571     struct octo_sess *od,
1590     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
1595 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
1597 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
1605     CVMX_PREFETCH0(od->octo_enckey);
1608     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
1609     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
1611     if (od->octo_encklen == 16) {
1614     } else if (od->octo_encklen == 24) {
1615 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1617     } else if (od->octo_encklen == 32) {
1618 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1619 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[3], 3);
1621 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
1624     CVMX_MT_AES_KEYLENGTH(od->octo_encklen / 8 - 1);
1630     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
1631     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
1682     CVMX_PREFETCH0(od->octo_hmouter);
1712     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
1713     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
1747     struct octo_sess *od,
1766     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
1771 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
1773 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
1781     CVMX_PREFETCH0(od->octo_enckey);
1784     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
1785     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
1787     if (od->octo_encklen == 16) {
1790     } else if (od->octo_encklen == 24) {
1791 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1793     } else if (od->octo_encklen == 32) {
1794 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1795 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[3], 3);
1797 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
1800     CVMX_MT_AES_KEYLENGTH(od->octo_encklen / 8 - 1);
1806     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
1807     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
1808     CVMX_MT_HSH_IV(od->octo_hminner[2], 2);
1860     CVMX_PREFETCH0(od->octo_hmouter);
1891     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
1892     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
1893     CVMX_MT_HSH_IV(od->octo_hmouter[2], 2);
1906     CVMX_PREFETCH0(od->octo_hmouter);
1943     struct octo_sess *od,
1962     if (__predict_false(od == NULL || iov==NULL || iovlen==0 || ivp==NULL ||
1967 	dprintf("%s: Bad parameters od=%p iov=%p iovlen=%jd "
1969 		"icv_off=%d ivp=%p\n", __func__, od, iov, iovlen,
1977     CVMX_PREFETCH0(od->octo_enckey);
1980     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[0], 0);
1981     CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[1], 1);
1983     if (od->octo_encklen == 16) {
1986     } else if (od->octo_encklen == 24) {
1987 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1989     } else if (od->octo_encklen == 32) {
1990 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[2], 2);
1991 	CVMX_MT_AES_KEY(((uint64_t *) od->octo_enckey)[3], 3);
1993 	dprintf("%s: Bad key length %d\n", __func__, od->octo_encklen);
1996     CVMX_MT_AES_KEYLENGTH(od->octo_encklen / 8 - 1);
2002     CVMX_MT_HSH_IV(od->octo_hminner[0], 0);
2003     CVMX_MT_HSH_IV(od->octo_hminner[1], 1);
2004     CVMX_MT_HSH_IV(od->octo_hminner[2], 2);
2055     CVMX_PREFETCH0(od->octo_hmouter);
2086     CVMX_MT_HSH_IV(od->octo_hmouter[0], 0);
2087     CVMX_MT_HSH_IV(od->octo_hmouter[1], 1);
2088     CVMX_MT_HSH_IV(od->octo_hmouter[2], 2);
2101     CVMX_PREFETCH0(od->octo_hmouter);