crypto/bn/bn_asm.c

73 	BN_ULONG c1=0;
76 	if (num <= 0) return(c1);
81 		mul_add(rp[0],ap[0],w,c1);
82 		mul_add(rp[1],ap[1],w,c1);
83 		mul_add(rp[2],ap[2],w,c1);
84 		mul_add(rp[3],ap[3],w,c1);
90 		mul_add(rp[0],ap[0],w,c1);
94 	return(c1);
99 	BN_ULONG c1=0;
102 	if (num <= 0) return(c1);
107 		mul(rp[0],ap[0],w,c1);
108 		mul(rp[1],ap[1],w,c1);
109 		mul(rp[2],ap[2],w,c1);
110 		mul(rp[3],ap[3],w,c1);
116 		mul(rp[0],ap[0],w,c1);
119 	return(c1);
436 /* mul_add_c(a,b,c0,c1,c2)  -- c+=a*b for three word number c=(c2,c1,c0) */
437 /* mul_add_c2(a,b,c0,c1,c2) -- c+=2*a*b for three word number c=(c2,c1,c0) */
438 /* sqr_add_c(a,i,c0,c1,c2)  -- c+=a[i]^2 for three word number c=(c2,c1,c0) */
439 /* sqr_add_c2(a,i,c0,c1,c2) -- c+=2*a[i]*a[j] for three word number c=(c2,c1,c0) */
446 #define mul_add_c(a,b,c0,c1,c2) \
451 	c1=(c1+t2)&BN_MASK2; if ((c1) < t2) c2++;
453 #define mul_add_c2(a,b,c0,c1,c2) \
461 	c1=(c1+t2)&BN_MASK2; if ((c1) < t2) c2++;
463 #define sqr_add_c(a,i,c0,c1,c2) \
468 	c1=(c1+t2)&BN_MASK2; if ((c1) < t2) c2++;
470 #define sqr_add_c2(a,i,j,c0,c1,c2) \
471 	mul_add_c2((a)[i],(a)[j],c0,c1,c2)
475 #define mul_add_c(a,b,c0,c1,c2)	{	\
479 	c1 += t2; c2 += (c1<t2)?1:0;	\
482 #define mul_add_c2(a,b,c0,c1,c2) {	\
486 	c1 += t2; c2 += (c1<t2)?1:0;	\
488 	c1 += t1; c2 += (c1<t1)?1:0;	\
491 #define sqr_add_c(a,i,c0,c1,c2)	{	\
495 	c1 += t2; c2 += (c1<t2)?1:0;	\
498 #define sqr_add_c2(a,i,j,c0,c1,c2)	\
499 	mul_add_c2((a)[i],(a)[j],c0,c1,c2)
503 #define mul_add_c(a,b,c0,c1,c2)	{	\
508 	c1 += t2; c2 += (c1<t2)?1:0;	\
511 #define mul_add_c2(a,b,c0,c1,c2) {	\
516 	c1 += t2; c2 += (c1<t2)?1:0;	\
518 	c1 += t1; c2 += (c1<t1)?1:0;	\
521 #define sqr_add_c(a,i,c0,c1,c2)	{	\
526 	c1 += t2; c2 += (c1<t2)?1:0;	\
529 #define sqr_add_c2(a,i,j,c0,c1,c2)	\
530 	mul_add_c2((a)[i],(a)[j],c0,c1,c2)
533 #define mul_add_c(a,b,c0,c1,c2) \
538 	c1=(c1+t2)&BN_MASK2; if ((c1) < t2) c2++;
540 #define mul_add_c2(a,b,c0,c1,c2) \
550 	c1=(c1+t2)&BN_MASK2; if ((c1) < t2) c2++;
552 #define sqr_add_c(a,i,c0,c1,c2) \
555 	c1=(c1+t2)&BN_MASK2; if ((c1) < t2) c2++;
557 #define sqr_add_c2(a,i,j,c0,c1,c2) \
558 	mul_add_c2((a)[i],(a)[j],c0,c1,c2)
569 	BN_ULONG c1,c2,c3;
571 	c1=0;
574 	mul_add_c(a[0],b[0],c1,c2,c3);
575 	r[0]=c1;
576 	c1=0;
577 	mul_add_c(a[0],b[1],c2,c3,c1);
578 	mul_add_c(a[1],b[0],c2,c3,c1);
581 	mul_add_c(a[2],b[0],c3,c1,c2);
582 	mul_add_c(a[1],b[1],c3,c1,c2);
583 	mul_add_c(a[0],b[2],c3,c1,c2);
586 	mul_add_c(a[0],b[3],c1,c2,c3);
587 	mul_add_c(a[1],b[2],c1,c2,c3);
588 	mul_add_c(a[2],b[1],c1,c2,c3);
589 	mul_add_c(a[3],b[0],c1,c2,c3);
590 	r[3]=c1;
591 	c1=0;
592 	mul_add_c(a[4],b[0],c2,c3,c1);
593 	mul_add_c(a[3],b[1],c2,c3,c1);
594 	mul_add_c(a[2],b[2],c2,c3,c1);
595 	mul_add_c(a[1],b[3],c2,c3,c1);
596 	mul_add_c(a[0],b[4],c2,c3,c1);
599 	mul_add_c(a[0],b[5],c3,c1,c2);
600 	mul_add_c(a[1],b[4],c3,c1,c2);
601 	mul_add_c(a[2],b[3],c3,c1,c2);
602 	mul_add_c(a[3],b[2],c3,c1,c2);
603 	mul_add_c(a[4],b[1],c3,c1,c2);
604 	mul_add_c(a[5],b[0],c3,c1,c2);
607 	mul_add_c(a[6],b[0],c1,c2,c3);
608 	mul_add_c(a[5],b[1],c1,c2,c3);
609 	mul_add_c(a[4],b[2],c1,c2,c3);
610 	mul_add_c(a[3],b[3],c1,c2,c3);
611 	mul_add_c(a[2],b[4],c1,c2,c3);
612 	mul_add_c(a[1],b[5],c1,c2,c3);
613 	mul_add_c(a[0],b[6],c1,c2,c3);
614 	r[6]=c1;
615 	c1=0;
616 	mul_add_c(a[0],b[7],c2,c3,c1);
617 	mul_add_c(a[1],b[6],c2,c3,c1);
618 	mul_add_c(a[2],b[5],c2,c3,c1);
619 	mul_add_c(a[3],b[4],c2,c3,c1);
620 	mul_add_c(a[4],b[3],c2,c3,c1);
621 	mul_add_c(a[5],b[2],c2,c3,c1);
622 	mul_add_c(a[6],b[1],c2,c3,c1);
623 	mul_add_c(a[7],b[0],c2,c3,c1);
626 	mul_add_c(a[7],b[1],c3,c1,c2);
627 	mul_add_c(a[6],b[2],c3,c1,c2);
628 	mul_add_c(a[5],b[3],c3,c1,c2);
629 	mul_add_c(a[4],b[4],c3,c1,c2);
630 	mul_add_c(a[3],b[5],c3,c1,c2);
631 	mul_add_c(a[2],b[6],c3,c1,c2);
632 	mul_add_c(a[1],b[7],c3,c1,c2);
635 	mul_add_c(a[2],b[7],c1,c2,c3);
636 	mul_add_c(a[3],b[6],c1,c2,c3);
637 	mul_add_c(a[4],b[5],c1,c2,c3);
638 	mul_add_c(a[5],b[4],c1,c2,c3);
639 	mul_add_c(a[6],b[3],c1,c2,c3);
640 	mul_add_c(a[7],b[2],c1,c2,c3);
641 	r[9]=c1;
642 	c1=0;
643 	mul_add_c(a[7],b[3],c2,c3,c1);
644 	mul_add_c(a[6],b[4],c2,c3,c1);
645 	mul_add_c(a[5],b[5],c2,c3,c1);
646 	mul_add_c(a[4],b[6],c2,c3,c1);
647 	mul_add_c(a[3],b[7],c2,c3,c1);
650 	mul_add_c(a[4],b[7],c3,c1,c2);
651 	mul_add_c(a[5],b[6],c3,c1,c2);
652 	mul_add_c(a[6],b[5],c3,c1,c2);
653 	mul_add_c(a[7],b[4],c3,c1,c2);
656 	mul_add_c(a[7],b[5],c1,c2,c3);
657 	mul_add_c(a[6],b[6],c1,c2,c3);
658 	mul_add_c(a[5],b[7],c1,c2,c3);
659 	r[12]=c1;
660 	c1=0;
661 	mul_add_c(a[6],b[7],c2,c3,c1);
662 	mul_add_c(a[7],b[6],c2,c3,c1);
665 	mul_add_c(a[7],b[7],c3,c1,c2);
667 	r[15]=c1;
678 	BN_ULONG c1,c2,c3;
680 	c1=0;
683 	mul_add_c(a[0],b[0],c1,c2,c3);
684 	r[0]=c1;
685 	c1=0;
686 	mul_add_c(a[0],b[1],c2,c3,c1);
687 	mul_add_c(a[1],b[0],c2,c3,c1);
690 	mul_add_c(a[2],b[0],c3,c1,c2);
691 	mul_add_c(a[1],b[1],c3,c1,c2);
692 	mul_add_c(a[0],b[2],c3,c1,c2);
695 	mul_add_c(a[0],b[3],c1,c2,c3);
696 	mul_add_c(a[1],b[2],c1,c2,c3);
697 	mul_add_c(a[2],b[1],c1,c2,c3);
698 	mul_add_c(a[3],b[0],c1,c2,c3);
699 	r[3]=c1;
700 	c1=0;
701 	mul_add_c(a[3],b[1],c2,c3,c1);
702 	mul_add_c(a[2],b[2],c2,c3,c1);
703 	mul_add_c(a[1],b[3],c2,c3,c1);
706 	mul_add_c(a[2],b[3],c3,c1,c2);
707 	mul_add_c(a[3],b[2],c3,c1,c2);
710 	mul_add_c(a[3],b[3],c1,c2,c3);
711 	r[6]=c1;
723 	BN_ULONG c1,c2,c3;
725 	c1=0;
728 	sqr_add_c(a,0,c1,c2,c3);
729 	r[0]=c1;
730 	c1=0;
731 	sqr_add_c2(a,1,0,c2,c3,c1);
734 	sqr_add_c(a,1,c3,c1,c2);
735 	sqr_add_c2(a,2,0,c3,c1,c2);
738 	sqr_add_c2(a,3,0,c1,c2,c3);
739 	sqr_add_c2(a,2,1,c1,c2,c3);
740 	r[3]=c1;
741 	c1=0;
742 	sqr_add_c(a,2,c2,c3,c1);
743 	sqr_add_c2(a,3,1,c2,c3,c1);
744 	sqr_add_c2(a,4,0,c2,c3,c1);
747 	sqr_add_c2(a,5,0,c3,c1,c2);
748 	sqr_add_c2(a,4,1,c3,c1,c2);
749 	sqr_add_c2(a,3,2,c3,c1,c2);
752 	sqr_add_c(a,3,c1,c2,c3);
753 	sqr_add_c2(a,4,2,c1,c2,c3);
754 	sqr_add_c2(a,5,1,c1,c2,c3);
755 	sqr_add_c2(a,6,0,c1,c2,c3);
756 	r[6]=c1;
757 	c1=0;
758 	sqr_add_c2(a,7,0,c2,c3,c1);
759 	sqr_add_c2(a,6,1,c2,c3,c1);
760 	sqr_add_c2(a,5,2,c2,c3,c1);
761 	sqr_add_c2(a,4,3,c2,c3,c1);
764 	sqr_add_c(a,4,c3,c1,c2);
765 	sqr_add_c2(a,5,3,c3,c1,c2);
766 	sqr_add_c2(a,6,2,c3,c1,c2);
767 	sqr_add_c2(a,7,1,c3,c1,c2);
770 	sqr_add_c2(a,7,2,c1,c2,c3);
771 	sqr_add_c2(a,6,3,c1,c2,c3);
772 	sqr_add_c2(a,5,4,c1,c2,c3);
773 	r[9]=c1;
774 	c1=0;
775 	sqr_add_c(a,5,c2,c3,c1);
776 	sqr_add_c2(a,6,4,c2,c3,c1);
777 	sqr_add_c2(a,7,3,c2,c3,c1);
780 	sqr_add_c2(a,7,4,c3,c1,c2);
781 	sqr_add_c2(a,6,5,c3,c1,c2);
784 	sqr_add_c(a,6,c1,c2,c3);
785 	sqr_add_c2(a,7,5,c1,c2,c3);
786 	r[12]=c1;
787 	c1=0;
788 	sqr_add_c2(a,7,6,c2,c3,c1);
791 	sqr_add_c(a,7,c3,c1,c2);
793 	r[15]=c1;
804 	BN_ULONG c1,c2,c3;
806 	c1=0;
809 	sqr_add_c(a,0,c1,c2,c3);
810 	r[0]=c1;
811 	c1=0;
812 	sqr_add_c2(a,1,0,c2,c3,c1);
815 	sqr_add_c(a,1,c3,c1,c2);
816 	sqr_add_c2(a,2,0,c3,c1,c2);
819 	sqr_add_c2(a,3,0,c1,c2,c3);
820 	sqr_add_c2(a,2,1,c1,c2,c3);
821 	r[3]=c1;
822 	c1=0;
823 	sqr_add_c(a,2,c2,c3,c1);
824 	sqr_add_c2(a,3,1,c2,c3,c1);
827 	sqr_add_c2(a,3,2,c3,c1,c2);
830 	sqr_add_c(a,3,c1,c2,c3);
831 	r[6]=c1;
853 	BN_ULONG c0,c1,ml,*tp,n0;
896 		c1 = (tp[num] + c0)&BN_MASK2;
897 		tp[num]   = c1;
898 		tp[num+1] = (c1<c0?1:0);
900 		c1  = tp[0];
901 		ml = (c1*n0)&BN_MASK2;
906 		mul_add(c1,np[0],ml,mh,c0);
908 		mul_add(c1,ml,np[0],c0);
912 			c1 = tp[j];
914 			mul_add(c1,np[j],ml,mh,c0);
916 			mul_add(c1,ml,np[j],c0);
918 			tp[j-1] = c1&BN_MASK2;
920 		c1        = (tp[num] + c0)&BN_MASK2;
921 		tp[num-1] = c1;
922 		tp[num]   = tp[num+1] + (c1<c0?1:0);
992 	BN_ULONG c0,c1,*tp,n0=*n0p;
1003 		c1         = (tp[num] + c0)&BN_MASK2;
1004 		tp[num]    = c1;
1005 		tp[num+1]  = (c1<c0?1:0);
1008 		c1         = (tp[num] + c0)&BN_MASK2;
1009 		tp[num]    = c1;
1010 		tp[num+1] += (c1<c0?1:0);