Lines Matching refs:SZ
140 $SZ=8;
152 $SZ=4;
167 $_ctx="16*$SZ+0*8(%rsp)";
168 $_inp="16*$SZ+1*8(%rsp)";
169 $_end="16*$SZ+2*8(%rsp)";
170 $_rsp="16*$SZ+3*8(%rsp)";
171 $framesz="16*$SZ+4*8";
176 my $STRIDE=$SZ;
177 $STRIDE += 16 if ($i%(16/$SZ)==(16/$SZ-1));
187 mov $T1,`$SZ*($i&0xf)`(%rsp)
227 mov `$SZ*(($i+1)&0xf)`(%rsp),$a0
228 mov `$SZ*(($i+14)&0xf)`(%rsp),$a2
245 add `$SZ*(($i+9)&0xf)`(%rsp),$T1
247 add `$SZ*($i&0xf)`(%rsp),$T1
264 $code.=<<___ if ($SZ==4 || $avx);
270 $code.=<<___ if ($SZ==4 && $shaext);
274 $code.=<<___ if ($avx && $SZ==8);
290 $code.=<<___ if ($SZ==4);
304 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
312 mov $SZ*0($ctx),$A
313 mov $SZ*1($ctx),$B
314 mov $SZ*2($ctx),$C
315 mov $SZ*3($ctx),$D
316 mov $SZ*4($ctx),$E
317 mov $SZ*5($ctx),$F
318 mov $SZ*6($ctx),$G
319 mov $SZ*7($ctx),$H
329 $code.=" mov $SZ*$i($inp),$T1\n";
347 cmpb \$0,`$SZ-1`($Tbl)
352 lea 16*$SZ($inp),$inp
354 add $SZ*0($ctx),$A
355 add $SZ*1($ctx),$B
356 add $SZ*2($ctx),$C
357 add $SZ*3($ctx),$D
358 add $SZ*4($ctx),$E
359 add $SZ*5($ctx),$F
360 add $SZ*6($ctx),$G
361 add $SZ*7($ctx),$H
365 mov $A,$SZ*0($ctx)
366 mov $B,$SZ*1($ctx)
367 mov $C,$SZ*2($ctx)
368 mov $D,$SZ*3($ctx)
369 mov $E,$SZ*4($ctx)
370 mov $F,$SZ*5($ctx)
371 mov $G,$SZ*6($ctx)
372 mov $H,$SZ*7($ctx)
388 if ($SZ==4) {
529 if ($SZ==4 && $shaext) {{{
718 '&add ($h,$SZ*($i&15)."(%rsp)")', # h+=X[i]+K[i]
746 if ($SZ==4) { # SHA256 only
764 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
772 movaps %xmm6,16*$SZ+32(%rsp)
773 movaps %xmm7,16*$SZ+48(%rsp)
774 movaps %xmm8,16*$SZ+64(%rsp)
775 movaps %xmm9,16*$SZ+80(%rsp)
780 mov $SZ*0($ctx),$A
781 mov $SZ*1($ctx),$B
782 mov $SZ*2($ctx),$C
783 mov $SZ*3($ctx),$D
784 mov $SZ*4($ctx),$E
785 mov $SZ*5($ctx),$F
786 mov $SZ*6($ctx),$G
787 mov $SZ*7($ctx),$H
791 #movdqa $TABLE+`$SZ*2*$rounds`+32(%rip),$t4
792 #movdqa $TABLE+`$SZ*2*$rounds`+64(%rip),$t5
796 movdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
826 sub \$`-16*2*$SZ`,$Tbl # size optimization
832 '&palignr ($t0,@X[0],$SZ)', # X[1..4]
833 '&palignr ($t3,@X[2],$SZ);', # X[9..12]
840 '&pslld ($t1,8*$SZ-$sigma0[1]);'.
893 &palignr ($t0,@X[0],$SZ); # X[1..4]
896 &palignr ($t3,@X[2],$SZ); # X[9..12]
920 &pslld ($t1,8*$SZ-$sigma0[1]);
1035 &cmpb ($SZ-1+16*2*$SZ."($Tbl)",0);
1045 add $SZ*0($ctx),$A
1046 lea 16*$SZ($inp),$inp
1047 add $SZ*1($ctx),$B
1048 add $SZ*2($ctx),$C
1049 add $SZ*3($ctx),$D
1050 add $SZ*4($ctx),$E
1051 add $SZ*5($ctx),$F
1052 add $SZ*6($ctx),$G
1053 add $SZ*7($ctx),$H
1057 mov $A,$SZ*0($ctx)
1058 mov $B,$SZ*1($ctx)
1059 mov $C,$SZ*2($ctx)
1060 mov $D,$SZ*3($ctx)
1061 mov $E,$SZ*4($ctx)
1062 mov $F,$SZ*5($ctx)
1063 mov $G,$SZ*6($ctx)
1064 mov $H,$SZ*7($ctx)
1070 movaps 16*$SZ+32(%rsp),%xmm6
1071 movaps 16*$SZ+48(%rsp),%xmm7
1072 movaps 16*$SZ+64(%rsp),%xmm8
1073 movaps 16*$SZ+80(%rsp),%xmm9
1093 if ($SZ==8) { # SHA512 only
1107 sub \$`$framesz+$win64*16*($SZ==4?4:6)`,%rsp
1108 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
1116 movaps %xmm6,16*$SZ+32(%rsp)
1117 movaps %xmm7,16*$SZ+48(%rsp)
1118 movaps %xmm8,16*$SZ+64(%rsp)
1119 movaps %xmm9,16*$SZ+80(%rsp)
1121 $code.=<<___ if ($win64 && $SZ>4);
1122 movaps %xmm10,16*$SZ+96(%rsp)
1123 movaps %xmm11,16*$SZ+112(%rsp)
1129 mov $SZ*0($ctx),$A
1130 mov $SZ*1($ctx),$B
1131 mov $SZ*2($ctx),$C
1132 mov $SZ*3($ctx),$D
1133 mov $SZ*4($ctx),$E
1134 mov $SZ*5($ctx),$F
1135 mov $SZ*6($ctx),$G
1136 mov $SZ*7($ctx),$H
1139 if ($SZ==4) { # SHA256
1146 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1172 sub \$`-16*2*$SZ`,$Tbl # size optimization
1180 &vpalignr ($t0,@X[1],@X[0],$SZ); # X[1..4]
1183 &vpalignr ($t3,@X[3],@X[2],$SZ); # X[9..12]
1186 &vprotd ($t1,$t0,8*$SZ-$sigma0[1]);
1205 &vprotd ($t3,@X[3],8*$SZ-$sigma1[1]);
1240 &vprotd ($t3,@X[0],8*$SZ-$sigma1[1]);
1278 &cmpb ($SZ-1+16*2*$SZ."($Tbl)",0);
1292 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1334 add \$`16*2*$SZ`,$Tbl
1342 &vpalignr ($t0,@X[1],@X[0],$SZ); # X[1..2]
1345 &vpalignr ($t3,@X[5],@X[4],$SZ); # X[9..10]
1348 &vprotq ($t1,$t0,8*$SZ-$sigma0[1]);
1367 &vprotq ($t3,@X[7],8*$SZ-$sigma1[1]);
1406 &cmpb ($SZ-1+16*2*$SZ-0x80."($Tbl)",0);
1417 add $SZ*0($ctx),$A
1418 lea 16*$SZ($inp),$inp
1419 add $SZ*1($ctx),$B
1420 add $SZ*2($ctx),$C
1421 add $SZ*3($ctx),$D
1422 add $SZ*4($ctx),$E
1423 add $SZ*5($ctx),$F
1424 add $SZ*6($ctx),$G
1425 add $SZ*7($ctx),$H
1429 mov $A,$SZ*0($ctx)
1430 mov $B,$SZ*1($ctx)
1431 mov $C,$SZ*2($ctx)
1432 mov $D,$SZ*3($ctx)
1433 mov $E,$SZ*4($ctx)
1434 mov $F,$SZ*5($ctx)
1435 mov $G,$SZ*6($ctx)
1436 mov $H,$SZ*7($ctx)
1443 movaps 16*$SZ+32(%rsp),%xmm6
1444 movaps 16*$SZ+48(%rsp),%xmm7
1445 movaps 16*$SZ+64(%rsp),%xmm8
1446 movaps 16*$SZ+80(%rsp),%xmm9
1448 $code.=<<___ if ($win64 && $SZ>4);
1449 movaps 16*$SZ+96(%rsp),%xmm10
1450 movaps 16*$SZ+112(%rsp),%xmm11
1483 sub \$`$framesz+$win64*16*($SZ==4?4:6)`,%rsp
1484 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
1492 movaps %xmm6,16*$SZ+32(%rsp)
1493 movaps %xmm7,16*$SZ+48(%rsp)
1494 movaps %xmm8,16*$SZ+64(%rsp)
1495 movaps %xmm9,16*$SZ+80(%rsp)
1497 $code.=<<___ if ($win64 && $SZ>4);
1498 movaps %xmm10,16*$SZ+96(%rsp)
1499 movaps %xmm11,16*$SZ+112(%rsp)
1505 mov $SZ*0($ctx),$A
1506 mov $SZ*1($ctx),$B
1507 mov $SZ*2($ctx),$C
1508 mov $SZ*3($ctx),$D
1509 mov $SZ*4($ctx),$E
1510 mov $SZ*5($ctx),$F
1511 mov $SZ*6($ctx),$G
1512 mov $SZ*7($ctx),$H
1514 if ($SZ==4) { # SHA256
1519 vmovdqa $TABLE+`$SZ*2*$rounds`+32(%rip),$t4
1520 vmovdqa $TABLE+`$SZ*2*$rounds`+64(%rip),$t5
1524 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1550 sub \$`-16*2*$SZ`,$Tbl # size optimization
1554 '&vpalignr ($t0,@X[1],@X[0],$SZ)', # X[1..4]
1555 '&vpalignr ($t3,@X[3],@X[2],$SZ)', # X[9..12]
1559 '&vpslld ($t1,$t0,8*$SZ-$sigma0[1]);',
1607 &cmpb ($SZ-1+16*2*$SZ."($Tbl)",0);
1622 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1664 add \$`16*2*$SZ`,$Tbl
1668 '&vpalignr ($t0,@X[1],@X[0],$SZ)', # X[1..2]
1669 '&vpalignr ($t3,@X[5],@X[4],$SZ)', # X[9..10]
1673 '&vpsllq ($t1,$t0,8*$SZ-$sigma0[1]);',
1681 '&vpsllq ($t2,@X[7],8*$SZ-$sigma1[1]);',
1714 &cmpb ($SZ-1+16*2*$SZ-0x80."($Tbl)",0);
1725 add $SZ*0($ctx),$A
1726 lea 16*$SZ($inp),$inp
1727 add $SZ*1($ctx),$B
1728 add $SZ*2($ctx),$C
1729 add $SZ*3($ctx),$D
1730 add $SZ*4($ctx),$E
1731 add $SZ*5($ctx),$F
1732 add $SZ*6($ctx),$G
1733 add $SZ*7($ctx),$H
1737 mov $A,$SZ*0($ctx)
1738 mov $B,$SZ*1($ctx)
1739 mov $C,$SZ*2($ctx)
1740 mov $D,$SZ*3($ctx)
1741 mov $E,$SZ*4($ctx)
1742 mov $F,$SZ*5($ctx)
1743 mov $G,$SZ*6($ctx)
1744 mov $H,$SZ*7($ctx)
1751 movaps 16*$SZ+32(%rsp),%xmm6
1752 movaps 16*$SZ+48(%rsp),%xmm7
1753 movaps 16*$SZ+64(%rsp),%xmm8
1754 movaps 16*$SZ+80(%rsp),%xmm9
1756 $code.=<<___ if ($win64 && $SZ>4);
1757 movaps 16*$SZ+96(%rsp),%xmm10
1758 movaps 16*$SZ+112(%rsp),%xmm11
1777 my $a5=$SZ==4?"%esi":"%rsi"; # zap $inp
1778 my $PUSH8=8*2*$SZ;
1786 '&add ($h,(32*($i/(16/$SZ))+$SZ*($i%(16/$SZ)))%$PUSH8.$base)', # h+=X[i]+K[i]
1833 sub \$`2*$SZ*$rounds+4*8+$win64*16*($SZ==4?4:6)`,%rsp
1835 and \$-256*$SZ,%rsp # align stack frame
1836 lea ($inp,%rdx,$SZ),%rdx # inp+num*16*$SZ
1837 add \$`2*$SZ*($rounds-8)`,%rsp
1844 movaps %xmm6,16*$SZ+32(%rsp)
1845 movaps %xmm7,16*$SZ+48(%rsp)
1846 movaps %xmm8,16*$SZ+64(%rsp)
1847 movaps %xmm9,16*$SZ+80(%rsp)
1849 $code.=<<___ if ($win64 && $SZ>4);
1850 movaps %xmm10,16*$SZ+96(%rsp)
1851 movaps %xmm11,16*$SZ+112(%rsp)
1857 sub \$-16*$SZ,$inp # inp++, size optimization
1858 mov $SZ*0($ctx),$A
1860 mov $SZ*1($ctx),$B
1862 mov $SZ*2($ctx),$C
1864 mov $SZ*3($ctx),$D
1865 mov $SZ*4($ctx),$E
1866 mov $SZ*5($ctx),$F
1867 mov $SZ*6($ctx),$G
1868 mov $SZ*7($ctx),$H
1870 if ($SZ==4) { # SHA256
1875 vmovdqa $TABLE+`$SZ*2*$rounds`+32(%rip),$t4
1876 vmovdqa $TABLE+`$SZ*2*$rounds`+64(%rip),$t5
1880 vmovdqa $TABLE+`$SZ*2*$rounds`(%rip),$t3
1881 vmovdqu -16*$SZ+0($inp),%xmm0
1882 vmovdqu -16*$SZ+16($inp),%xmm1
1883 vmovdqu -16*$SZ+32($inp),%xmm2
1884 vmovdqu -16*$SZ+48($inp),%xmm3
1909 sub \$-16*2*$SZ,$Tbl # size optimization
1939 &lea ($Tbl,16*2*$SZ."($Tbl)");
1940 &cmpb (($SZ-1)."($Tbl)",0);
1955 vmovdqu -16*$SZ($inp),%xmm0
1956 vmovdqu -16*$SZ+16($inp),%xmm1
1957 vmovdqu -16*$SZ+32($inp),%xmm2
1959 vmovdqu -16*$SZ+48($inp),%xmm3
1960 vmovdqu -16*$SZ+64($inp),%xmm4
1961 vmovdqu -16*$SZ+80($inp),%xmm5
1962 vmovdqu -16*$SZ+96($inp),%xmm6
1963 vmovdqu -16*$SZ+112($inp),%xmm7
1965 vmovdqa `$SZ*2*$rounds-0x80`($Tbl),$t2
2004 add \$16*2*$SZ,$Tbl
2036 &lea ($Tbl,16*2*$SZ."($Tbl)");
2037 &cmpb (($SZ-1-0x80)."($Tbl)",0);
2046 mov `2*$SZ*$rounds`(%rsp),$ctx # $_ctx
2048 #mov `2*$SZ*$rounds+8`(%rsp),$inp # $_inp
2049 lea `2*$SZ*($rounds-8)`(%rsp),$Tbl
2051 add $SZ*0($ctx),$A
2052 add $SZ*1($ctx),$B
2053 add $SZ*2($ctx),$C
2054 add $SZ*3($ctx),$D
2055 add $SZ*4($ctx),$E
2056 add $SZ*5($ctx),$F
2057 add $SZ*6($ctx),$G
2058 add $SZ*7($ctx),$H
2060 mov $A,$SZ*0($ctx)
2061 mov $B,$SZ*1($ctx)
2062 mov $C,$SZ*2($ctx)
2063 mov $D,$SZ*3($ctx)
2064 mov $E,$SZ*4($ctx)
2065 mov $F,$SZ*5($ctx)
2066 mov $G,$SZ*6($ctx)
2067 mov $H,$SZ*7($ctx)
2089 mov `2*$SZ*$rounds`(%rsp),$ctx # $_ctx
2091 #mov `2*$SZ*$rounds+8`(%rsp),$inp # $_inp
2092 lea `2*$SZ*($rounds-8)`(%rsp),%rsp
2094 add $SZ*0($ctx),$A
2095 add $SZ*1($ctx),$B
2096 add $SZ*2($ctx),$C
2097 add $SZ*3($ctx),$D
2098 add $SZ*4($ctx),$E
2099 add $SZ*5($ctx),$F
2100 lea `2*16*$SZ`($inp),$inp # inp+=2
2101 add $SZ*6($ctx),$G
2103 add $SZ*7($ctx),$H
2106 mov $A,$SZ*0($ctx)
2108 mov $B,$SZ*1($ctx)
2109 mov $C,$SZ*2($ctx)
2110 mov $D,$SZ*3($ctx)
2111 mov $E,$SZ*4($ctx)
2112 mov $F,$SZ*5($ctx)
2113 mov $G,$SZ*6($ctx)
2114 mov $H,$SZ*7($ctx)
2125 movaps 16*$SZ+32(%rsp),%xmm6
2126 movaps 16*$SZ+48(%rsp),%xmm7
2127 movaps 16*$SZ+64(%rsp),%xmm8
2128 movaps 16*$SZ+80(%rsp),%xmm9
2130 $code.=<<___ if ($win64 && $SZ>4);
2131 movaps 16*$SZ+96(%rsp),%xmm10
2132 movaps 16*$SZ+112(%rsp),%xmm11
2196 and \$-256*$SZ,%rax
2197 add \$`2*$SZ*($rounds-8)`,%rax
2202 mov 16*$SZ+3*8(%rax),%rax # pull $_rsp
2222 lea 16*$SZ+4*8(%rsi),%rsi # Xmm6- save area
2224 mov \$`$SZ==4?8:12`,%ecx
2268 $code.=<<___ if ($SZ==4 && $shaext);
2310 $code.=<<___ if ($SZ==4 && $shaext);
2315 $code.=<<___ if ($SZ==4);
2320 $code.=<<___ if ($avx && $SZ==8);
2343 $code.=<<___ if ($SZ==4 && $shaext);
2348 $code.=<<___ if ($SZ==4);
2354 $code.=<<___ if ($avx && $SZ==8);