Lines Matching refs:mm3
80 "movq %%mm0, %%mm3 \n\t"
83 PMINUB(%%mm1, %%mm3, %%mm5)
90 PMINUB(%%mm2, %%mm3, %%mm5)
98 PMINUB(%%mm1, %%mm3, %%mm5)
108 PMINUB(%%mm2, %%mm3, %%mm5)
116 PMINUB(%%mm1, %%mm3, %%mm5)
124 PMINUB(%%mm2, %%mm3, %%mm5)
132 PMINUB(%%mm1, %%mm3, %%mm5)
137 "psubusb %%mm3, %%mm4 \n\t"
237 "movq %%mm2, %%mm3 \n\t" // 211 /4
239 PAVGB(%%mm4, %%mm3) // 4 211 /8
240 PAVGB(%%mm0, %%mm3) //642211 /16
241 "movq %%mm3, (%0) \n\t" // X
245 "movq %%mm4, %%mm3 \n\t" // 1
246 PAVGB((%0,%1,2), %%mm3) // 1 1 /2
249 PAVGB(%%mm5, %%mm3) // 2 2211 /8
250 PAVGB(%%mm0, %%mm3) //4242211 /16
251 "movq %%mm3, (%0,%1) \n\t" // X
256 "movq %%mm0, %%mm3 \n\t" // 11/2
262 // mm1=2 mm2=3 mm3=6(11) mm4=1 mm5=4(211) mm6=0(11) mm7=9
272 // mm0=7(11) mm1=2(11) mm2=3 mm3=6(11) mm4=1(11) mm5=4 mm7=9
276 PAVGB(%%mm3, %%mm6) // 11 2211 /8
282 // mm0=7(11) mm1=2(11) mm2=3(112) mm3=6(11) mm4=5 mm5=4 mm7=9
290 // mm2=3(112) mm3=6(11) mm4=5 mm5=4(11) mm6=6 mm7=9
297 // mm0=8 mm3=6(11) mm4=5 mm5=4(11) mm7=9
301 PAVGB(%%mm3, %%mm0) // 112 /4
377 "movq (%%"REG_c"), %%mm3 \n\t" // line 5
379 "movq %%mm3, %%mm5 \n\t" // line 5
380 "psubusb %%mm4, %%mm3 \n\t"
382 "por %%mm4, %%mm3 \n\t" // |l5 - l6|
383 PAVGB(%%mm3, %%mm0) // (|l2 - l3| + |l5 - l6|)/2
391 "movq %%mm4, %%mm3 \n\t" // d
396 "psubusb "MANGLE(b01)", %%mm3 \n\t"
397 "pand %%mm4, %%mm3 \n\t" // d <= QP ? d : 0
399 PAVGB(%%mm7, %%mm3) // d/2
400 "movq %%mm3, %%mm1 \n\t" // d/2
401 PAVGB(%%mm7, %%mm3) // d/4
402 PAVGB(%%mm1, %%mm3) // 3*d/8
406 "psubusb %%mm3, %%mm0 \n\t"
412 "paddusb %%mm3, %%mm0 \n\t"
523 "movq (%%"REG_a", %1, 2), %%mm3 \n\t" // l3
526 PAVGB(%%mm3, %%mm1) // ~(l1 + 2l3)/4
533 // mm1= |lenergy|, mm2= l2, mm3= l3, mm7=0
542 "movq %%mm3, %%mm5 \n\t" // l3
543 PAVGB(%%mm7, %%mm3) // ~l3/2
544 PAVGB(%%mm2, %%mm3) // ~(l3 + 2l5)/4
545 PAVGB(%%mm5, %%mm3) // ~(5l3 + 2l5)/8
548 "psubusb %%mm3, %%mm0 \n\t"
549 "psubusb %%mm6, %%mm3 \n\t"
550 "por %%mm0, %%mm3 \n\t" // ~|2l2 - 5l3 + 5l4 - 2l5|/8
552 // mm0= SIGN(menergy), mm1= |lenergy|, mm2= l5, mm3= |menergy|, mm4=l4, mm5= l3, mm7=0
570 // mm0= SIGN(menergy), mm1= |lenergy|/8, mm2= |renergy|/8, mm3= |menergy|/8, mm7=0
576 "pcmpgtb %%mm3, %%mm4 \n\t" // |menergy|/8 < QP
577 "psubusb %%mm1, %%mm3 \n\t" // d=|menergy|/8-MIN(|lenergy|,|renergy|)/8
578 "pand %%mm4, %%mm3 \n\t"
580 "movq %%mm3, %%mm1 \n\t"
581 // "psubusb "MANGLE(b01)", %%mm3 \n\t"
582 PAVGB(%%mm7, %%mm3)
583 PAVGB(%%mm7, %%mm3)
584 "paddusb %%mm1, %%mm3 \n\t"
585 // "paddusb "MANGLE(b01)", %%mm3 \n\t"
595 "pand %%mm0, %%mm3 \n\t"
596 PMINUB(%%mm5, %%mm3, %%mm0)
598 "psubusb "MANGLE(b01)", %%mm3 \n\t"
599 PAVGB(%%mm7, %%mm3)
605 "psubb %%mm3, %%mm0 \n\t"
606 "paddb %%mm3, %%mm2 \n\t"
627 "movq (%%"REG_a", %1), %%mm3 \n\t" // l2
632 PAVGB(%%mm3, %%mm2) // (l2-l5+256)/2
636 // mm1=-l3-1, mm0=128-q, mm3=l2, mm4=menergy/16 + 128, mm5= -l5-1
640 PAVGB(%%mm3, %%mm2) // (l2-l1+256)/2
642 "movq "MANGLE(b80)", %%mm3 \n\t" // 128
643 PAVGB(%%mm2, %%mm3) // ~(l2-l1)/4 + 128
644 PAVGB(%%mm1, %%mm3) // ~(l0-l3)/4 +(l2-l1)/8 + 128
645 PAVGB(%%mm2, %%mm3) // ~(l0-l3)/8 +5(l2-l1)/16 + 128
646 // mm0=128-q, mm3=lenergy/16 + 128, mm4= menergy/16 + 128, mm5= -l5-1
656 // mm0=128-q, mm2=renergy/16 + 128, mm3=lenergy/16 + 128, mm4= menergy/16 + 128
661 "psubb %%mm3, %%mm5 \n\t" // 128 - lenergy/16
663 PMAXUB(%%mm5, %%mm3) // 128 + |lenergy/16|
664 PMINUB(%%mm2, %%mm3, %%mm1) // 128 + MIN(|lenergy|,|renergy|)/16
666 // mm0=128-q, mm3=128 + MIN(|lenergy|,|renergy|)/16, mm4= menergy/16 + 128
678 "psubusb %%mm3, %%mm4 \n\t" //d=|menergy|/16 - MIN(|lenergy|,|renergy|)/16
681 "movq %%mm4, %%mm3 \n\t" // d
685 "paddb %%mm3, %%mm4 \n\t" // 5d/64
694 PMINUB(%%mm5, %%mm4, %%mm3) // MIN(|q|, 5d/64)
786 "movq %%mm2, %%mm3 \n\t"
788 "punpckhbw %%mm7, %%mm3 \n\t" // high part of line 1
798 "psubw %%mm5, %%mm3 \n\t" // H1 - H2
800 "psubw %%mm3, %%mm1 \n\t" // 2H0 - H1 + H2
803 "psllw $2, %%mm3 \n\t" // 4H1 - 4H2
805 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2
808 "movq %%mm2, %%mm3 \n\t"
810 "punpckhbw %%mm7, %%mm3 \n\t" // H3
813 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - H3
815 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
825 "psubw %%mm1, %%mm3 \n\t" // H3 - H4
827 "movq %%mm3, 24(%%"REG_c") \n\t" // H3 - H4
831 "psubw %%mm3, %%mm5 \n\t" // 2H2 - H3 + H4
835 "psllw $2, %%mm3 \n\t" // 4H3 - 4H4
837 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4
840 "movq %%mm2, %%mm3 \n\t"
842 "punpckhbw %%mm7, %%mm3 \n\t" // H5
844 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - H5
846 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - 2H5
853 "psubw %%mm6, %%mm3 \n\t" // H5 - H6
858 "psubw %%mm3, %%mm1 \n\t" // 2H4 - H5 + H6
861 "psllw $2, %%mm3 \n\t" // 4H5 - 4H6
863 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6
866 "movq %%mm2, %%mm3 \n\t"
868 "punpckhbw %%mm7, %%mm3 \n\t" // H7
871 "paddw %%mm3, %%mm3 \n\t" // 2H7
873 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6 - 2H7
876 "movq 8(%%"REG_c"), %%mm3 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
889 "psubw %%mm3, %%mm6 \n\t"
890 "pmaxsw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
905 "pcmpgtw %%mm3, %%mm6 \n\t"
906 "pxor %%mm6, %%mm3 \n\t"
907 "psubw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
912 "pminsw %%mm3, %%mm1 \n\t"
918 "psubusw %%mm3, %%mm6 \n\t"
934 "movq %%mm2, %%mm3 \n\t" // 8QP
936 "pcmpgtw %%mm5, %%mm3 \n\t"
938 "pand %%mm3, %%mm5 \n\t"
958 "pxor %%mm3, %%mm3 \n\t"
961 "pcmpgtw %%mm1, %%mm3 \n\t" // sign (H3-H4)
963 "pxor %%mm3, %%mm1 \n\t"
965 "psubw %%mm3, %%mm1 \n\t" // |H3-H4|
970 "pxor %%mm7, %%mm3 \n\t"
972 "pand %%mm3, %%mm5 \n\t"
1153 "movd -4(%0), %%mm3 \n\t"
1155 "psrlq $24, %%mm3 \n\t"
1157 "por %%mm3, %%mm1 \n\t" // L00
1159 "movq %%mm1, %%mm3 \n\t" // L00
1164 "psubusb %%mm7, %%mm3 \n\t"
1167 "pcmpeqb "MANGLE(b00)", %%mm3 \n\t" // L00 > a ? 0 : -1
1169 "paddb %%mm3, %%mm0 \n\t"
1172 "movq %%mm2, %%mm3 \n\t" // L11
1174 "psllq $8, %%mm3 \n\t"
1180 "por %%mm5, %%mm3 \n\t" // L01
1182 "movq %%mm3, %%mm5 \n\t" // L01
1183 PAVGB(%%mm4, %%mm3) // (L21 + L01)/2
1184 PAVGB(%%mm2, %%mm3) // (L21 + L01 + 2L11)/4
1258 DERING_CORE((%%REGa) ,(%%REGa, %1) ,%%mm0,%%mm2,%%mm4,%%mm1,%%mm3,%%mm5,%%mm6,%%mm7)
1259 DERING_CORE((%%REGa, %1) ,(%%REGa, %1, 2),%%mm2,%%mm4,%%mm0,%%mm3,%%mm5,%%mm1,%%mm6,%%mm7)
1260 DERING_CORE((%%REGa, %1, 2),(%0, %1, 4) ,%%mm4,%%mm0,%%mm2,%%mm5,%%mm1,%%mm3,%%mm6,%%mm7)
1261 DERING_CORE((%0, %1, 4) ,(%%REGd) ,%%mm0,%%mm2,%%mm4,%%mm1,%%mm3,%%mm5,%%mm6,%%mm7)
1262 DERING_CORE((%%REGd) ,(%%REGd, %1) ,%%mm2,%%mm4,%%mm0,%%mm3,%%mm5,%%mm1,%%mm6,%%mm7)
1263 DERING_CORE((%%REGd, %1) ,(%%REGd, %1, 2),%%mm4,%%mm0,%%mm2,%%mm5,%%mm1,%%mm3,%%mm6,%%mm7)
1264 DERING_CORE((%%REGd, %1, 2),(%0, %1, 8) ,%%mm0,%%mm2,%%mm4,%%mm1,%%mm3,%%mm5,%%mm6,%%mm7)
1265 DERING_CORE((%0, %1, 8) ,(%%REGd, %1, 4),%%mm2,%%mm4,%%mm0,%%mm3,%%mm5,%%mm1,%%mm6,%%mm7)
1468 "movq " #e ", %%mm3 \n\t"\
1470 PAVGB(%%mm3, %%mm0) /* a(a+e) /2 */\
1474 "movq %%mm1, %%mm3 \n\t"\
1476 "punpckhbw %%mm7, %%mm3 \n\t"\
1478 "psubw %%mm3, %%mm2 \n\t" /* H(a+e - (b+d))/2 */\
1482 "psubw %%mm2, %%mm3 \n\t" /* H(9b + 9d - a - e)/16 */\
1483 "packuswb %%mm3, %%mm1 \n\t"\
1530 "movq " #c ", %%mm3 \n\t"\
1532 PAVGB(%%mm3, %%mm1) \
1534 "movq %%mm0, %%mm3 \n\t"\
1536 "punpckhbw %%mm7, %%mm3 \n\t"\
1543 "psubw %%mm3, %%mm4 \n\t"\
1609 "movq " #b ", %%mm3 \n\t"\
1611 PAVGB(t2, %%mm3) \
1623 "movq %%mm3, %%mm6 \n\t"\
1624 "punpcklbw %%mm7, %%mm3 \n\t"\
1626 "paddw %%mm3, %%mm3 \n\t"\
1628 "paddw %%mm3, %%mm2 \n\t"\
1810 "movq %%mm0, %%mm3 \n\t"
1812 "pminub %%mm3, %%mm1 \n\t" //
1819 "movq %%mm2, %%mm3 \n\t"
1821 "pminub %%mm3, %%mm1 \n\t" //
1828 "movq %%mm2, %%mm3 \n\t"
1830 "pminub %%mm3, %%mm0 \n\t" //
1837 "movq %%mm2, %%mm3 \n\t"
1839 "pminub %%mm3, %%mm0 \n\t" //
1861 "movq %%mm0, %%mm3 \n\t"\
1864 "psubusb %%mm1, %%mm3 \n\t"\
1867 "pcmpeqb %%mm7, %%mm3 \n\t"\
1870 "movq %%mm3, %%mm6 \n\t"\
1871 "pxor %%mm4, %%mm3 \n\t"\
1874 "por %%mm3, %%mm1 \n\t"\
1930 "movq (%%"REG_a", %1, 2), %%mm3 \n\t"
1932 "punpcklbw %%mm3, %%mm1 \n\t"
1933 "punpckhbw %%mm3, %%mm4 \n\t"
1935 "movq %%mm0, %%mm3 \n\t"
1937 "punpckhwd %%mm1, %%mm3 \n\t"
1945 "movd %%mm3, 160(%2) \n\t"
1946 "psrlq $32, %%mm3 \n\t"
1947 "movd %%mm3, 176(%2) \n\t"
1948 "movd %%mm3, 48(%3) \n\t"
1966 "movq (%%"REG_a", %1, 2), %%mm3 \n\t"
1968 "punpcklbw %%mm3, %%mm1 \n\t"
1969 "punpckhbw %%mm3, %%mm4 \n\t"
1971 "movq %%mm0, %%mm3 \n\t"
1973 "punpckhwd %%mm1, %%mm3 \n\t"
1981 "movd %%mm3, 164(%2) \n\t"
1982 "psrlq $32, %%mm3 \n\t"
1983 "movd %%mm3, 180(%2) \n\t"
1984 "movd %%mm3, 52(%3) \n\t"
2016 "movq 48(%2), %%mm3 \n\t"
2018 "punpcklbw %%mm3, %%mm1 \n\t"
2019 "punpckhbw %%mm3, %%mm4 \n\t"
2021 "movq %%mm0, %%mm3 \n\t"
2023 "punpckhwd %%mm1, %%mm3 \n\t"
2031 "movd %%mm3, (%%"REG_a", %1) \n\t"
2032 "psrlq $32, %%mm3 \n\t"
2033 "movd %%mm3, (%%"REG_a", %1, 2) \n\t"
2049 "movq 112(%2), %%mm3 \n\t"
2051 "punpcklbw %%mm3, %%mm1 \n\t"
2052 "punpckhbw %%mm3, %%mm4 \n\t"
2054 "movq %%mm0, %%mm3 \n\t"
2056 "punpckhwd %%mm1, %%mm3 \n\t"
2064 "movd %%mm3, 4(%%"REG_a", %1) \n\t"
2065 "psrlq $32, %%mm3 \n\t"
2066 "movd %%mm3, 4(%%"REG_a", %1, 2) \n\t"
2107 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2108 "psadbw (%1, %%"REG_a"), %%mm3 \n\t" // |L3-R3|
2117 "paddw %%mm3, %%mm0 \n\t"
2151 "movq %%mm2, %%mm3 \n\t"\
2155 "punpckhbw %%mm7, %%mm3 \n\t"\
2157 "psubw %%mm3, %%mm1 \n\t"\
2205 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2213 "movq %%mm3, (%1, %%"REG_a") \n\t" // L3
2229 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2230 PAVGB((%1, %%REGa), %%mm3) // L3
2242 "movq %%mm3, (%1, %%"REG_a") \n\t" // R3
2250 "movq %%mm3, (%0, %%"REG_a") \n\t" // L3
2266 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2274 PAVGB(%%mm7, %%mm3)
2278 PAVGB(%%mm7, %%mm3)
2282 "movq %%mm3, (%1, %%"REG_a") \n\t" // R3
2286 "movq %%mm3, (%0, %%"REG_a") \n\t" // L3
2291 "movq (%0, %%"REG_c"), %%mm3 \n\t" // L7
2299 PAVGB(%%mm7, %%mm3)
2303 PAVGB(%%mm7, %%mm3)
2307 "movq %%mm3, (%1, %%"REG_c") \n\t" // R7
2311 "movq %%mm3, (%0, %%"REG_c") \n\t" // L7
2320 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2328 PAVGB(%%mm7, %%mm3)
2332 PAVGB(%%mm7, %%mm3)
2336 PAVGB(%%mm7, %%mm3)
2340 "movq %%mm3, (%1, %%"REG_a") \n\t" // R3
2344 "movq %%mm3, (%0, %%"REG_a") \n\t" // L3
2349 "movq (%0, %%"REG_c"), %%mm3 \n\t" // L7
2357 PAVGB(%%mm7, %%mm3)
2361 PAVGB(%%mm7, %%mm3)
2365 PAVGB(%%mm7, %%mm3)
2369 "movq %%mm3, (%1, %%"REG_c") \n\t" // R7
2373 "movq %%mm3, (%0, %%"REG_c") \n\t" // L7
2489 "movq %%mm1, %%mm3 \n\t"
2497 PMINUB(%%mm2, %%mm3, %%mm5)
2505 PMINUB(%%mm1, %%mm3, %%mm5)
2515 PMINUB(%%mm2, %%mm3, %%mm5)
2523 PMINUB(%%mm1, %%mm3, %%mm5)
2531 PMINUB(%%mm2, %%mm3, %%mm5)
2539 PMINUB(%%mm1, %%mm3, %%mm5)
2547 PMINUB(%%mm2, %%mm3, %%mm5)
2558 "psubusb %%mm3, %%mm4 \n\t"
2636 "movq (%0), %%mm3 \n\t"\
2639 "punpckhbw %%mm4, %%mm3 \n\t"\
2641 "paddw %%mm3, %%mm1 \n\t"
2645 "movq (%0), %%mm3 \n\t"\
2648 "punpckhbw %%mm4, %%mm3 \n\t"\
2650 "psubw %%mm3, %%mm1 \n\t"
2738 "movq %%mm2, %%mm3 \n\t"
2741 "punpckhbw %%mm7, %%mm3 \n\t"
2743 "paddw %%mm3, %%mm1 \n\t"
2745 "paddw %%mm3, %%mm1 \n\t"
2779 "movq %%mm2, %%mm3 \n\t"
2781 "punpckhbw %%mm7, %%mm3 \n\t" // high part of line 1
2791 "psubw %%mm5, %%mm3 \n\t" // H1 - H2
2793 "psubw %%mm3, %%mm1 \n\t" // 2H0 - H1 + H2
2796 "psllw $2, %%mm3 \n\t" // 4H1 - 4H2
2798 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2
2801 "movq %%mm2, %%mm3 \n\t"
2803 "punpckhbw %%mm7, %%mm3 \n\t" // H3
2806 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - H3
2808 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
2818 "psubw %%mm1, %%mm3 \n\t" // H3 - H4
2820 "movq %%mm3, 24(%%"REG_c") \n\t" // H3 - H4
2824 "psubw %%mm3, %%mm5 \n\t" // 2H2 - H3 + H4
2828 "psllw $2, %%mm3 \n\t" // 4H3 - 4H4
2830 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4
2833 "movq %%mm2, %%mm3 \n\t"
2835 "punpckhbw %%mm7, %%mm3 \n\t" // H5
2837 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - H5
2839 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - 2H5
2846 "psubw %%mm6, %%mm3 \n\t" // H5 - H6
2851 "psubw %%mm3, %%mm1 \n\t" // 2H4 - H5 + H6
2854 "psllw $2, %%mm3 \n\t" // 4H5 - 4H6
2856 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6
2859 "movq %%mm2, %%mm3 \n\t"
2861 "punpckhbw %%mm7, %%mm3 \n\t" // H7
2864 "paddw %%mm3, %%mm3 \n\t" // 2H7
2866 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6 - 2H7
2869 "movq 8(%%"REG_c"), %%mm3 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
2882 "psubw %%mm3, %%mm6 \n\t"
2883 "pmaxsw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
2898 "pcmpgtw %%mm3, %%mm6 \n\t"
2899 "pxor %%mm6, %%mm3 \n\t"
2900 "psubw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
2905 "pminsw %%mm3, %%mm1 \n\t"
2911 "psubusw %%mm3, %%mm6 \n\t"
2927 "movq %%mm2, %%mm3 \n\t" // 8QP
2929 "pcmpgtw %%mm5, %%mm3 \n\t"
2931 "pand %%mm3, %%mm5 \n\t"
2951 "pxor %%mm3, %%mm3 \n\t"
2954 "pcmpgtw %%mm1, %%mm3 \n\t" // sign (H3-H4)
2956 "pxor %%mm3, %%mm1 \n\t"
2958 "psubw %%mm3, %%mm1 \n\t" // |H3-H4|
2963 "pxor %%mm7, %%mm3 \n\t"
2965 "pand %%mm3, %%mm5 \n\t"
3026 "movq 8(%%"REG_a"), %%mm3 \n\t" // packedYScale
3040 "pmulhuw %%mm3, %%mm0 \n\t"\
3041 "pmulhuw %%mm3, %%mm5 \n\t"\
3042 "pmulhuw %%mm3, %%mm1 \n\t"\
3043 "pmulhuw %%mm3, %%mm6 \n\t"\
3064 "pmulhw %%mm3, %%mm0 \n\t"\
3066 "pmulhw %%mm3, %%mm5 \n\t"\
3073 "pmulhw %%mm3, %%mm1 \n\t"\
3074 "pmulhw %%mm3, %%mm6 \n\t"\