Lines Matching refs:mm3
127 "movq %%mm0, %%mm3 \n\t"
130 PMINUB(%%mm1, %%mm3, %%mm5)
137 PMINUB(%%mm2, %%mm3, %%mm5)
145 PMINUB(%%mm1, %%mm3, %%mm5)
155 PMINUB(%%mm2, %%mm3, %%mm5)
163 PMINUB(%%mm1, %%mm3, %%mm5)
171 PMINUB(%%mm2, %%mm3, %%mm5)
179 PMINUB(%%mm1, %%mm3, %%mm5)
184 "psubusb %%mm3, %%mm4 \n\t"
284 "movq %%mm2, %%mm3 \n\t" // 211 /4
286 PAVGB(%%mm4, %%mm3) // 4 211 /8
287 PAVGB(%%mm0, %%mm3) //642211 /16
288 "movq %%mm3, (%0) \n\t" // X
292 "movq %%mm4, %%mm3 \n\t" // 1
293 PAVGB((%0,%1,2), %%mm3) // 1 1 /2
296 PAVGB(%%mm5, %%mm3) // 2 2211 /8
297 PAVGB(%%mm0, %%mm3) //4242211 /16
298 "movq %%mm3, (%0,%1) \n\t" // X
303 "movq %%mm0, %%mm3 \n\t" // 11/2
309 // mm1=2 mm2=3 mm3=6(11) mm4=1 mm5=4(211) mm6=0(11) mm7=9
319 // mm0=7(11) mm1=2(11) mm2=3 mm3=6(11) mm4=1(11) mm5=4 mm7=9
323 PAVGB(%%mm3, %%mm6) // 11 2211 /8
329 // mm0=7(11) mm1=2(11) mm2=3(112) mm3=6(11) mm4=5 mm5=4 mm7=9
337 // mm2=3(112) mm3=6(11) mm4=5 mm5=4(11) mm6=6 mm7=9
344 // mm0=8 mm3=6(11) mm4=5 mm5=4(11) mm7=9
348 PAVGB(%%mm3, %%mm0) // 112 /4
424 "movq (%%"REG_c"), %%mm3 \n\t" // line 5
426 "movq %%mm3, %%mm5 \n\t" // line 5
427 "psubusb %%mm4, %%mm3 \n\t"
429 "por %%mm4, %%mm3 \n\t" // |l5 - l6|
430 PAVGB(%%mm3, %%mm0) // (|l2 - l3| + |l5 - l6|)/2
438 "movq %%mm4, %%mm3 \n\t" // d
443 "psubusb "MANGLE(b01)", %%mm3 \n\t"
444 "pand %%mm4, %%mm3 \n\t" // d <= QP ? d : 0
446 PAVGB(%%mm7, %%mm3) // d/2
447 "movq %%mm3, %%mm1 \n\t" // d/2
448 PAVGB(%%mm7, %%mm3) // d/4
449 PAVGB(%%mm1, %%mm3) // 3*d/8
453 "psubusb %%mm3, %%mm0 \n\t"
459 "paddusb %%mm3, %%mm0 \n\t"
571 "movq (%%"REG_a", %1, 2), %%mm3 \n\t" // l3
574 PAVGB(%%mm3, %%mm1) // ~(l1 + 2l3)/4
581 // mm1= |lenergy|, mm2= l2, mm3= l3, mm7=0
590 "movq %%mm3, %%mm5 \n\t" // l3
591 PAVGB(%%mm7, %%mm3) // ~l3/2
592 PAVGB(%%mm2, %%mm3) // ~(l3 + 2l5)/4
593 PAVGB(%%mm5, %%mm3) // ~(5l3 + 2l5)/8
596 "psubusb %%mm3, %%mm0 \n\t"
597 "psubusb %%mm6, %%mm3 \n\t"
598 "por %%mm0, %%mm3 \n\t" // ~|2l2 - 5l3 + 5l4 - 2l5|/8
600 // mm0= SIGN(menergy), mm1= |lenergy|, mm2= l5, mm3= |menergy|, mm4=l4, mm5= l3, mm7=0
618 // mm0= SIGN(menergy), mm1= |lenergy|/8, mm2= |renergy|/8, mm3= |menergy|/8, mm7=0
624 "pcmpgtb %%mm3, %%mm4 \n\t" // |menergy|/8 < QP
625 "psubusb %%mm1, %%mm3 \n\t" // d=|menergy|/8-MIN(|lenergy|,|renergy|)/8
626 "pand %%mm4, %%mm3 \n\t"
628 "movq %%mm3, %%mm1 \n\t"
629 // "psubusb "MANGLE(b01)", %%mm3 \n\t"
630 PAVGB(%%mm7, %%mm3)
631 PAVGB(%%mm7, %%mm3)
632 "paddusb %%mm1, %%mm3 \n\t"
633 // "paddusb "MANGLE(b01)", %%mm3 \n\t"
643 "pand %%mm0, %%mm3 \n\t"
644 PMINUB(%%mm5, %%mm3, %%mm0)
646 "psubusb "MANGLE(b01)", %%mm3 \n\t"
647 PAVGB(%%mm7, %%mm3)
653 "psubb %%mm3, %%mm0 \n\t"
654 "paddb %%mm3, %%mm2 \n\t"
675 "movq (%%"REG_a", %1), %%mm3 \n\t" // l2
680 PAVGB(%%mm3, %%mm2) // (l2-l5+256)/2
684 // mm1=-l3-1, mm0=128-q, mm3=l2, mm4=menergy/16 + 128, mm5= -l5-1
688 PAVGB(%%mm3, %%mm2) // (l2-l1+256)/2
690 "movq "MANGLE(b80)", %%mm3 \n\t" // 128
691 PAVGB(%%mm2, %%mm3) // ~(l2-l1)/4 + 128
692 PAVGB(%%mm1, %%mm3) // ~(l0-l3)/4 +(l2-l1)/8 + 128
693 PAVGB(%%mm2, %%mm3) // ~(l0-l3)/8 +5(l2-l1)/16 + 128
694 // mm0=128-q, mm3=lenergy/16 + 128, mm4= menergy/16 + 128, mm5= -l5-1
704 // mm0=128-q, mm2=renergy/16 + 128, mm3=lenergy/16 + 128, mm4= menergy/16 + 128
709 "psubb %%mm3, %%mm5 \n\t" // 128 - lenergy/16
711 PMAXUB(%%mm5, %%mm3) // 128 + |lenergy/16|
712 PMINUB(%%mm2, %%mm3, %%mm1) // 128 + MIN(|lenergy|,|renergy|)/16
714 // mm0=128-q, mm3=128 + MIN(|lenergy|,|renergy|)/16, mm4= menergy/16 + 128
726 "psubusb %%mm3, %%mm4 \n\t" //d=|menergy|/16 - MIN(|lenergy|,|renergy|)/16
729 "movq %%mm4, %%mm3 \n\t" // d
733 "paddb %%mm3, %%mm4 \n\t" // 5d/64
742 PMINUB(%%mm5, %%mm4, %%mm3) // MIN(|q|, 5d/64)
834 "movq %%mm2, %%mm3 \n\t"
836 "punpckhbw %%mm7, %%mm3 \n\t" // high part of line 1
846 "psubw %%mm5, %%mm3 \n\t" // H1 - H2
848 "psubw %%mm3, %%mm1 \n\t" // 2H0 - H1 + H2
851 "psllw $2, %%mm3 \n\t" // 4H1 - 4H2
853 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2
856 "movq %%mm2, %%mm3 \n\t"
858 "punpckhbw %%mm7, %%mm3 \n\t" // H3
861 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - H3
863 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
873 "psubw %%mm1, %%mm3 \n\t" // H3 - H4
875 "movq %%mm3, 24(%3) \n\t" // H3 - H4
879 "psubw %%mm3, %%mm5 \n\t" // 2H2 - H3 + H4
883 "psllw $2, %%mm3 \n\t" // 4H3 - 4H4
885 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4
888 "movq %%mm2, %%mm3 \n\t"
890 "punpckhbw %%mm7, %%mm3 \n\t" // H5
892 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - H5
894 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - 2H5
901 "psubw %%mm6, %%mm3 \n\t" // H5 - H6
906 "psubw %%mm3, %%mm1 \n\t" // 2H4 - H5 + H6
909 "psllw $2, %%mm3 \n\t" // 4H5 - 4H6
911 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6
914 "movq %%mm2, %%mm3 \n\t"
916 "punpckhbw %%mm7, %%mm3 \n\t" // H7
919 "paddw %%mm3, %%mm3 \n\t" // 2H7
921 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6 - 2H7
924 "movq 8(%3), %%mm3 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
937 "psubw %%mm3, %%mm6 \n\t"
938 "pmaxsw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
953 "pcmpgtw %%mm3, %%mm6 \n\t"
954 "pxor %%mm6, %%mm3 \n\t"
955 "psubw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
960 "pminsw %%mm3, %%mm1 \n\t"
966 "psubusw %%mm3, %%mm6 \n\t"
982 "movq %%mm2, %%mm3 \n\t" // 8QP
984 "pcmpgtw %%mm5, %%mm3 \n\t"
986 "pand %%mm3, %%mm5 \n\t"
1006 "pxor %%mm3, %%mm3 \n\t"
1009 "pcmpgtw %%mm1, %%mm3 \n\t" // sign (H3-H4)
1011 "pxor %%mm3, %%mm1 \n\t"
1013 "psubw %%mm3, %%mm1 \n\t" // |H3-H4|
1018 "pxor %%mm7, %%mm3 \n\t"
1020 "pand %%mm3, %%mm5 \n\t"
1203 "movd -4(%0), %%mm3 \n\t"
1205 "psrlq $24, %%mm3 \n\t"
1207 "por %%mm3, %%mm1 \n\t" // L00
1209 "movq %%mm1, %%mm3 \n\t" // L00
1214 "psubusb %%mm7, %%mm3 \n\t"
1217 "pcmpeqb "MANGLE(b00)", %%mm3 \n\t" // L00 > a ? 0 : -1
1219 "paddb %%mm3, %%mm0 \n\t"
1222 "movq %%mm2, %%mm3 \n\t" // L11
1224 "psllq $8, %%mm3 \n\t"
1230 "por %%mm5, %%mm3 \n\t" // L01
1232 "movq %%mm3, %%mm5 \n\t" // L01
1233 PAVGB(%%mm4, %%mm3) // (L21 + L01)/2
1234 PAVGB(%%mm2, %%mm3) // (L21 + L01 + 2L11)/4
1308 DERING_CORE((%%REGa) ,(%%REGa, %1) ,%%mm0,%%mm2,%%mm4,%%mm1,%%mm3,%%mm5,%%mm6,%%mm7)
1309 DERING_CORE((%%REGa, %1) ,(%%REGa, %1, 2),%%mm2,%%mm4,%%mm0,%%mm3,%%mm5,%%mm1,%%mm6,%%mm7)
1310 DERING_CORE((%%REGa, %1, 2),(%0, %1, 4) ,%%mm4,%%mm0,%%mm2,%%mm5,%%mm1,%%mm3,%%mm6,%%mm7)
1311 DERING_CORE((%0, %1, 4) ,(%%REGd) ,%%mm0,%%mm2,%%mm4,%%mm1,%%mm3,%%mm5,%%mm6,%%mm7)
1312 DERING_CORE((%%REGd) ,(%%REGd, %1) ,%%mm2,%%mm4,%%mm0,%%mm3,%%mm5,%%mm1,%%mm6,%%mm7)
1313 DERING_CORE((%%REGd, %1) ,(%%REGd, %1, 2),%%mm4,%%mm0,%%mm2,%%mm5,%%mm1,%%mm3,%%mm6,%%mm7)
1314 DERING_CORE((%%REGd, %1, 2),(%0, %1, 8) ,%%mm0,%%mm2,%%mm4,%%mm1,%%mm3,%%mm5,%%mm6,%%mm7)
1315 DERING_CORE((%0, %1, 8) ,(%%REGd, %1, 4),%%mm2,%%mm4,%%mm0,%%mm3,%%mm5,%%mm1,%%mm6,%%mm7)
1537 "movq " #e ", %%mm3 \n\t"\
1539 PAVGB(%%mm3, %%mm0) /* (a+e) /2 */\
1543 "movq %%mm1, %%mm3 \n\t"\
1545 "punpckhbw %%mm7, %%mm3 \n\t"\
1547 "psubw %%mm3, %%mm2 \n\t" /* H(a+e - (b+d))/2 */\
1551 "psubw %%mm2, %%mm3 \n\t" /* H(9b + 9d - a - e)/16 */\
1552 "packuswb %%mm3, %%mm1 \n\t"\
1605 "movq " #c ", %%mm3 \n\t"\
1607 PAVGB(%%mm3, %%mm1) \
1609 "movq %%mm0, %%mm3 \n\t"\
1611 "punpckhbw %%mm7, %%mm3 \n\t"\
1618 "psubw %%mm3, %%mm4 \n\t"\
1684 "movq " #b ", %%mm3 \n\t"\
1686 PAVGB(t2, %%mm3) \
1698 "movq %%mm3, %%mm6 \n\t"\
1699 "punpcklbw %%mm7, %%mm3 \n\t"\
1701 "paddw %%mm3, %%mm3 \n\t"\
1703 "paddw %%mm3, %%mm2 \n\t"\
1885 "movq %%mm0, %%mm3 \n\t"
1887 "pminub %%mm3, %%mm1 \n\t"
1894 "movq %%mm2, %%mm3 \n\t"
1896 "pminub %%mm3, %%mm1 \n\t"
1903 "movq %%mm2, %%mm3 \n\t"
1905 "pminub %%mm3, %%mm0 \n\t"
1912 "movq %%mm2, %%mm3 \n\t"
1914 "pminub %%mm3, %%mm0 \n\t"
1936 "movq %%mm0, %%mm3 \n\t"\
1939 "psubusb %%mm1, %%mm3 \n\t"\
1942 "pcmpeqb %%mm7, %%mm3 \n\t"\
1945 "movq %%mm3, %%mm6 \n\t"\
1946 "pxor %%mm4, %%mm3 \n\t"\
1949 "por %%mm3, %%mm1 \n\t"\
2005 "movq (%%"REG_a", %1, 2), %%mm3 \n\t"
2007 "punpcklbw %%mm3, %%mm1 \n\t"
2008 "punpckhbw %%mm3, %%mm4 \n\t"
2010 "movq %%mm0, %%mm3 \n\t"
2012 "punpckhwd %%mm1, %%mm3 \n\t"
2020 "movd %%mm3, 160(%2) \n\t"
2021 "psrlq $32, %%mm3 \n\t"
2022 "movd %%mm3, 176(%2) \n\t"
2023 "movd %%mm3, 48(%3) \n\t"
2041 "movq (%%"REG_a", %1, 2), %%mm3 \n\t"
2043 "punpcklbw %%mm3, %%mm1 \n\t"
2044 "punpckhbw %%mm3, %%mm4 \n\t"
2046 "movq %%mm0, %%mm3 \n\t"
2048 "punpckhwd %%mm1, %%mm3 \n\t"
2056 "movd %%mm3, 164(%2) \n\t"
2057 "psrlq $32, %%mm3 \n\t"
2058 "movd %%mm3, 180(%2) \n\t"
2059 "movd %%mm3, 52(%3) \n\t"
2091 "movq 48(%2), %%mm3 \n\t"
2093 "punpcklbw %%mm3, %%mm1 \n\t"
2094 "punpckhbw %%mm3, %%mm4 \n\t"
2096 "movq %%mm0, %%mm3 \n\t"
2098 "punpckhwd %%mm1, %%mm3 \n\t"
2106 "movd %%mm3, (%%"REG_a", %1) \n\t"
2107 "psrlq $32, %%mm3 \n\t"
2108 "movd %%mm3, (%%"REG_a", %1, 2) \n\t"
2124 "movq 112(%2), %%mm3 \n\t"
2126 "punpcklbw %%mm3, %%mm1 \n\t"
2127 "punpckhbw %%mm3, %%mm4 \n\t"
2129 "movq %%mm0, %%mm3 \n\t"
2131 "punpckhwd %%mm1, %%mm3 \n\t"
2139 "movd %%mm3, 4(%%"REG_a", %1) \n\t"
2140 "psrlq $32, %%mm3 \n\t"
2141 "movd %%mm3, 4(%%"REG_a", %1, 2) \n\t"
2182 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2183 "psadbw (%1, %%"REG_a"), %%mm3 \n\t" // |L3-R3|
2192 "paddw %%mm3, %%mm0 \n\t"
2226 "movq %%mm2, %%mm3 \n\t"\
2230 "punpckhbw %%mm7, %%mm3 \n\t"\
2232 "psubw %%mm3, %%mm1 \n\t"\
2280 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2288 "movq %%mm3, (%1, %%"REG_a") \n\t" // L3
2304 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2305 PAVGB((%1, %%REGa), %%mm3) // L3
2317 "movq %%mm3, (%1, %%"REG_a") \n\t" // R3
2325 "movq %%mm3, (%0, %%"REG_a") \n\t" // L3
2341 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2349 PAVGB(%%mm7, %%mm3)
2353 PAVGB(%%mm7, %%mm3)
2357 "movq %%mm3, (%1, %%"REG_a") \n\t" // R3
2361 "movq %%mm3, (%0, %%"REG_a") \n\t" // L3
2366 "movq (%0, %%"REG_c"), %%mm3 \n\t" // L7
2374 PAVGB(%%mm7, %%mm3)
2378 PAVGB(%%mm7, %%mm3)
2382 "movq %%mm3, (%1, %%"REG_c") \n\t" // R7
2386 "movq %%mm3, (%0, %%"REG_c") \n\t" // L7
2395 "movq (%0, %%"REG_a"), %%mm3 \n\t" // L3
2403 PAVGB(%%mm7, %%mm3)
2407 PAVGB(%%mm7, %%mm3)
2411 PAVGB(%%mm7, %%mm3)
2415 "movq %%mm3, (%1, %%"REG_a") \n\t" // R3
2419 "movq %%mm3, (%0, %%"REG_a") \n\t" // L3
2424 "movq (%0, %%"REG_c"), %%mm3 \n\t" // L7
2432 PAVGB(%%mm7, %%mm3)
2436 PAVGB(%%mm7, %%mm3)
2440 PAVGB(%%mm7, %%mm3)
2444 "movq %%mm3, (%1, %%"REG_c") \n\t" // R7
2448 "movq %%mm3, (%0, %%"REG_c") \n\t" // L7
2565 "movq %%mm1, %%mm3 \n\t"
2573 PMINUB(%%mm2, %%mm3, %%mm5)
2581 PMINUB(%%mm1, %%mm3, %%mm5)
2591 PMINUB(%%mm2, %%mm3, %%mm5)
2599 PMINUB(%%mm1, %%mm3, %%mm5)
2607 PMINUB(%%mm2, %%mm3, %%mm5)
2615 PMINUB(%%mm1, %%mm3, %%mm5)
2623 PMINUB(%%mm2, %%mm3, %%mm5)
2634 "psubusb %%mm3, %%mm4 \n\t"
2712 "movq (%0), %%mm3 \n\t"\
2715 "punpckhbw %%mm4, %%mm3 \n\t"\
2717 "paddw %%mm3, %%mm1 \n\t"
2721 "movq (%0), %%mm3 \n\t"\
2724 "punpckhbw %%mm4, %%mm3 \n\t"\
2726 "psubw %%mm3, %%mm1 \n\t"
2815 "movq %%mm2, %%mm3 \n\t"
2818 "punpckhbw %%mm7, %%mm3 \n\t"
2820 "paddw %%mm3, %%mm1 \n\t"
2822 "paddw %%mm3, %%mm1 \n\t"
2855 "movq %%mm2, %%mm3 \n\t"
2857 "punpckhbw %%mm7, %%mm3 \n\t" // high part of line 1
2867 "psubw %%mm5, %%mm3 \n\t" // H1 - H2
2869 "psubw %%mm3, %%mm1 \n\t" // 2H0 - H1 + H2
2872 "psllw $2, %%mm3 \n\t" // 4H1 - 4H2
2874 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2
2877 "movq %%mm2, %%mm3 \n\t"
2879 "punpckhbw %%mm7, %%mm3 \n\t" // H3
2882 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - H3
2884 "psubw %%mm3, %%mm1 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
2894 "psubw %%mm1, %%mm3 \n\t" // H3 - H4
2896 "movq %%mm3, 24(%4) \n\t" // H3 - H4
2900 "psubw %%mm3, %%mm5 \n\t" // 2H2 - H3 + H4
2904 "psllw $2, %%mm3 \n\t" // 4H3 - 4H4
2906 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4
2909 "movq %%mm2, %%mm3 \n\t"
2911 "punpckhbw %%mm7, %%mm3 \n\t" // H5
2913 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - H5
2915 "psubw %%mm3, %%mm5 \n\t" // 2H2 - 5H3 + 5H4 - 2H5
2922 "psubw %%mm6, %%mm3 \n\t" // H5 - H6
2927 "psubw %%mm3, %%mm1 \n\t" // 2H4 - H5 + H6
2930 "psllw $2, %%mm3 \n\t" // 4H5 - 4H6
2932 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6
2935 "movq %%mm2, %%mm3 \n\t"
2937 "punpckhbw %%mm7, %%mm3 \n\t" // H7
2940 "paddw %%mm3, %%mm3 \n\t" // 2H7
2942 "psubw %%mm3, %%mm1 \n\t" // 2H4 - 5H5 + 5H6 - 2H7
2945 "movq 8(%4), %%mm3 \n\t" // 2H0 - 5H1 + 5H2 - 2H3
2958 "psubw %%mm3, %%mm6 \n\t"
2959 "pmaxsw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
2974 "pcmpgtw %%mm3, %%mm6 \n\t"
2975 "pxor %%mm6, %%mm3 \n\t"
2976 "psubw %%mm6, %%mm3 \n\t" // |2H0 - 5H1 + 5H2 - 2H3|
2981 "pminsw %%mm3, %%mm1 \n\t"
2987 "psubusw %%mm3, %%mm6 \n\t"
3003 "movq %%mm2, %%mm3 \n\t" // 8QP
3005 "pcmpgtw %%mm5, %%mm3 \n\t"
3007 "pand %%mm3, %%mm5 \n\t"
3027 "pxor %%mm3, %%mm3 \n\t"
3030 "pcmpgtw %%mm1, %%mm3 \n\t" // sign (H3-H4)
3032 "pxor %%mm3, %%mm1 \n\t"
3034 "psubw %%mm3, %%mm1 \n\t" // |H3-H4|
3039 "pxor %%mm7, %%mm3 \n\t"
3041 "pand %%mm3, %%mm5 \n\t"
3103 "movq 8(%%"REG_a"), %%mm3 \n\t" // packedYScale
3117 "pmulhuw %%mm3, %%mm0 \n\t"\
3118 "pmulhuw %%mm3, %%mm5 \n\t"\
3119 "pmulhuw %%mm3, %%mm1 \n\t"\
3120 "pmulhuw %%mm3, %%mm6 \n\t"\
3141 "pmulhw %%mm3, %%mm0 \n\t"\
3143 "pmulhw %%mm3, %%mm5 \n\t"\
3150 "pmulhw %%mm3, %%mm1 \n\t"\
3151 "pmulhw %%mm3, %%mm6 \n\t"\