Lines Matching refs:__asm
35 #define __asm __asm__ __volatile__
77 __asm("vmovdqu64 %0, %%zmm0" :: "m" ((ctx)->avx512[0])); \
78 __asm("vmovdqu64 %0, %%zmm1" :: "m" ((ctx)->avx512[1])); \
79 __asm("vmovdqu64 %0, %%zmm2" :: "m" ((ctx)->avx512[2])); \
80 __asm("vmovdqu64 %0, %%zmm3" :: "m" ((ctx)->avx512[3])); \
85 __asm("vmovdqu64 %%zmm0, %0" : "=m" ((ctx)->avx512[0])); \
86 __asm("vmovdqu64 %%zmm1, %0" : "=m" ((ctx)->avx512[1])); \
87 __asm("vmovdqu64 %%zmm2, %0" : "=m" ((ctx)->avx512[2])); \
88 __asm("vmovdqu64 %%zmm3, %0" : "=m" ((ctx)->avx512[3])); \
102 __asm("vpmovzxdq %0, %%zmm4"::"m" (*ip));
103 __asm("vpaddq %zmm4, %zmm0, %zmm0");
104 __asm("vpaddq %zmm0, %zmm1, %zmm1");
105 __asm("vpaddq %zmm1, %zmm2, %zmm2");
106 __asm("vpaddq %zmm2, %zmm3, %zmm3");
127 __asm("vpbroadcastq %0, %%zmm8" :: "r" (byteswap_mask));
128 __asm("vpsllq $8, %zmm8, %zmm9");
129 __asm("vpsllq $16, %zmm8, %zmm10");
130 __asm("vpsllq $24, %zmm8, %zmm11");
133 __asm("vpmovzxdq %0, %%zmm5"::"m" (*ip));
135 __asm("vpsrlq $24, %zmm5, %zmm6");
136 __asm("vpandd %zmm8, %zmm6, %zmm6");
137 __asm("vpsrlq $8, %zmm5, %zmm7");
138 __asm("vpandd %zmm9, %zmm7, %zmm7");
139 __asm("vpord %zmm6, %zmm7, %zmm4");
140 __asm("vpsllq $8, %zmm5, %zmm6");
141 __asm("vpandd %zmm10, %zmm6, %zmm6");
142 __asm("vpord %zmm6, %zmm4, %zmm4");
143 __asm("vpsllq $24, %zmm5, %zmm5");
144 __asm("vpandd %zmm11, %zmm5, %zmm5");
145 __asm("vpord %zmm5, %zmm4, %zmm4");
147 __asm("vpaddq %zmm4, %zmm0, %zmm0");
148 __asm("vpaddq %zmm0, %zmm1, %zmm1");
149 __asm("vpaddq %zmm1, %zmm2, %zmm2");
150 __asm("vpaddq %zmm2, %zmm3, %zmm3");
194 __asm("vmovdqu64 %0, %%zmm5" :: "m" (mask));
197 __asm("vpmovzxdq %0, %%zmm4"::"m" (*ip));
199 __asm("vpshufb %zmm5, %zmm4, %zmm4");
201 __asm("vpaddq %zmm4, %zmm0, %zmm0");
202 __asm("vpaddq %zmm0, %zmm1, %zmm1");
203 __asm("vpaddq %zmm1, %zmm2, %zmm2");
204 __asm("vpaddq %zmm2, %zmm3, %zmm3");