avx2intrin.h revision 355940 
1/*===---- avx2intrin.h - AVX2 intrinsics -----------------------------------===
2 *
3 * Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
4 * See https://llvm.org/LICENSE.txt for license information.
5 * SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
6 *
7 *===-----------------------------------------------------------------------===
8 */
9
10#ifndef __IMMINTRIN_H
11#error "Never use <avx2intrin.h> directly; include <immintrin.h> instead."
12#endif
13
14#ifndef __AVX2INTRIN_H
15#define __AVX2INTRIN_H
16
17/* Define the default attributes for the functions in this file. */
18#define __DEFAULT_FN_ATTRS256 __attribute__((__always_inline__, __nodebug__, __target__("avx2"), __min_vector_width__(256)))
19#define __DEFAULT_FN_ATTRS128 __attribute__((__always_inline__, __nodebug__, __target__("avx2"), __min_vector_width__(128)))
20
21/* SSE4 Multiple Packed Sums of Absolute Difference.  */
22#define _mm256_mpsadbw_epu8(X, Y, M) \
23  (__m256i)__builtin_ia32_mpsadbw256((__v32qi)(__m256i)(X), \
24                                     (__v32qi)(__m256i)(Y), (int)(M))
25
26static __inline__ __m256i __DEFAULT_FN_ATTRS256
27_mm256_abs_epi8(__m256i __a)
28{
29    return (__m256i)__builtin_ia32_pabsb256((__v32qi)__a);
30}
31
32static __inline__ __m256i __DEFAULT_FN_ATTRS256
33_mm256_abs_epi16(__m256i __a)
34{
35    return (__m256i)__builtin_ia32_pabsw256((__v16hi)__a);
36}
37
38static __inline__ __m256i __DEFAULT_FN_ATTRS256
39_mm256_abs_epi32(__m256i __a)
40{
41    return (__m256i)__builtin_ia32_pabsd256((__v8si)__a);
42}
43
44static __inline__ __m256i __DEFAULT_FN_ATTRS256
45_mm256_packs_epi16(__m256i __a, __m256i __b)
46{
47  return (__m256i)__builtin_ia32_packsswb256((__v16hi)__a, (__v16hi)__b);
48}
49
50static __inline__ __m256i __DEFAULT_FN_ATTRS256
51_mm256_packs_epi32(__m256i __a, __m256i __b)
52{
53  return (__m256i)__builtin_ia32_packssdw256((__v8si)__a, (__v8si)__b);
54}
55
56static __inline__ __m256i __DEFAULT_FN_ATTRS256
57_mm256_packus_epi16(__m256i __a, __m256i __b)
58{
59  return (__m256i)__builtin_ia32_packuswb256((__v16hi)__a, (__v16hi)__b);
60}
61
62static __inline__ __m256i __DEFAULT_FN_ATTRS256
63_mm256_packus_epi32(__m256i __V1, __m256i __V2)
64{
65  return (__m256i) __builtin_ia32_packusdw256((__v8si)__V1, (__v8si)__V2);
66}
67
68static __inline__ __m256i __DEFAULT_FN_ATTRS256
69_mm256_add_epi8(__m256i __a, __m256i __b)
70{
71  return (__m256i)((__v32qu)__a + (__v32qu)__b);
72}
73
74static __inline__ __m256i __DEFAULT_FN_ATTRS256
75_mm256_add_epi16(__m256i __a, __m256i __b)
76{
77  return (__m256i)((__v16hu)__a + (__v16hu)__b);
78}
79
80static __inline__ __m256i __DEFAULT_FN_ATTRS256
81_mm256_add_epi32(__m256i __a, __m256i __b)
82{
83  return (__m256i)((__v8su)__a + (__v8su)__b);
84}
85
86static __inline__ __m256i __DEFAULT_FN_ATTRS256
87_mm256_add_epi64(__m256i __a, __m256i __b)
88{
89  return (__m256i)((__v4du)__a + (__v4du)__b);
90}
91
92static __inline__ __m256i __DEFAULT_FN_ATTRS256
93_mm256_adds_epi8(__m256i __a, __m256i __b)
94{
95  return (__m256i)__builtin_ia32_paddsb256((__v32qi)__a, (__v32qi)__b);
96}
97
98static __inline__ __m256i __DEFAULT_FN_ATTRS256
99_mm256_adds_epi16(__m256i __a, __m256i __b)
100{
101  return (__m256i)__builtin_ia32_paddsw256((__v16hi)__a, (__v16hi)__b);
102}
103
104static __inline__ __m256i __DEFAULT_FN_ATTRS256
105_mm256_adds_epu8(__m256i __a, __m256i __b)
106{
107  return (__m256i)__builtin_ia32_paddusb256((__v32qi)__a, (__v32qi)__b);
108}
109
110static __inline__ __m256i __DEFAULT_FN_ATTRS256
111_mm256_adds_epu16(__m256i __a, __m256i __b)
112{
113  return (__m256i)__builtin_ia32_paddusw256((__v16hi)__a, (__v16hi)__b);
114}
115
116#define _mm256_alignr_epi8(a, b, n) \
117  (__m256i)__builtin_ia32_palignr256((__v32qi)(__m256i)(a), \
118                                     (__v32qi)(__m256i)(b), (n))
119
120static __inline__ __m256i __DEFAULT_FN_ATTRS256
121_mm256_and_si256(__m256i __a, __m256i __b)
122{
123  return (__m256i)((__v4du)__a & (__v4du)__b);
124}
125
126static __inline__ __m256i __DEFAULT_FN_ATTRS256
127_mm256_andnot_si256(__m256i __a, __m256i __b)
128{
129  return (__m256i)(~(__v4du)__a & (__v4du)__b);
130}
131
132static __inline__ __m256i __DEFAULT_FN_ATTRS256
133_mm256_avg_epu8(__m256i __a, __m256i __b)
134{
135  return (__m256i)__builtin_ia32_pavgb256((__v32qi)__a, (__v32qi)__b);
136}
137
138static __inline__ __m256i __DEFAULT_FN_ATTRS256
139_mm256_avg_epu16(__m256i __a, __m256i __b)
140{
141  return (__m256i)__builtin_ia32_pavgw256((__v16hi)__a, (__v16hi)__b);
142}
143
144static __inline__ __m256i __DEFAULT_FN_ATTRS256
145_mm256_blendv_epi8(__m256i __V1, __m256i __V2, __m256i __M)
146{
147  return (__m256i)__builtin_ia32_pblendvb256((__v32qi)__V1, (__v32qi)__V2,
148                                              (__v32qi)__M);
149}
150
151#define _mm256_blend_epi16(V1, V2, M) \
152  (__m256i)__builtin_ia32_pblendw256((__v16hi)(__m256i)(V1), \
153                                     (__v16hi)(__m256i)(V2), (int)(M))
154
155static __inline__ __m256i __DEFAULT_FN_ATTRS256
156_mm256_cmpeq_epi8(__m256i __a, __m256i __b)
157{
158  return (__m256i)((__v32qi)__a == (__v32qi)__b);
159}
160
161static __inline__ __m256i __DEFAULT_FN_ATTRS256
162_mm256_cmpeq_epi16(__m256i __a, __m256i __b)
163{
164  return (__m256i)((__v16hi)__a == (__v16hi)__b);
165}
166
167static __inline__ __m256i __DEFAULT_FN_ATTRS256
168_mm256_cmpeq_epi32(__m256i __a, __m256i __b)
169{
170  return (__m256i)((__v8si)__a == (__v8si)__b);
171}
172
173static __inline__ __m256i __DEFAULT_FN_ATTRS256
174_mm256_cmpeq_epi64(__m256i __a, __m256i __b)
175{
176  return (__m256i)((__v4di)__a == (__v4di)__b);
177}
178
179static __inline__ __m256i __DEFAULT_FN_ATTRS256
180_mm256_cmpgt_epi8(__m256i __a, __m256i __b)
181{
182  /* This function always performs a signed comparison, but __v32qi is a char
183     which may be signed or unsigned, so use __v32qs. */
184  return (__m256i)((__v32qs)__a > (__v32qs)__b);
185}
186
187static __inline__ __m256i __DEFAULT_FN_ATTRS256
188_mm256_cmpgt_epi16(__m256i __a, __m256i __b)
189{
190  return (__m256i)((__v16hi)__a > (__v16hi)__b);
191}
192
193static __inline__ __m256i __DEFAULT_FN_ATTRS256
194_mm256_cmpgt_epi32(__m256i __a, __m256i __b)
195{
196  return (__m256i)((__v8si)__a > (__v8si)__b);
197}
198
199static __inline__ __m256i __DEFAULT_FN_ATTRS256
200_mm256_cmpgt_epi64(__m256i __a, __m256i __b)
201{
202  return (__m256i)((__v4di)__a > (__v4di)__b);
203}
204
205static __inline__ __m256i __DEFAULT_FN_ATTRS256
206_mm256_hadd_epi16(__m256i __a, __m256i __b)
207{
208    return (__m256i)__builtin_ia32_phaddw256((__v16hi)__a, (__v16hi)__b);
209}
210
211static __inline__ __m256i __DEFAULT_FN_ATTRS256
212_mm256_hadd_epi32(__m256i __a, __m256i __b)
213{
214    return (__m256i)__builtin_ia32_phaddd256((__v8si)__a, (__v8si)__b);
215}
216
217static __inline__ __m256i __DEFAULT_FN_ATTRS256
218_mm256_hadds_epi16(__m256i __a, __m256i __b)
219{
220    return (__m256i)__builtin_ia32_phaddsw256((__v16hi)__a, (__v16hi)__b);
221}
222
223static __inline__ __m256i __DEFAULT_FN_ATTRS256
224_mm256_hsub_epi16(__m256i __a, __m256i __b)
225{
226    return (__m256i)__builtin_ia32_phsubw256((__v16hi)__a, (__v16hi)__b);
227}
228
229static __inline__ __m256i __DEFAULT_FN_ATTRS256
230_mm256_hsub_epi32(__m256i __a, __m256i __b)
231{
232    return (__m256i)__builtin_ia32_phsubd256((__v8si)__a, (__v8si)__b);
233}
234
235static __inline__ __m256i __DEFAULT_FN_ATTRS256
236_mm256_hsubs_epi16(__m256i __a, __m256i __b)
237{
238    return (__m256i)__builtin_ia32_phsubsw256((__v16hi)__a, (__v16hi)__b);
239}
240
241static __inline__ __m256i __DEFAULT_FN_ATTRS256
242_mm256_maddubs_epi16(__m256i __a, __m256i __b)
243{
244    return (__m256i)__builtin_ia32_pmaddubsw256((__v32qi)__a, (__v32qi)__b);
245}
246
247static __inline__ __m256i __DEFAULT_FN_ATTRS256
248_mm256_madd_epi16(__m256i __a, __m256i __b)
249{
250  return (__m256i)__builtin_ia32_pmaddwd256((__v16hi)__a, (__v16hi)__b);
251}
252
253static __inline__ __m256i __DEFAULT_FN_ATTRS256
254_mm256_max_epi8(__m256i __a, __m256i __b)
255{
256  return (__m256i)__builtin_ia32_pmaxsb256((__v32qi)__a, (__v32qi)__b);
257}
258
259static __inline__ __m256i __DEFAULT_FN_ATTRS256
260_mm256_max_epi16(__m256i __a, __m256i __b)
261{
262  return (__m256i)__builtin_ia32_pmaxsw256((__v16hi)__a, (__v16hi)__b);
263}
264
265static __inline__ __m256i __DEFAULT_FN_ATTRS256
266_mm256_max_epi32(__m256i __a, __m256i __b)
267{
268  return (__m256i)__builtin_ia32_pmaxsd256((__v8si)__a, (__v8si)__b);
269}
270
271static __inline__ __m256i __DEFAULT_FN_ATTRS256
272_mm256_max_epu8(__m256i __a, __m256i __b)
273{
274  return (__m256i)__builtin_ia32_pmaxub256((__v32qi)__a, (__v32qi)__b);
275}
276
277static __inline__ __m256i __DEFAULT_FN_ATTRS256
278_mm256_max_epu16(__m256i __a, __m256i __b)
279{
280  return (__m256i)__builtin_ia32_pmaxuw256((__v16hi)__a, (__v16hi)__b);
281}
282
283static __inline__ __m256i __DEFAULT_FN_ATTRS256
284_mm256_max_epu32(__m256i __a, __m256i __b)
285{
286  return (__m256i)__builtin_ia32_pmaxud256((__v8si)__a, (__v8si)__b);
287}
288
289static __inline__ __m256i __DEFAULT_FN_ATTRS256
290_mm256_min_epi8(__m256i __a, __m256i __b)
291{
292  return (__m256i)__builtin_ia32_pminsb256((__v32qi)__a, (__v32qi)__b);
293}
294
295static __inline__ __m256i __DEFAULT_FN_ATTRS256
296_mm256_min_epi16(__m256i __a, __m256i __b)
297{
298  return (__m256i)__builtin_ia32_pminsw256((__v16hi)__a, (__v16hi)__b);
299}
300
301static __inline__ __m256i __DEFAULT_FN_ATTRS256
302_mm256_min_epi32(__m256i __a, __m256i __b)
303{
304  return (__m256i)__builtin_ia32_pminsd256((__v8si)__a, (__v8si)__b);
305}
306
307static __inline__ __m256i __DEFAULT_FN_ATTRS256
308_mm256_min_epu8(__m256i __a, __m256i __b)
309{
310  return (__m256i)__builtin_ia32_pminub256((__v32qi)__a, (__v32qi)__b);
311}
312
313static __inline__ __m256i __DEFAULT_FN_ATTRS256
314_mm256_min_epu16(__m256i __a, __m256i __b)
315{
316  return (__m256i)__builtin_ia32_pminuw256 ((__v16hi)__a, (__v16hi)__b);
317}
318
319static __inline__ __m256i __DEFAULT_FN_ATTRS256
320_mm256_min_epu32(__m256i __a, __m256i __b)
321{
322  return (__m256i)__builtin_ia32_pminud256((__v8si)__a, (__v8si)__b);
323}
324
325static __inline__ int __DEFAULT_FN_ATTRS256
326_mm256_movemask_epi8(__m256i __a)
327{
328  return __builtin_ia32_pmovmskb256((__v32qi)__a);
329}
330
331static __inline__ __m256i __DEFAULT_FN_ATTRS256
332_mm256_cvtepi8_epi16(__m128i __V)
333{
334  /* This function always performs a signed extension, but __v16qi is a char
335     which may be signed or unsigned, so use __v16qs. */
336  return (__m256i)__builtin_convertvector((__v16qs)__V, __v16hi);
337}
338
339static __inline__ __m256i __DEFAULT_FN_ATTRS256
340_mm256_cvtepi8_epi32(__m128i __V)
341{
342  /* This function always performs a signed extension, but __v16qi is a char
343     which may be signed or unsigned, so use __v16qs. */
344  return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qs)__V, (__v16qs)__V, 0, 1, 2, 3, 4, 5, 6, 7), __v8si);
345}
346
347static __inline__ __m256i __DEFAULT_FN_ATTRS256
348_mm256_cvtepi8_epi64(__m128i __V)
349{
350  /* This function always performs a signed extension, but __v16qi is a char
351     which may be signed or unsigned, so use __v16qs. */
352  return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qs)__V, (__v16qs)__V, 0, 1, 2, 3), __v4di);
353}
354
355static __inline__ __m256i __DEFAULT_FN_ATTRS256
356_mm256_cvtepi16_epi32(__m128i __V)
357{
358  return (__m256i)__builtin_convertvector((__v8hi)__V, __v8si);
359}
360
361static __inline__ __m256i __DEFAULT_FN_ATTRS256
362_mm256_cvtepi16_epi64(__m128i __V)
363{
364  return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v8hi)__V, (__v8hi)__V, 0, 1, 2, 3), __v4di);
365}
366
367static __inline__ __m256i __DEFAULT_FN_ATTRS256
368_mm256_cvtepi32_epi64(__m128i __V)
369{
370  return (__m256i)__builtin_convertvector((__v4si)__V, __v4di);
371}
372
373static __inline__ __m256i __DEFAULT_FN_ATTRS256
374_mm256_cvtepu8_epi16(__m128i __V)
375{
376  return (__m256i)__builtin_convertvector((__v16qu)__V, __v16hi);
377}
378
379static __inline__ __m256i __DEFAULT_FN_ATTRS256
380_mm256_cvtepu8_epi32(__m128i __V)
381{
382  return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qu)__V, (__v16qu)__V, 0, 1, 2, 3, 4, 5, 6, 7), __v8si);
383}
384
385static __inline__ __m256i __DEFAULT_FN_ATTRS256
386_mm256_cvtepu8_epi64(__m128i __V)
387{
388  return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qu)__V, (__v16qu)__V, 0, 1, 2, 3), __v4di);
389}
390
391static __inline__ __m256i __DEFAULT_FN_ATTRS256
392_mm256_cvtepu16_epi32(__m128i __V)
393{
394  return (__m256i)__builtin_convertvector((__v8hu)__V, __v8si);
395}
396
397static __inline__ __m256i __DEFAULT_FN_ATTRS256
398_mm256_cvtepu16_epi64(__m128i __V)
399{
400  return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v8hu)__V, (__v8hu)__V, 0, 1, 2, 3), __v4di);
401}
402
403static __inline__ __m256i __DEFAULT_FN_ATTRS256
404_mm256_cvtepu32_epi64(__m128i __V)
405{
406  return (__m256i)__builtin_convertvector((__v4su)__V, __v4di);
407}
408
409static __inline__  __m256i __DEFAULT_FN_ATTRS256
410_mm256_mul_epi32(__m256i __a, __m256i __b)
411{
412  return (__m256i)__builtin_ia32_pmuldq256((__v8si)__a, (__v8si)__b);
413}
414
415static __inline__ __m256i __DEFAULT_FN_ATTRS256
416_mm256_mulhrs_epi16(__m256i __a, __m256i __b)
417{
418  return (__m256i)__builtin_ia32_pmulhrsw256((__v16hi)__a, (__v16hi)__b);
419}
420
421static __inline__ __m256i __DEFAULT_FN_ATTRS256
422_mm256_mulhi_epu16(__m256i __a, __m256i __b)
423{
424  return (__m256i)__builtin_ia32_pmulhuw256((__v16hi)__a, (__v16hi)__b);
425}
426
427static __inline__ __m256i __DEFAULT_FN_ATTRS256
428_mm256_mulhi_epi16(__m256i __a, __m256i __b)
429{
430  return (__m256i)__builtin_ia32_pmulhw256((__v16hi)__a, (__v16hi)__b);
431}
432
433static __inline__ __m256i __DEFAULT_FN_ATTRS256
434_mm256_mullo_epi16(__m256i __a, __m256i __b)
435{
436  return (__m256i)((__v16hu)__a * (__v16hu)__b);
437}
438
439static __inline__  __m256i __DEFAULT_FN_ATTRS256
440_mm256_mullo_epi32 (__m256i __a, __m256i __b)
441{
442  return (__m256i)((__v8su)__a * (__v8su)__b);
443}
444
445static __inline__ __m256i __DEFAULT_FN_ATTRS256
446_mm256_mul_epu32(__m256i __a, __m256i __b)
447{
448  return __builtin_ia32_pmuludq256((__v8si)__a, (__v8si)__b);
449}
450
451static __inline__ __m256i __DEFAULT_FN_ATTRS256
452_mm256_or_si256(__m256i __a, __m256i __b)
453{
454  return (__m256i)((__v4du)__a | (__v4du)__b);
455}
456
457static __inline__ __m256i __DEFAULT_FN_ATTRS256
458_mm256_sad_epu8(__m256i __a, __m256i __b)
459{
460  return __builtin_ia32_psadbw256((__v32qi)__a, (__v32qi)__b);
461}
462
463static __inline__ __m256i __DEFAULT_FN_ATTRS256
464_mm256_shuffle_epi8(__m256i __a, __m256i __b)
465{
466  return (__m256i)__builtin_ia32_pshufb256((__v32qi)__a, (__v32qi)__b);
467}
468
469#define _mm256_shuffle_epi32(a, imm) \
470  (__m256i)__builtin_ia32_pshufd256((__v8si)(__m256i)(a), (int)(imm))
471
472#define _mm256_shufflehi_epi16(a, imm) \
473  (__m256i)__builtin_ia32_pshufhw256((__v16hi)(__m256i)(a), (int)(imm))
474
475#define _mm256_shufflelo_epi16(a, imm) \
476  (__m256i)__builtin_ia32_pshuflw256((__v16hi)(__m256i)(a), (int)(imm))
477
478static __inline__ __m256i __DEFAULT_FN_ATTRS256
479_mm256_sign_epi8(__m256i __a, __m256i __b)
480{
481    return (__m256i)__builtin_ia32_psignb256((__v32qi)__a, (__v32qi)__b);
482}
483
484static __inline__ __m256i __DEFAULT_FN_ATTRS256
485_mm256_sign_epi16(__m256i __a, __m256i __b)
486{
487    return (__m256i)__builtin_ia32_psignw256((__v16hi)__a, (__v16hi)__b);
488}
489
490static __inline__ __m256i __DEFAULT_FN_ATTRS256
491_mm256_sign_epi32(__m256i __a, __m256i __b)
492{
493    return (__m256i)__builtin_ia32_psignd256((__v8si)__a, (__v8si)__b);
494}
495
496#define _mm256_slli_si256(a, imm) \
497  (__m256i)__builtin_ia32_pslldqi256_byteshift((__v4di)(__m256i)(a), (int)(imm))
498
499#define _mm256_bslli_epi128(a, imm) \
500  (__m256i)__builtin_ia32_pslldqi256_byteshift((__v4di)(__m256i)(a), (int)(imm))
501
502static __inline__ __m256i __DEFAULT_FN_ATTRS256
503_mm256_slli_epi16(__m256i __a, int __count)
504{
505  return (__m256i)__builtin_ia32_psllwi256((__v16hi)__a, __count);
506}
507
508static __inline__ __m256i __DEFAULT_FN_ATTRS256
509_mm256_sll_epi16(__m256i __a, __m128i __count)
510{
511  return (__m256i)__builtin_ia32_psllw256((__v16hi)__a, (__v8hi)__count);
512}
513
514static __inline__ __m256i __DEFAULT_FN_ATTRS256
515_mm256_slli_epi32(__m256i __a, int __count)
516{
517  return (__m256i)__builtin_ia32_pslldi256((__v8si)__a, __count);
518}
519
520static __inline__ __m256i __DEFAULT_FN_ATTRS256
521_mm256_sll_epi32(__m256i __a, __m128i __count)
522{
523  return (__m256i)__builtin_ia32_pslld256((__v8si)__a, (__v4si)__count);
524}
525
526static __inline__ __m256i __DEFAULT_FN_ATTRS256
527_mm256_slli_epi64(__m256i __a, int __count)
528{
529  return __builtin_ia32_psllqi256((__v4di)__a, __count);
530}
531
532static __inline__ __m256i __DEFAULT_FN_ATTRS256
533_mm256_sll_epi64(__m256i __a, __m128i __count)
534{
535  return __builtin_ia32_psllq256((__v4di)__a, __count);
536}
537
538static __inline__ __m256i __DEFAULT_FN_ATTRS256
539_mm256_srai_epi16(__m256i __a, int __count)
540{
541  return (__m256i)__builtin_ia32_psrawi256((__v16hi)__a, __count);
542}
543
544static __inline__ __m256i __DEFAULT_FN_ATTRS256
545_mm256_sra_epi16(__m256i __a, __m128i __count)
546{
547  return (__m256i)__builtin_ia32_psraw256((__v16hi)__a, (__v8hi)__count);
548}
549
550static __inline__ __m256i __DEFAULT_FN_ATTRS256
551_mm256_srai_epi32(__m256i __a, int __count)
552{
553  return (__m256i)__builtin_ia32_psradi256((__v8si)__a, __count);
554}
555
556static __inline__ __m256i __DEFAULT_FN_ATTRS256
557_mm256_sra_epi32(__m256i __a, __m128i __count)
558{
559  return (__m256i)__builtin_ia32_psrad256((__v8si)__a, (__v4si)__count);
560}
561
562#define _mm256_srli_si256(a, imm) \
563  (__m256i)__builtin_ia32_psrldqi256_byteshift((__m256i)(a), (int)(imm))
564
565#define _mm256_bsrli_epi128(a, imm) \
566  (__m256i)__builtin_ia32_psrldqi256_byteshift((__m256i)(a), (int)(imm))
567
568static __inline__ __m256i __DEFAULT_FN_ATTRS256
569_mm256_srli_epi16(__m256i __a, int __count)
570{
571  return (__m256i)__builtin_ia32_psrlwi256((__v16hi)__a, __count);
572}
573
574static __inline__ __m256i __DEFAULT_FN_ATTRS256
575_mm256_srl_epi16(__m256i __a, __m128i __count)
576{
577  return (__m256i)__builtin_ia32_psrlw256((__v16hi)__a, (__v8hi)__count);
578}
579
580static __inline__ __m256i __DEFAULT_FN_ATTRS256
581_mm256_srli_epi32(__m256i __a, int __count)
582{
583  return (__m256i)__builtin_ia32_psrldi256((__v8si)__a, __count);
584}
585
586static __inline__ __m256i __DEFAULT_FN_ATTRS256
587_mm256_srl_epi32(__m256i __a, __m128i __count)
588{
589  return (__m256i)__builtin_ia32_psrld256((__v8si)__a, (__v4si)__count);
590}
591
592static __inline__ __m256i __DEFAULT_FN_ATTRS256
593_mm256_srli_epi64(__m256i __a, int __count)
594{
595  return __builtin_ia32_psrlqi256((__v4di)__a, __count);
596}
597
598static __inline__ __m256i __DEFAULT_FN_ATTRS256
599_mm256_srl_epi64(__m256i __a, __m128i __count)
600{
601  return __builtin_ia32_psrlq256((__v4di)__a, __count);
602}
603
604static __inline__ __m256i __DEFAULT_FN_ATTRS256
605_mm256_sub_epi8(__m256i __a, __m256i __b)
606{
607  return (__m256i)((__v32qu)__a - (__v32qu)__b);
608}
609
610static __inline__ __m256i __DEFAULT_FN_ATTRS256
611_mm256_sub_epi16(__m256i __a, __m256i __b)
612{
613  return (__m256i)((__v16hu)__a - (__v16hu)__b);
614}
615
616static __inline__ __m256i __DEFAULT_FN_ATTRS256
617_mm256_sub_epi32(__m256i __a, __m256i __b)
618{
619  return (__m256i)((__v8su)__a - (__v8su)__b);
620}
621
622static __inline__ __m256i __DEFAULT_FN_ATTRS256
623_mm256_sub_epi64(__m256i __a, __m256i __b)
624{
625  return (__m256i)((__v4du)__a - (__v4du)__b);
626}
627
628static __inline__ __m256i __DEFAULT_FN_ATTRS256
629_mm256_subs_epi8(__m256i __a, __m256i __b)
630{
631  return (__m256i)__builtin_ia32_psubsb256((__v32qi)__a, (__v32qi)__b);
632}
633
634static __inline__ __m256i __DEFAULT_FN_ATTRS256
635_mm256_subs_epi16(__m256i __a, __m256i __b)
636{
637  return (__m256i)__builtin_ia32_psubsw256((__v16hi)__a, (__v16hi)__b);
638}
639
640static __inline__ __m256i __DEFAULT_FN_ATTRS256
641_mm256_subs_epu8(__m256i __a, __m256i __b)
642{
643  return (__m256i)__builtin_ia32_psubusb256((__v32qi)__a, (__v32qi)__b);
644}
645
646static __inline__ __m256i __DEFAULT_FN_ATTRS256
647_mm256_subs_epu16(__m256i __a, __m256i __b)
648{
649  return (__m256i)__builtin_ia32_psubusw256((__v16hi)__a, (__v16hi)__b);
650}
651
652static __inline__ __m256i __DEFAULT_FN_ATTRS256
653_mm256_unpackhi_epi8(__m256i __a, __m256i __b)
654{
655  return (__m256i)__builtin_shufflevector((__v32qi)__a, (__v32qi)__b, 8, 32+8, 9, 32+9, 10, 32+10, 11, 32+11, 12, 32+12, 13, 32+13, 14, 32+14, 15, 32+15, 24, 32+24, 25, 32+25, 26, 32+26, 27, 32+27, 28, 32+28, 29, 32+29, 30, 32+30, 31, 32+31);
656}
657
658static __inline__ __m256i __DEFAULT_FN_ATTRS256
659_mm256_unpackhi_epi16(__m256i __a, __m256i __b)
660{
661  return (__m256i)__builtin_shufflevector((__v16hi)__a, (__v16hi)__b, 4, 16+4, 5, 16+5, 6, 16+6, 7, 16+7, 12, 16+12, 13, 16+13, 14, 16+14, 15, 16+15);
662}
663
664static __inline__ __m256i __DEFAULT_FN_ATTRS256
665_mm256_unpackhi_epi32(__m256i __a, __m256i __b)
666{
667  return (__m256i)__builtin_shufflevector((__v8si)__a, (__v8si)__b, 2, 8+2, 3, 8+3, 6, 8+6, 7, 8+7);
668}
669
670static __inline__ __m256i __DEFAULT_FN_ATTRS256
671_mm256_unpackhi_epi64(__m256i __a, __m256i __b)
672{
673  return (__m256i)__builtin_shufflevector((__v4di)__a, (__v4di)__b, 1, 4+1, 3, 4+3);
674}
675
676static __inline__ __m256i __DEFAULT_FN_ATTRS256
677_mm256_unpacklo_epi8(__m256i __a, __m256i __b)
678{
679  return (__m256i)__builtin_shufflevector((__v32qi)__a, (__v32qi)__b, 0, 32+0, 1, 32+1, 2, 32+2, 3, 32+3, 4, 32+4, 5, 32+5, 6, 32+6, 7, 32+7, 16, 32+16, 17, 32+17, 18, 32+18, 19, 32+19, 20, 32+20, 21, 32+21, 22, 32+22, 23, 32+23);
680}
681
682static __inline__ __m256i __DEFAULT_FN_ATTRS256
683_mm256_unpacklo_epi16(__m256i __a, __m256i __b)
684{
685  return (__m256i)__builtin_shufflevector((__v16hi)__a, (__v16hi)__b, 0, 16+0, 1, 16+1, 2, 16+2, 3, 16+3, 8, 16+8, 9, 16+9, 10, 16+10, 11, 16+11);
686}
687
688static __inline__ __m256i __DEFAULT_FN_ATTRS256
689_mm256_unpacklo_epi32(__m256i __a, __m256i __b)
690{
691  return (__m256i)__builtin_shufflevector((__v8si)__a, (__v8si)__b, 0, 8+0, 1, 8+1, 4, 8+4, 5, 8+5);
692}
693
694static __inline__ __m256i __DEFAULT_FN_ATTRS256
695_mm256_unpacklo_epi64(__m256i __a, __m256i __b)
696{
697  return (__m256i)__builtin_shufflevector((__v4di)__a, (__v4di)__b, 0, 4+0, 2, 4+2);
698}
699
700static __inline__ __m256i __DEFAULT_FN_ATTRS256
701_mm256_xor_si256(__m256i __a, __m256i __b)
702{
703  return (__m256i)((__v4du)__a ^ (__v4du)__b);
704}
705
706static __inline__ __m256i __DEFAULT_FN_ATTRS256
707_mm256_stream_load_si256(__m256i const *__V)
708{
709  typedef __v4di __v4di_aligned __attribute__((aligned(32)));
710  return (__m256i)__builtin_nontemporal_load((const __v4di_aligned *)__V);
711}
712
713static __inline__ __m128 __DEFAULT_FN_ATTRS128
714_mm_broadcastss_ps(__m128 __X)
715{
716  return (__m128)__builtin_shufflevector((__v4sf)__X, (__v4sf)__X, 0, 0, 0, 0);
717}
718
719static __inline__ __m128d __DEFAULT_FN_ATTRS128
720_mm_broadcastsd_pd(__m128d __a)
721{
722  return __builtin_shufflevector((__v2df)__a, (__v2df)__a, 0, 0);
723}
724
725static __inline__ __m256 __DEFAULT_FN_ATTRS256
726_mm256_broadcastss_ps(__m128 __X)
727{
728  return (__m256)__builtin_shufflevector((__v4sf)__X, (__v4sf)__X, 0, 0, 0, 0, 0, 0, 0, 0);
729}
730
731static __inline__ __m256d __DEFAULT_FN_ATTRS256
732_mm256_broadcastsd_pd(__m128d __X)
733{
734  return (__m256d)__builtin_shufflevector((__v2df)__X, (__v2df)__X, 0, 0, 0, 0);
735}
736
737static __inline__ __m256i __DEFAULT_FN_ATTRS256
738_mm256_broadcastsi128_si256(__m128i __X)
739{
740  return (__m256i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 1, 0, 1);
741}
742
743#define _mm_blend_epi32(V1, V2, M) \
744  (__m128i)__builtin_ia32_pblendd128((__v4si)(__m128i)(V1), \
745                                     (__v4si)(__m128i)(V2), (int)(M))
746
747#define _mm256_blend_epi32(V1, V2, M) \
748  (__m256i)__builtin_ia32_pblendd256((__v8si)(__m256i)(V1), \
749                                     (__v8si)(__m256i)(V2), (int)(M))
750
751static __inline__ __m256i __DEFAULT_FN_ATTRS256
752_mm256_broadcastb_epi8(__m128i __X)
753{
754  return (__m256i)__builtin_shufflevector((__v16qi)__X, (__v16qi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
755}
756
757static __inline__ __m256i __DEFAULT_FN_ATTRS256
758_mm256_broadcastw_epi16(__m128i __X)
759{
760  return (__m256i)__builtin_shufflevector((__v8hi)__X, (__v8hi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
761}
762
763static __inline__ __m256i __DEFAULT_FN_ATTRS256
764_mm256_broadcastd_epi32(__m128i __X)
765{
766  return (__m256i)__builtin_shufflevector((__v4si)__X, (__v4si)__X, 0, 0, 0, 0, 0, 0, 0, 0);
767}
768
769static __inline__ __m256i __DEFAULT_FN_ATTRS256
770_mm256_broadcastq_epi64(__m128i __X)
771{
772  return (__m256i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 0, 0, 0);
773}
774
775static __inline__ __m128i __DEFAULT_FN_ATTRS128
776_mm_broadcastb_epi8(__m128i __X)
777{
778  return (__m128i)__builtin_shufflevector((__v16qi)__X, (__v16qi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0);
779}
780
781static __inline__ __m128i __DEFAULT_FN_ATTRS128
782_mm_broadcastw_epi16(__m128i __X)
783{
784  return (__m128i)__builtin_shufflevector((__v8hi)__X, (__v8hi)__X, 0, 0, 0, 0, 0, 0, 0, 0);
785}
786
787
788static __inline__ __m128i __DEFAULT_FN_ATTRS128
789_mm_broadcastd_epi32(__m128i __X)
790{
791  return (__m128i)__builtin_shufflevector((__v4si)__X, (__v4si)__X, 0, 0, 0, 0);
792}
793
794static __inline__ __m128i __DEFAULT_FN_ATTRS128
795_mm_broadcastq_epi64(__m128i __X)
796{
797  return (__m128i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 0);
798}
799
800static __inline__ __m256i __DEFAULT_FN_ATTRS256
801_mm256_permutevar8x32_epi32(__m256i __a, __m256i __b)
802{
803  return (__m256i)__builtin_ia32_permvarsi256((__v8si)__a, (__v8si)__b);
804}
805
806#define _mm256_permute4x64_pd(V, M) \
807  (__m256d)__builtin_ia32_permdf256((__v4df)(__m256d)(V), (int)(M))
808
809static __inline__ __m256 __DEFAULT_FN_ATTRS256
810_mm256_permutevar8x32_ps(__m256 __a, __m256i __b)
811{
812  return (__m256)__builtin_ia32_permvarsf256((__v8sf)__a, (__v8si)__b);
813}
814
815#define _mm256_permute4x64_epi64(V, M) \
816  (__m256i)__builtin_ia32_permdi256((__v4di)(__m256i)(V), (int)(M))
817
818#define _mm256_permute2x128_si256(V1, V2, M) \
819  (__m256i)__builtin_ia32_permti256((__m256i)(V1), (__m256i)(V2), (int)(M))
820
821#define _mm256_extracti128_si256(V, M) \
822  (__m128i)__builtin_ia32_extract128i256((__v4di)(__m256i)(V), (int)(M))
823
824#define _mm256_inserti128_si256(V1, V2, M) \
825  (__m256i)__builtin_ia32_insert128i256((__v4di)(__m256i)(V1), \
826                                        (__v2di)(__m128i)(V2), (int)(M))
827
828static __inline__ __m256i __DEFAULT_FN_ATTRS256
829_mm256_maskload_epi32(int const *__X, __m256i __M)
830{
831  return (__m256i)__builtin_ia32_maskloadd256((const __v8si *)__X, (__v8si)__M);
832}
833
834static __inline__ __m256i __DEFAULT_FN_ATTRS256
835_mm256_maskload_epi64(long long const *__X, __m256i __M)
836{
837  return (__m256i)__builtin_ia32_maskloadq256((const __v4di *)__X, (__v4di)__M);
838}
839
840static __inline__ __m128i __DEFAULT_FN_ATTRS128
841_mm_maskload_epi32(int const *__X, __m128i __M)
842{
843  return (__m128i)__builtin_ia32_maskloadd((const __v4si *)__X, (__v4si)__M);
844}
845
846static __inline__ __m128i __DEFAULT_FN_ATTRS128
847_mm_maskload_epi64(long long const *__X, __m128i __M)
848{
849  return (__m128i)__builtin_ia32_maskloadq((const __v2di *)__X, (__v2di)__M);
850}
851
852static __inline__ void __DEFAULT_FN_ATTRS256
853_mm256_maskstore_epi32(int *__X, __m256i __M, __m256i __Y)
854{
855  __builtin_ia32_maskstored256((__v8si *)__X, (__v8si)__M, (__v8si)__Y);
856}
857
858static __inline__ void __DEFAULT_FN_ATTRS256
859_mm256_maskstore_epi64(long long *__X, __m256i __M, __m256i __Y)
860{
861  __builtin_ia32_maskstoreq256((__v4di *)__X, (__v4di)__M, (__v4di)__Y);
862}
863
864static __inline__ void __DEFAULT_FN_ATTRS128
865_mm_maskstore_epi32(int *__X, __m128i __M, __m128i __Y)
866{
867  __builtin_ia32_maskstored((__v4si *)__X, (__v4si)__M, (__v4si)__Y);
868}
869
870static __inline__ void __DEFAULT_FN_ATTRS128
871_mm_maskstore_epi64(long long *__X, __m128i __M, __m128i __Y)
872{
873  __builtin_ia32_maskstoreq(( __v2di *)__X, (__v2di)__M, (__v2di)__Y);
874}
875
876static __inline__ __m256i __DEFAULT_FN_ATTRS256
877_mm256_sllv_epi32(__m256i __X, __m256i __Y)
878{
879  return (__m256i)__builtin_ia32_psllv8si((__v8si)__X, (__v8si)__Y);
880}
881
882static __inline__ __m128i __DEFAULT_FN_ATTRS128
883_mm_sllv_epi32(__m128i __X, __m128i __Y)
884{
885  return (__m128i)__builtin_ia32_psllv4si((__v4si)__X, (__v4si)__Y);
886}
887
888static __inline__ __m256i __DEFAULT_FN_ATTRS256
889_mm256_sllv_epi64(__m256i __X, __m256i __Y)
890{
891  return (__m256i)__builtin_ia32_psllv4di((__v4di)__X, (__v4di)__Y);
892}
893
894static __inline__ __m128i __DEFAULT_FN_ATTRS128
895_mm_sllv_epi64(__m128i __X, __m128i __Y)
896{
897  return (__m128i)__builtin_ia32_psllv2di((__v2di)__X, (__v2di)__Y);
898}
899
900static __inline__ __m256i __DEFAULT_FN_ATTRS256
901_mm256_srav_epi32(__m256i __X, __m256i __Y)
902{
903  return (__m256i)__builtin_ia32_psrav8si((__v8si)__X, (__v8si)__Y);
904}
905
906static __inline__ __m128i __DEFAULT_FN_ATTRS128
907_mm_srav_epi32(__m128i __X, __m128i __Y)
908{
909  return (__m128i)__builtin_ia32_psrav4si((__v4si)__X, (__v4si)__Y);
910}
911
912static __inline__ __m256i __DEFAULT_FN_ATTRS256
913_mm256_srlv_epi32(__m256i __X, __m256i __Y)
914{
915  return (__m256i)__builtin_ia32_psrlv8si((__v8si)__X, (__v8si)__Y);
916}
917
918static __inline__ __m128i __DEFAULT_FN_ATTRS128
919_mm_srlv_epi32(__m128i __X, __m128i __Y)
920{
921  return (__m128i)__builtin_ia32_psrlv4si((__v4si)__X, (__v4si)__Y);
922}
923
924static __inline__ __m256i __DEFAULT_FN_ATTRS256
925_mm256_srlv_epi64(__m256i __X, __m256i __Y)
926{
927  return (__m256i)__builtin_ia32_psrlv4di((__v4di)__X, (__v4di)__Y);
928}
929
930static __inline__ __m128i __DEFAULT_FN_ATTRS128
931_mm_srlv_epi64(__m128i __X, __m128i __Y)
932{
933  return (__m128i)__builtin_ia32_psrlv2di((__v2di)__X, (__v2di)__Y);
934}
935
936#define _mm_mask_i32gather_pd(a, m, i, mask, s) \
937  (__m128d)__builtin_ia32_gatherd_pd((__v2df)(__m128i)(a), \
938                                     (double const *)(m), \
939                                     (__v4si)(__m128i)(i), \
940                                     (__v2df)(__m128d)(mask), (s))
941
942#define _mm256_mask_i32gather_pd(a, m, i, mask, s) \
943  (__m256d)__builtin_ia32_gatherd_pd256((__v4df)(__m256d)(a), \
944                                        (double const *)(m), \
945                                        (__v4si)(__m128i)(i), \
946                                        (__v4df)(__m256d)(mask), (s))
947
948#define _mm_mask_i64gather_pd(a, m, i, mask, s) \
949  (__m128d)__builtin_ia32_gatherq_pd((__v2df)(__m128d)(a), \
950                                     (double const *)(m), \
951                                     (__v2di)(__m128i)(i), \
952                                     (__v2df)(__m128d)(mask), (s))
953
954#define _mm256_mask_i64gather_pd(a, m, i, mask, s) \
955  (__m256d)__builtin_ia32_gatherq_pd256((__v4df)(__m256d)(a), \
956                                        (double const *)(m), \
957                                        (__v4di)(__m256i)(i), \
958                                        (__v4df)(__m256d)(mask), (s))
959
960#define _mm_mask_i32gather_ps(a, m, i, mask, s) \
961  (__m128)__builtin_ia32_gatherd_ps((__v4sf)(__m128)(a), \
962                                    (float const *)(m), \
963                                    (__v4si)(__m128i)(i), \
964                                    (__v4sf)(__m128)(mask), (s))
965
966#define _mm256_mask_i32gather_ps(a, m, i, mask, s) \
967  (__m256)__builtin_ia32_gatherd_ps256((__v8sf)(__m256)(a), \
968                                       (float const *)(m), \
969                                       (__v8si)(__m256i)(i), \
970                                       (__v8sf)(__m256)(mask), (s))
971
972#define _mm_mask_i64gather_ps(a, m, i, mask, s) \
973  (__m128)__builtin_ia32_gatherq_ps((__v4sf)(__m128)(a), \
974                                    (float const *)(m), \
975                                    (__v2di)(__m128i)(i), \
976                                    (__v4sf)(__m128)(mask), (s))
977
978#define _mm256_mask_i64gather_ps(a, m, i, mask, s) \
979  (__m128)__builtin_ia32_gatherq_ps256((__v4sf)(__m128)(a), \
980                                       (float const *)(m), \
981                                       (__v4di)(__m256i)(i), \
982                                       (__v4sf)(__m128)(mask), (s))
983
984#define _mm_mask_i32gather_epi32(a, m, i, mask, s) \
985  (__m128i)__builtin_ia32_gatherd_d((__v4si)(__m128i)(a), \
986                                    (int const *)(m), \
987                                    (__v4si)(__m128i)(i), \
988                                    (__v4si)(__m128i)(mask), (s))
989
990#define _mm256_mask_i32gather_epi32(a, m, i, mask, s) \
991  (__m256i)__builtin_ia32_gatherd_d256((__v8si)(__m256i)(a), \
992                                       (int const *)(m), \
993                                       (__v8si)(__m256i)(i), \
994                                       (__v8si)(__m256i)(mask), (s))
995
996#define _mm_mask_i64gather_epi32(a, m, i, mask, s) \
997  (__m128i)__builtin_ia32_gatherq_d((__v4si)(__m128i)(a), \
998                                    (int const *)(m), \
999                                    (__v2di)(__m128i)(i), \
1000                                    (__v4si)(__m128i)(mask), (s))
1001
1002#define _mm256_mask_i64gather_epi32(a, m, i, mask, s) \
1003  (__m128i)__builtin_ia32_gatherq_d256((__v4si)(__m128i)(a), \
1004                                       (int const *)(m), \
1005                                       (__v4di)(__m256i)(i), \
1006                                       (__v4si)(__m128i)(mask), (s))
1007
1008#define _mm_mask_i32gather_epi64(a, m, i, mask, s) \
1009  (__m128i)__builtin_ia32_gatherd_q((__v2di)(__m128i)(a), \
1010                                    (long long const *)(m), \
1011                                    (__v4si)(__m128i)(i), \
1012                                    (__v2di)(__m128i)(mask), (s))
1013
1014#define _mm256_mask_i32gather_epi64(a, m, i, mask, s) \
1015  (__m256i)__builtin_ia32_gatherd_q256((__v4di)(__m256i)(a), \
1016                                       (long long const *)(m), \
1017                                       (__v4si)(__m128i)(i), \
1018                                       (__v4di)(__m256i)(mask), (s))
1019
1020#define _mm_mask_i64gather_epi64(a, m, i, mask, s) \
1021  (__m128i)__builtin_ia32_gatherq_q((__v2di)(__m128i)(a), \
1022                                    (long long const *)(m), \
1023                                    (__v2di)(__m128i)(i), \
1024                                    (__v2di)(__m128i)(mask), (s))
1025
1026#define _mm256_mask_i64gather_epi64(a, m, i, mask, s) \
1027  (__m256i)__builtin_ia32_gatherq_q256((__v4di)(__m256i)(a), \
1028                                       (long long const *)(m), \
1029                                       (__v4di)(__m256i)(i), \
1030                                       (__v4di)(__m256i)(mask), (s))
1031
1032#define _mm_i32gather_pd(m, i, s) \
1033  (__m128d)__builtin_ia32_gatherd_pd((__v2df)_mm_undefined_pd(), \
1034                                     (double const *)(m), \
1035                                     (__v4si)(__m128i)(i), \
1036                                     (__v2df)_mm_cmpeq_pd(_mm_setzero_pd(), \
1037                                                          _mm_setzero_pd()), \
1038                                     (s))
1039
1040#define _mm256_i32gather_pd(m, i, s) \
1041  (__m256d)__builtin_ia32_gatherd_pd256((__v4df)_mm256_undefined_pd(), \
1042                                        (double const *)(m), \
1043                                        (__v4si)(__m128i)(i), \
1044                                        (__v4df)_mm256_cmp_pd(_mm256_setzero_pd(), \
1045                                                              _mm256_setzero_pd(), \
1046                                                              _CMP_EQ_OQ), \
1047                                        (s))
1048
1049#define _mm_i64gather_pd(m, i, s) \
1050  (__m128d)__builtin_ia32_gatherq_pd((__v2df)_mm_undefined_pd(), \
1051                                     (double const *)(m), \
1052                                     (__v2di)(__m128i)(i), \
1053                                     (__v2df)_mm_cmpeq_pd(_mm_setzero_pd(), \
1054                                                          _mm_setzero_pd()), \
1055                                     (s))
1056
1057#define _mm256_i64gather_pd(m, i, s) \
1058  (__m256d)__builtin_ia32_gatherq_pd256((__v4df)_mm256_undefined_pd(), \
1059                                        (double const *)(m), \
1060                                        (__v4di)(__m256i)(i), \
1061                                        (__v4df)_mm256_cmp_pd(_mm256_setzero_pd(), \
1062                                                              _mm256_setzero_pd(), \
1063                                                              _CMP_EQ_OQ), \
1064                                        (s))
1065
1066#define _mm_i32gather_ps(m, i, s) \
1067  (__m128)__builtin_ia32_gatherd_ps((__v4sf)_mm_undefined_ps(), \
1068                                    (float const *)(m), \
1069                                    (__v4si)(__m128i)(i), \
1070                                    (__v4sf)_mm_cmpeq_ps(_mm_setzero_ps(), \
1071                                                         _mm_setzero_ps()), \
1072                                    (s))
1073
1074#define _mm256_i32gather_ps(m, i, s) \
1075  (__m256)__builtin_ia32_gatherd_ps256((__v8sf)_mm256_undefined_ps(), \
1076                                       (float const *)(m), \
1077                                       (__v8si)(__m256i)(i), \
1078                                       (__v8sf)_mm256_cmp_ps(_mm256_setzero_ps(), \
1079                                                             _mm256_setzero_ps(), \
1080                                                             _CMP_EQ_OQ), \
1081                                       (s))
1082
1083#define _mm_i64gather_ps(m, i, s) \
1084  (__m128)__builtin_ia32_gatherq_ps((__v4sf)_mm_undefined_ps(), \
1085                                    (float const *)(m), \
1086                                    (__v2di)(__m128i)(i), \
1087                                    (__v4sf)_mm_cmpeq_ps(_mm_setzero_ps(), \
1088                                                         _mm_setzero_ps()), \
1089                                    (s))
1090
1091#define _mm256_i64gather_ps(m, i, s) \
1092  (__m128)__builtin_ia32_gatherq_ps256((__v4sf)_mm_undefined_ps(), \
1093                                       (float const *)(m), \
1094                                       (__v4di)(__m256i)(i), \
1095                                       (__v4sf)_mm_cmpeq_ps(_mm_setzero_ps(), \
1096                                                            _mm_setzero_ps()), \
1097                                       (s))
1098
1099#define _mm_i32gather_epi32(m, i, s) \
1100  (__m128i)__builtin_ia32_gatherd_d((__v4si)_mm_undefined_si128(), \
1101                                    (int const *)(m), (__v4si)(__m128i)(i), \
1102                                    (__v4si)_mm_set1_epi32(-1), (s))
1103
1104#define _mm256_i32gather_epi32(m, i, s) \
1105  (__m256i)__builtin_ia32_gatherd_d256((__v8si)_mm256_undefined_si256(), \
1106                                       (int const *)(m), (__v8si)(__m256i)(i), \
1107                                       (__v8si)_mm256_set1_epi32(-1), (s))
1108
1109#define _mm_i64gather_epi32(m, i, s) \
1110  (__m128i)__builtin_ia32_gatherq_d((__v4si)_mm_undefined_si128(), \
1111                                    (int const *)(m), (__v2di)(__m128i)(i), \
1112                                    (__v4si)_mm_set1_epi32(-1), (s))
1113
1114#define _mm256_i64gather_epi32(m, i, s) \
1115  (__m128i)__builtin_ia32_gatherq_d256((__v4si)_mm_undefined_si128(), \
1116                                       (int const *)(m), (__v4di)(__m256i)(i), \
1117                                       (__v4si)_mm_set1_epi32(-1), (s))
1118
1119#define _mm_i32gather_epi64(m, i, s) \
1120  (__m128i)__builtin_ia32_gatherd_q((__v2di)_mm_undefined_si128(), \
1121                                    (long long const *)(m), \
1122                                    (__v4si)(__m128i)(i), \
1123                                    (__v2di)_mm_set1_epi64x(-1), (s))
1124
1125#define _mm256_i32gather_epi64(m, i, s) \
1126  (__m256i)__builtin_ia32_gatherd_q256((__v4di)_mm256_undefined_si256(), \
1127                                       (long long const *)(m), \
1128                                       (__v4si)(__m128i)(i), \
1129                                       (__v4di)_mm256_set1_epi64x(-1), (s))
1130
1131#define _mm_i64gather_epi64(m, i, s) \
1132  (__m128i)__builtin_ia32_gatherq_q((__v2di)_mm_undefined_si128(), \
1133                                    (long long const *)(m), \
1134                                    (__v2di)(__m128i)(i), \
1135                                    (__v2di)_mm_set1_epi64x(-1), (s))
1136
1137#define _mm256_i64gather_epi64(m, i, s) \
1138  (__m256i)__builtin_ia32_gatherq_q256((__v4di)_mm256_undefined_si256(), \
1139                                       (long long const *)(m), \
1140                                       (__v4di)(__m256i)(i), \
1141                                       (__v4di)_mm256_set1_epi64x(-1), (s))
1142
1143#undef __DEFAULT_FN_ATTRS256
1144#undef __DEFAULT_FN_ATTRS128
1145
1146#endif /* __AVX2INTRIN_H */
1147