1#include "arm_asm.h"
2#include "arm_arch.h"
3
4.text
5#if defined(__thumb2__)
6.syntax	unified
7.thumb
8#else
9.code	32
10#endif
11
12#if __ARM_MAX_ARCH__>=7
13.align	5
14.LOPENSSL_armcap:
15.word	OPENSSL_armcap_P-.Lbn_mul_mont
16#endif
17
18.globl	bn_mul_mont
19.type	bn_mul_mont,%function
20
21.align	5
22bn_mul_mont:
23.Lbn_mul_mont:
24	ldr	ip,[sp,#4]		@ load num
25	stmdb	sp!,{r0,r2}		@ sp points at argument block
26#if __ARM_MAX_ARCH__>=7
27	tst	ip,#7
28	bne	.Lialu
29	adr	r0,.Lbn_mul_mont
30	ldr	r2,.LOPENSSL_armcap
31	ldr	r0,[r0,r2]
32#ifdef	__APPLE__
33	ldr	r0,[r0]
34#endif
35	tst	r0,#ARMV7_NEON		@ NEON available?
36	ldmia	sp, {r0,r2}
37	beq	.Lialu
38	add	sp,sp,#8
39	b	bn_mul8x_mont_neon
40.align	4
41.Lialu:
42#endif
43	cmp	ip,#2
44	mov	r0,ip			@ load num
45#ifdef	__thumb2__
46	ittt	lt
47#endif
48	movlt	r0,#0
49	addlt	sp,sp,#2*4
50	blt	.Labrt
51
52	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ save 10 registers
53
54	mov	r0,r0,lsl#2		@ rescale r0 for byte count
55	sub	sp,sp,r0		@ alloca(4*num)
56	sub	sp,sp,#4		@ +extra dword
57	sub	r0,r0,#4		@ "num=num-1"
58	add	r4,r2,r0		@ &bp[num-1]
59
60	add	r0,sp,r0		@ r0 to point at &tp[num-1]
61	ldr	r8,[r0,#14*4]		@ &n0
62	ldr	r2,[r2]		@ bp[0]
63	ldr	r5,[r1],#4		@ ap[0],ap++
64	ldr	r6,[r3],#4		@ np[0],np++
65	ldr	r8,[r8]		@ *n0
66	str	r4,[r0,#15*4]		@ save &bp[num]
67
68	umull	r10,r11,r5,r2	@ ap[0]*bp[0]
69	str	r8,[r0,#14*4]		@ save n0 value
70	mul	r8,r10,r8		@ "tp[0]"*n0
71	mov	r12,#0
72	umlal	r10,r12,r6,r8	@ np[0]*n0+"t[0]"
73	mov	r4,sp
74
75.L1st:
76	ldr	r5,[r1],#4		@ ap[j],ap++
77	mov	r10,r11
78	ldr	r6,[r3],#4		@ np[j],np++
79	mov	r11,#0
80	umlal	r10,r11,r5,r2	@ ap[j]*bp[0]
81	mov	r14,#0
82	umlal	r12,r14,r6,r8	@ np[j]*n0
83	adds	r12,r12,r10
84	str	r12,[r4],#4		@ tp[j-1]=,tp++
85	adc	r12,r14,#0
86	cmp	r4,r0
87	bne	.L1st
88
89	adds	r12,r12,r11
90	ldr	r4,[r0,#13*4]		@ restore bp
91	mov	r14,#0
92	ldr	r8,[r0,#14*4]		@ restore n0
93	adc	r14,r14,#0
94	str	r12,[r0]		@ tp[num-1]=
95	mov	r7,sp
96	str	r14,[r0,#4]		@ tp[num]=
97
98.Louter:
99	sub	r7,r0,r7		@ "original" r0-1 value
100	sub	r1,r1,r7		@ "rewind" ap to &ap[1]
101	ldr	r2,[r4,#4]!		@ *(++bp)
102	sub	r3,r3,r7		@ "rewind" np to &np[1]
103	ldr	r5,[r1,#-4]		@ ap[0]
104	ldr	r10,[sp]		@ tp[0]
105	ldr	r6,[r3,#-4]		@ np[0]
106	ldr	r7,[sp,#4]		@ tp[1]
107
108	mov	r11,#0
109	umlal	r10,r11,r5,r2	@ ap[0]*bp[i]+tp[0]
110	str	r4,[r0,#13*4]		@ save bp
111	mul	r8,r10,r8
112	mov	r12,#0
113	umlal	r10,r12,r6,r8	@ np[0]*n0+"tp[0]"
114	mov	r4,sp
115
116.Linner:
117	ldr	r5,[r1],#4		@ ap[j],ap++
118	adds	r10,r11,r7		@ +=tp[j]
119	ldr	r6,[r3],#4		@ np[j],np++
120	mov	r11,#0
121	umlal	r10,r11,r5,r2	@ ap[j]*bp[i]
122	mov	r14,#0
123	umlal	r12,r14,r6,r8	@ np[j]*n0
124	adc	r11,r11,#0
125	ldr	r7,[r4,#8]		@ tp[j+1]
126	adds	r12,r12,r10
127	str	r12,[r4],#4		@ tp[j-1]=,tp++
128	adc	r12,r14,#0
129	cmp	r4,r0
130	bne	.Linner
131
132	adds	r12,r12,r11
133	mov	r14,#0
134	ldr	r4,[r0,#13*4]		@ restore bp
135	adc	r14,r14,#0
136	ldr	r8,[r0,#14*4]		@ restore n0
137	adds	r12,r12,r7
138	ldr	r7,[r0,#15*4]		@ restore &bp[num]
139	adc	r14,r14,#0
140	str	r12,[r0]		@ tp[num-1]=
141	str	r14,[r0,#4]		@ tp[num]=
142
143	cmp	r4,r7
144#ifdef	__thumb2__
145	itt	ne
146#endif
147	movne	r7,sp
148	bne	.Louter
149
150	ldr	r2,[r0,#12*4]		@ pull rp
151	mov	r5,sp
152	add	r0,r0,#4		@ r0 to point at &tp[num]
153	sub	r5,r0,r5		@ "original" num value
154	mov	r4,sp			@ "rewind" r4
155	mov	r1,r4			@ "borrow" r1
156	sub	r3,r3,r5		@ "rewind" r3 to &np[0]
157
158	subs	r7,r7,r7		@ "clear" carry flag
159.Lsub:	ldr	r7,[r4],#4
160	ldr	r6,[r3],#4
161	sbcs	r7,r7,r6		@ tp[j]-np[j]
162	str	r7,[r2],#4		@ rp[j]=
163	teq	r4,r0		@ preserve carry
164	bne	.Lsub
165	sbcs	r14,r14,#0		@ upmost carry
166	mov	r4,sp			@ "rewind" r4
167	sub	r2,r2,r5		@ "rewind" r2
168
169.Lcopy:	ldr	r7,[r4]		@ conditional copy
170	ldr	r5,[r2]
171	str	sp,[r4],#4		@ zap tp
172#ifdef	__thumb2__
173	it	cc
174#endif
175	movcc	r5,r7
176	str	r5,[r2],#4
177	teq	r4,r0		@ preserve carry
178	bne	.Lcopy
179
180	mov	sp,r0
181	add	sp,sp,#4		@ skip over tp[num+1]
182	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ restore registers
183	add	sp,sp,#2*4		@ skip over {r0,r2}
184	mov	r0,#1
185.Labrt:
186#if __ARM_ARCH__>=5
187	RET				@ bx lr
188#else
189	tst	lr,#1
190	moveq	pc,lr			@ be binary compatible with V4, yet
191.word	0xe12fff1e			@ interoperable with Thumb ISA:-)
192#endif
193.size	bn_mul_mont,.-bn_mul_mont
194#if __ARM_MAX_ARCH__>=7
195.arch	armv7-a
196.fpu	neon
197
198.type	bn_mul8x_mont_neon,%function
199.align	5
200bn_mul8x_mont_neon:
201	mov	ip,sp
202	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
203	vstmdb	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}		@ ABI specification says so
204	ldmia	ip,{r4,r5}		@ load rest of parameter block
205	mov	ip,sp
206
207	cmp	r5,#8
208	bhi	.LNEON_8n
209
210	@ special case for r5==8, everything is in register bank...
211
212	vld1.32	{d28[0]}, [r2,:32]!
213	veor	d8,d8,d8
214	sub	r7,sp,r5,lsl#4
215	vld1.32	{d0,d1,d2,d3},  [r1]!		@ can't specify :32 :-(
216	and	r7,r7,#-64
217	vld1.32	{d30[0]}, [r4,:32]
218	mov	sp,r7			@ alloca
219	vzip.16	d28,d8
220
221	vmull.u32	q6,d28,d0[0]
222	vmull.u32	q7,d28,d0[1]
223	vmull.u32	q8,d28,d1[0]
224	vshl.i64	d29,d13,#16
225	vmull.u32	q9,d28,d1[1]
226
227	vadd.u64	d29,d29,d12
228	veor	d8,d8,d8
229	vmul.u32	d29,d29,d30
230
231	vmull.u32	q10,d28,d2[0]
232	vld1.32	{d4,d5,d6,d7}, [r3]!
233	vmull.u32	q11,d28,d2[1]
234	vmull.u32	q12,d28,d3[0]
235	vzip.16	d29,d8
236	vmull.u32	q13,d28,d3[1]
237
238	vmlal.u32	q6,d29,d4[0]
239	sub	r9,r5,#1
240	vmlal.u32	q7,d29,d4[1]
241	vmlal.u32	q8,d29,d5[0]
242	vmlal.u32	q9,d29,d5[1]
243
244	vmlal.u32	q10,d29,d6[0]
245	vmov	q5,q6
246	vmlal.u32	q11,d29,d6[1]
247	vmov	q6,q7
248	vmlal.u32	q12,d29,d7[0]
249	vmov	q7,q8
250	vmlal.u32	q13,d29,d7[1]
251	vmov	q8,q9
252	vmov	q9,q10
253	vshr.u64	d10,d10,#16
254	vmov	q10,q11
255	vmov	q11,q12
256	vadd.u64	d10,d10,d11
257	vmov	q12,q13
258	veor	q13,q13
259	vshr.u64	d10,d10,#16
260
261	b	.LNEON_outer8
262
263.align	4
264.LNEON_outer8:
265	vld1.32	{d28[0]}, [r2,:32]!
266	veor	d8,d8,d8
267	vzip.16	d28,d8
268	vadd.u64	d12,d12,d10
269
270	vmlal.u32	q6,d28,d0[0]
271	vmlal.u32	q7,d28,d0[1]
272	vmlal.u32	q8,d28,d1[0]
273	vshl.i64	d29,d13,#16
274	vmlal.u32	q9,d28,d1[1]
275
276	vadd.u64	d29,d29,d12
277	veor	d8,d8,d8
278	subs	r9,r9,#1
279	vmul.u32	d29,d29,d30
280
281	vmlal.u32	q10,d28,d2[0]
282	vmlal.u32	q11,d28,d2[1]
283	vmlal.u32	q12,d28,d3[0]
284	vzip.16	d29,d8
285	vmlal.u32	q13,d28,d3[1]
286
287	vmlal.u32	q6,d29,d4[0]
288	vmlal.u32	q7,d29,d4[1]
289	vmlal.u32	q8,d29,d5[0]
290	vmlal.u32	q9,d29,d5[1]
291
292	vmlal.u32	q10,d29,d6[0]
293	vmov	q5,q6
294	vmlal.u32	q11,d29,d6[1]
295	vmov	q6,q7
296	vmlal.u32	q12,d29,d7[0]
297	vmov	q7,q8
298	vmlal.u32	q13,d29,d7[1]
299	vmov	q8,q9
300	vmov	q9,q10
301	vshr.u64	d10,d10,#16
302	vmov	q10,q11
303	vmov	q11,q12
304	vadd.u64	d10,d10,d11
305	vmov	q12,q13
306	veor	q13,q13
307	vshr.u64	d10,d10,#16
308
309	bne	.LNEON_outer8
310
311	vadd.u64	d12,d12,d10
312	mov	r7,sp
313	vshr.u64	d10,d12,#16
314	mov	r8,r5
315	vadd.u64	d13,d13,d10
316	add	r6,sp,#96
317	vshr.u64	d10,d13,#16
318	vzip.16	d12,d13
319
320	b	.LNEON_tail_entry
321
322.align	4
323.LNEON_8n:
324	veor	q6,q6,q6
325	sub	r7,sp,#128
326	veor	q7,q7,q7
327	sub	r7,r7,r5,lsl#4
328	veor	q8,q8,q8
329	and	r7,r7,#-64
330	veor	q9,q9,q9
331	mov	sp,r7			@ alloca
332	veor	q10,q10,q10
333	add	r7,r7,#256
334	veor	q11,q11,q11
335	sub	r8,r5,#8
336	veor	q12,q12,q12
337	veor	q13,q13,q13
338
339.LNEON_8n_init:
340	vst1.64	{q6,q7},[r7,:256]!
341	subs	r8,r8,#8
342	vst1.64	{q8,q9},[r7,:256]!
343	vst1.64	{q10,q11},[r7,:256]!
344	vst1.64	{q12,q13},[r7,:256]!
345	bne	.LNEON_8n_init
346
347	add	r6,sp,#256
348	vld1.32	{d0,d1,d2,d3},[r1]!
349	add	r10,sp,#8
350	vld1.32	{d30[0]},[r4,:32]
351	mov	r9,r5
352	b	.LNEON_8n_outer
353
354.align	4
355.LNEON_8n_outer:
356	vld1.32	{d28[0]},[r2,:32]!	@ *b++
357	veor	d8,d8,d8
358	vzip.16	d28,d8
359	add	r7,sp,#128
360	vld1.32	{d4,d5,d6,d7},[r3]!
361
362	vmlal.u32	q6,d28,d0[0]
363	vmlal.u32	q7,d28,d0[1]
364	veor	d8,d8,d8
365	vmlal.u32	q8,d28,d1[0]
366	vshl.i64	d29,d13,#16
367	vmlal.u32	q9,d28,d1[1]
368	vadd.u64	d29,d29,d12
369	vmlal.u32	q10,d28,d2[0]
370	vmul.u32	d29,d29,d30
371	vmlal.u32	q11,d28,d2[1]
372	vst1.32	{d28},[sp,:64]		@ put aside smashed b[8*i+0]
373	vmlal.u32	q12,d28,d3[0]
374	vzip.16	d29,d8
375	vmlal.u32	q13,d28,d3[1]
376	vld1.32	{d28[0]},[r2,:32]!	@ *b++
377	vmlal.u32	q6,d29,d4[0]
378	veor	d10,d10,d10
379	vmlal.u32	q7,d29,d4[1]
380	vzip.16	d28,d10
381	vmlal.u32	q8,d29,d5[0]
382	vshr.u64	d12,d12,#16
383	vmlal.u32	q9,d29,d5[1]
384	vmlal.u32	q10,d29,d6[0]
385	vadd.u64	d12,d12,d13
386	vmlal.u32	q11,d29,d6[1]
387	vshr.u64	d12,d12,#16
388	vmlal.u32	q12,d29,d7[0]
389	vmlal.u32	q13,d29,d7[1]
390	vadd.u64	d14,d14,d12
391	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+0]
392	vmlal.u32	q7,d28,d0[0]
393	vld1.64	{q6},[r6,:128]!
394	vmlal.u32	q8,d28,d0[1]
395	veor	d8,d8,d8
396	vmlal.u32	q9,d28,d1[0]
397	vshl.i64	d29,d15,#16
398	vmlal.u32	q10,d28,d1[1]
399	vadd.u64	d29,d29,d14
400	vmlal.u32	q11,d28,d2[0]
401	vmul.u32	d29,d29,d30
402	vmlal.u32	q12,d28,d2[1]
403	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+1]
404	vmlal.u32	q13,d28,d3[0]
405	vzip.16	d29,d8
406	vmlal.u32	q6,d28,d3[1]
407	vld1.32	{d28[0]},[r2,:32]!	@ *b++
408	vmlal.u32	q7,d29,d4[0]
409	veor	d10,d10,d10
410	vmlal.u32	q8,d29,d4[1]
411	vzip.16	d28,d10
412	vmlal.u32	q9,d29,d5[0]
413	vshr.u64	d14,d14,#16
414	vmlal.u32	q10,d29,d5[1]
415	vmlal.u32	q11,d29,d6[0]
416	vadd.u64	d14,d14,d15
417	vmlal.u32	q12,d29,d6[1]
418	vshr.u64	d14,d14,#16
419	vmlal.u32	q13,d29,d7[0]
420	vmlal.u32	q6,d29,d7[1]
421	vadd.u64	d16,d16,d14
422	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+1]
423	vmlal.u32	q8,d28,d0[0]
424	vld1.64	{q7},[r6,:128]!
425	vmlal.u32	q9,d28,d0[1]
426	veor	d8,d8,d8
427	vmlal.u32	q10,d28,d1[0]
428	vshl.i64	d29,d17,#16
429	vmlal.u32	q11,d28,d1[1]
430	vadd.u64	d29,d29,d16
431	vmlal.u32	q12,d28,d2[0]
432	vmul.u32	d29,d29,d30
433	vmlal.u32	q13,d28,d2[1]
434	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+2]
435	vmlal.u32	q6,d28,d3[0]
436	vzip.16	d29,d8
437	vmlal.u32	q7,d28,d3[1]
438	vld1.32	{d28[0]},[r2,:32]!	@ *b++
439	vmlal.u32	q8,d29,d4[0]
440	veor	d10,d10,d10
441	vmlal.u32	q9,d29,d4[1]
442	vzip.16	d28,d10
443	vmlal.u32	q10,d29,d5[0]
444	vshr.u64	d16,d16,#16
445	vmlal.u32	q11,d29,d5[1]
446	vmlal.u32	q12,d29,d6[0]
447	vadd.u64	d16,d16,d17
448	vmlal.u32	q13,d29,d6[1]
449	vshr.u64	d16,d16,#16
450	vmlal.u32	q6,d29,d7[0]
451	vmlal.u32	q7,d29,d7[1]
452	vadd.u64	d18,d18,d16
453	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+2]
454	vmlal.u32	q9,d28,d0[0]
455	vld1.64	{q8},[r6,:128]!
456	vmlal.u32	q10,d28,d0[1]
457	veor	d8,d8,d8
458	vmlal.u32	q11,d28,d1[0]
459	vshl.i64	d29,d19,#16
460	vmlal.u32	q12,d28,d1[1]
461	vadd.u64	d29,d29,d18
462	vmlal.u32	q13,d28,d2[0]
463	vmul.u32	d29,d29,d30
464	vmlal.u32	q6,d28,d2[1]
465	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+3]
466	vmlal.u32	q7,d28,d3[0]
467	vzip.16	d29,d8
468	vmlal.u32	q8,d28,d3[1]
469	vld1.32	{d28[0]},[r2,:32]!	@ *b++
470	vmlal.u32	q9,d29,d4[0]
471	veor	d10,d10,d10
472	vmlal.u32	q10,d29,d4[1]
473	vzip.16	d28,d10
474	vmlal.u32	q11,d29,d5[0]
475	vshr.u64	d18,d18,#16
476	vmlal.u32	q12,d29,d5[1]
477	vmlal.u32	q13,d29,d6[0]
478	vadd.u64	d18,d18,d19
479	vmlal.u32	q6,d29,d6[1]
480	vshr.u64	d18,d18,#16
481	vmlal.u32	q7,d29,d7[0]
482	vmlal.u32	q8,d29,d7[1]
483	vadd.u64	d20,d20,d18
484	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+3]
485	vmlal.u32	q10,d28,d0[0]
486	vld1.64	{q9},[r6,:128]!
487	vmlal.u32	q11,d28,d0[1]
488	veor	d8,d8,d8
489	vmlal.u32	q12,d28,d1[0]
490	vshl.i64	d29,d21,#16
491	vmlal.u32	q13,d28,d1[1]
492	vadd.u64	d29,d29,d20
493	vmlal.u32	q6,d28,d2[0]
494	vmul.u32	d29,d29,d30
495	vmlal.u32	q7,d28,d2[1]
496	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+4]
497	vmlal.u32	q8,d28,d3[0]
498	vzip.16	d29,d8
499	vmlal.u32	q9,d28,d3[1]
500	vld1.32	{d28[0]},[r2,:32]!	@ *b++
501	vmlal.u32	q10,d29,d4[0]
502	veor	d10,d10,d10
503	vmlal.u32	q11,d29,d4[1]
504	vzip.16	d28,d10
505	vmlal.u32	q12,d29,d5[0]
506	vshr.u64	d20,d20,#16
507	vmlal.u32	q13,d29,d5[1]
508	vmlal.u32	q6,d29,d6[0]
509	vadd.u64	d20,d20,d21
510	vmlal.u32	q7,d29,d6[1]
511	vshr.u64	d20,d20,#16
512	vmlal.u32	q8,d29,d7[0]
513	vmlal.u32	q9,d29,d7[1]
514	vadd.u64	d22,d22,d20
515	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+4]
516	vmlal.u32	q11,d28,d0[0]
517	vld1.64	{q10},[r6,:128]!
518	vmlal.u32	q12,d28,d0[1]
519	veor	d8,d8,d8
520	vmlal.u32	q13,d28,d1[0]
521	vshl.i64	d29,d23,#16
522	vmlal.u32	q6,d28,d1[1]
523	vadd.u64	d29,d29,d22
524	vmlal.u32	q7,d28,d2[0]
525	vmul.u32	d29,d29,d30
526	vmlal.u32	q8,d28,d2[1]
527	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+5]
528	vmlal.u32	q9,d28,d3[0]
529	vzip.16	d29,d8
530	vmlal.u32	q10,d28,d3[1]
531	vld1.32	{d28[0]},[r2,:32]!	@ *b++
532	vmlal.u32	q11,d29,d4[0]
533	veor	d10,d10,d10
534	vmlal.u32	q12,d29,d4[1]
535	vzip.16	d28,d10
536	vmlal.u32	q13,d29,d5[0]
537	vshr.u64	d22,d22,#16
538	vmlal.u32	q6,d29,d5[1]
539	vmlal.u32	q7,d29,d6[0]
540	vadd.u64	d22,d22,d23
541	vmlal.u32	q8,d29,d6[1]
542	vshr.u64	d22,d22,#16
543	vmlal.u32	q9,d29,d7[0]
544	vmlal.u32	q10,d29,d7[1]
545	vadd.u64	d24,d24,d22
546	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+5]
547	vmlal.u32	q12,d28,d0[0]
548	vld1.64	{q11},[r6,:128]!
549	vmlal.u32	q13,d28,d0[1]
550	veor	d8,d8,d8
551	vmlal.u32	q6,d28,d1[0]
552	vshl.i64	d29,d25,#16
553	vmlal.u32	q7,d28,d1[1]
554	vadd.u64	d29,d29,d24
555	vmlal.u32	q8,d28,d2[0]
556	vmul.u32	d29,d29,d30
557	vmlal.u32	q9,d28,d2[1]
558	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+6]
559	vmlal.u32	q10,d28,d3[0]
560	vzip.16	d29,d8
561	vmlal.u32	q11,d28,d3[1]
562	vld1.32	{d28[0]},[r2,:32]!	@ *b++
563	vmlal.u32	q12,d29,d4[0]
564	veor	d10,d10,d10
565	vmlal.u32	q13,d29,d4[1]
566	vzip.16	d28,d10
567	vmlal.u32	q6,d29,d5[0]
568	vshr.u64	d24,d24,#16
569	vmlal.u32	q7,d29,d5[1]
570	vmlal.u32	q8,d29,d6[0]
571	vadd.u64	d24,d24,d25
572	vmlal.u32	q9,d29,d6[1]
573	vshr.u64	d24,d24,#16
574	vmlal.u32	q10,d29,d7[0]
575	vmlal.u32	q11,d29,d7[1]
576	vadd.u64	d26,d26,d24
577	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+6]
578	vmlal.u32	q13,d28,d0[0]
579	vld1.64	{q12},[r6,:128]!
580	vmlal.u32	q6,d28,d0[1]
581	veor	d8,d8,d8
582	vmlal.u32	q7,d28,d1[0]
583	vshl.i64	d29,d27,#16
584	vmlal.u32	q8,d28,d1[1]
585	vadd.u64	d29,d29,d26
586	vmlal.u32	q9,d28,d2[0]
587	vmul.u32	d29,d29,d30
588	vmlal.u32	q10,d28,d2[1]
589	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+7]
590	vmlal.u32	q11,d28,d3[0]
591	vzip.16	d29,d8
592	vmlal.u32	q12,d28,d3[1]
593	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
594	vmlal.u32	q13,d29,d4[0]
595	vld1.32	{d0,d1,d2,d3},[r1]!
596	vmlal.u32	q6,d29,d4[1]
597	vmlal.u32	q7,d29,d5[0]
598	vshr.u64	d26,d26,#16
599	vmlal.u32	q8,d29,d5[1]
600	vmlal.u32	q9,d29,d6[0]
601	vadd.u64	d26,d26,d27
602	vmlal.u32	q10,d29,d6[1]
603	vshr.u64	d26,d26,#16
604	vmlal.u32	q11,d29,d7[0]
605	vmlal.u32	q12,d29,d7[1]
606	vadd.u64	d12,d12,d26
607	vst1.32	{d29},[r10,:64]	@ put aside smashed m[8*i+7]
608	add	r10,sp,#8		@ rewind
609	sub	r8,r5,#8
610	b	.LNEON_8n_inner
611
612.align	4
613.LNEON_8n_inner:
614	subs	r8,r8,#8
615	vmlal.u32	q6,d28,d0[0]
616	vld1.64	{q13},[r6,:128]
617	vmlal.u32	q7,d28,d0[1]
618	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+0]
619	vmlal.u32	q8,d28,d1[0]
620	vld1.32	{d4,d5,d6,d7},[r3]!
621	vmlal.u32	q9,d28,d1[1]
622	it	ne
623	addne	r6,r6,#16	@ don't advance in last iteration
624	vmlal.u32	q10,d28,d2[0]
625	vmlal.u32	q11,d28,d2[1]
626	vmlal.u32	q12,d28,d3[0]
627	vmlal.u32	q13,d28,d3[1]
628	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+1]
629	vmlal.u32	q6,d29,d4[0]
630	vmlal.u32	q7,d29,d4[1]
631	vmlal.u32	q8,d29,d5[0]
632	vmlal.u32	q9,d29,d5[1]
633	vmlal.u32	q10,d29,d6[0]
634	vmlal.u32	q11,d29,d6[1]
635	vmlal.u32	q12,d29,d7[0]
636	vmlal.u32	q13,d29,d7[1]
637	vst1.64	{q6},[r7,:128]!
638	vmlal.u32	q7,d28,d0[0]
639	vld1.64	{q6},[r6,:128]
640	vmlal.u32	q8,d28,d0[1]
641	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+1]
642	vmlal.u32	q9,d28,d1[0]
643	it	ne
644	addne	r6,r6,#16	@ don't advance in last iteration
645	vmlal.u32	q10,d28,d1[1]
646	vmlal.u32	q11,d28,d2[0]
647	vmlal.u32	q12,d28,d2[1]
648	vmlal.u32	q13,d28,d3[0]
649	vmlal.u32	q6,d28,d3[1]
650	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+2]
651	vmlal.u32	q7,d29,d4[0]
652	vmlal.u32	q8,d29,d4[1]
653	vmlal.u32	q9,d29,d5[0]
654	vmlal.u32	q10,d29,d5[1]
655	vmlal.u32	q11,d29,d6[0]
656	vmlal.u32	q12,d29,d6[1]
657	vmlal.u32	q13,d29,d7[0]
658	vmlal.u32	q6,d29,d7[1]
659	vst1.64	{q7},[r7,:128]!
660	vmlal.u32	q8,d28,d0[0]
661	vld1.64	{q7},[r6,:128]
662	vmlal.u32	q9,d28,d0[1]
663	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+2]
664	vmlal.u32	q10,d28,d1[0]
665	it	ne
666	addne	r6,r6,#16	@ don't advance in last iteration
667	vmlal.u32	q11,d28,d1[1]
668	vmlal.u32	q12,d28,d2[0]
669	vmlal.u32	q13,d28,d2[1]
670	vmlal.u32	q6,d28,d3[0]
671	vmlal.u32	q7,d28,d3[1]
672	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+3]
673	vmlal.u32	q8,d29,d4[0]
674	vmlal.u32	q9,d29,d4[1]
675	vmlal.u32	q10,d29,d5[0]
676	vmlal.u32	q11,d29,d5[1]
677	vmlal.u32	q12,d29,d6[0]
678	vmlal.u32	q13,d29,d6[1]
679	vmlal.u32	q6,d29,d7[0]
680	vmlal.u32	q7,d29,d7[1]
681	vst1.64	{q8},[r7,:128]!
682	vmlal.u32	q9,d28,d0[0]
683	vld1.64	{q8},[r6,:128]
684	vmlal.u32	q10,d28,d0[1]
685	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+3]
686	vmlal.u32	q11,d28,d1[0]
687	it	ne
688	addne	r6,r6,#16	@ don't advance in last iteration
689	vmlal.u32	q12,d28,d1[1]
690	vmlal.u32	q13,d28,d2[0]
691	vmlal.u32	q6,d28,d2[1]
692	vmlal.u32	q7,d28,d3[0]
693	vmlal.u32	q8,d28,d3[1]
694	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+4]
695	vmlal.u32	q9,d29,d4[0]
696	vmlal.u32	q10,d29,d4[1]
697	vmlal.u32	q11,d29,d5[0]
698	vmlal.u32	q12,d29,d5[1]
699	vmlal.u32	q13,d29,d6[0]
700	vmlal.u32	q6,d29,d6[1]
701	vmlal.u32	q7,d29,d7[0]
702	vmlal.u32	q8,d29,d7[1]
703	vst1.64	{q9},[r7,:128]!
704	vmlal.u32	q10,d28,d0[0]
705	vld1.64	{q9},[r6,:128]
706	vmlal.u32	q11,d28,d0[1]
707	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+4]
708	vmlal.u32	q12,d28,d1[0]
709	it	ne
710	addne	r6,r6,#16	@ don't advance in last iteration
711	vmlal.u32	q13,d28,d1[1]
712	vmlal.u32	q6,d28,d2[0]
713	vmlal.u32	q7,d28,d2[1]
714	vmlal.u32	q8,d28,d3[0]
715	vmlal.u32	q9,d28,d3[1]
716	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+5]
717	vmlal.u32	q10,d29,d4[0]
718	vmlal.u32	q11,d29,d4[1]
719	vmlal.u32	q12,d29,d5[0]
720	vmlal.u32	q13,d29,d5[1]
721	vmlal.u32	q6,d29,d6[0]
722	vmlal.u32	q7,d29,d6[1]
723	vmlal.u32	q8,d29,d7[0]
724	vmlal.u32	q9,d29,d7[1]
725	vst1.64	{q10},[r7,:128]!
726	vmlal.u32	q11,d28,d0[0]
727	vld1.64	{q10},[r6,:128]
728	vmlal.u32	q12,d28,d0[1]
729	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+5]
730	vmlal.u32	q13,d28,d1[0]
731	it	ne
732	addne	r6,r6,#16	@ don't advance in last iteration
733	vmlal.u32	q6,d28,d1[1]
734	vmlal.u32	q7,d28,d2[0]
735	vmlal.u32	q8,d28,d2[1]
736	vmlal.u32	q9,d28,d3[0]
737	vmlal.u32	q10,d28,d3[1]
738	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+6]
739	vmlal.u32	q11,d29,d4[0]
740	vmlal.u32	q12,d29,d4[1]
741	vmlal.u32	q13,d29,d5[0]
742	vmlal.u32	q6,d29,d5[1]
743	vmlal.u32	q7,d29,d6[0]
744	vmlal.u32	q8,d29,d6[1]
745	vmlal.u32	q9,d29,d7[0]
746	vmlal.u32	q10,d29,d7[1]
747	vst1.64	{q11},[r7,:128]!
748	vmlal.u32	q12,d28,d0[0]
749	vld1.64	{q11},[r6,:128]
750	vmlal.u32	q13,d28,d0[1]
751	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+6]
752	vmlal.u32	q6,d28,d1[0]
753	it	ne
754	addne	r6,r6,#16	@ don't advance in last iteration
755	vmlal.u32	q7,d28,d1[1]
756	vmlal.u32	q8,d28,d2[0]
757	vmlal.u32	q9,d28,d2[1]
758	vmlal.u32	q10,d28,d3[0]
759	vmlal.u32	q11,d28,d3[1]
760	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+7]
761	vmlal.u32	q12,d29,d4[0]
762	vmlal.u32	q13,d29,d4[1]
763	vmlal.u32	q6,d29,d5[0]
764	vmlal.u32	q7,d29,d5[1]
765	vmlal.u32	q8,d29,d6[0]
766	vmlal.u32	q9,d29,d6[1]
767	vmlal.u32	q10,d29,d7[0]
768	vmlal.u32	q11,d29,d7[1]
769	vst1.64	{q12},[r7,:128]!
770	vmlal.u32	q13,d28,d0[0]
771	vld1.64	{q12},[r6,:128]
772	vmlal.u32	q6,d28,d0[1]
773	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+7]
774	vmlal.u32	q7,d28,d1[0]
775	it	ne
776	addne	r6,r6,#16	@ don't advance in last iteration
777	vmlal.u32	q8,d28,d1[1]
778	vmlal.u32	q9,d28,d2[0]
779	vmlal.u32	q10,d28,d2[1]
780	vmlal.u32	q11,d28,d3[0]
781	vmlal.u32	q12,d28,d3[1]
782	it	eq
783	subeq	r1,r1,r5,lsl#2	@ rewind
784	vmlal.u32	q13,d29,d4[0]
785	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
786	vmlal.u32	q6,d29,d4[1]
787	vld1.32	{d0,d1,d2,d3},[r1]!
788	vmlal.u32	q7,d29,d5[0]
789	add	r10,sp,#8		@ rewind
790	vmlal.u32	q8,d29,d5[1]
791	vmlal.u32	q9,d29,d6[0]
792	vmlal.u32	q10,d29,d6[1]
793	vmlal.u32	q11,d29,d7[0]
794	vst1.64	{q13},[r7,:128]!
795	vmlal.u32	q12,d29,d7[1]
796
797	bne	.LNEON_8n_inner
798	add	r6,sp,#128
799	vst1.64	{q6,q7},[r7,:256]!
800	veor	q2,q2,q2		@ d4-d5
801	vst1.64	{q8,q9},[r7,:256]!
802	veor	q3,q3,q3		@ d6-d7
803	vst1.64	{q10,q11},[r7,:256]!
804	vst1.64	{q12},[r7,:128]
805
806	subs	r9,r9,#8
807	vld1.64	{q6,q7},[r6,:256]!
808	vld1.64	{q8,q9},[r6,:256]!
809	vld1.64	{q10,q11},[r6,:256]!
810	vld1.64	{q12,q13},[r6,:256]!
811
812	itt	ne
813	subne	r3,r3,r5,lsl#2	@ rewind
814	bne	.LNEON_8n_outer
815
816	add	r7,sp,#128
817	vst1.64	{q2,q3}, [sp,:256]!	@ start wiping stack frame
818	vshr.u64	d10,d12,#16
819	vst1.64	{q2,q3},[sp,:256]!
820	vadd.u64	d13,d13,d10
821	vst1.64	{q2,q3}, [sp,:256]!
822	vshr.u64	d10,d13,#16
823	vst1.64	{q2,q3}, [sp,:256]!
824	vzip.16	d12,d13
825
826	mov	r8,r5
827	b	.LNEON_tail_entry
828
829.align	4
830.LNEON_tail:
831	vadd.u64	d12,d12,d10
832	vshr.u64	d10,d12,#16
833	vld1.64	{q8,q9}, [r6, :256]!
834	vadd.u64	d13,d13,d10
835	vld1.64	{q10,q11}, [r6, :256]!
836	vshr.u64	d10,d13,#16
837	vld1.64	{q12,q13}, [r6, :256]!
838	vzip.16	d12,d13
839
840.LNEON_tail_entry:
841	vadd.u64	d14,d14,d10
842	vst1.32	{d12[0]}, [r7, :32]!
843	vshr.u64	d10,d14,#16
844	vadd.u64	d15,d15,d10
845	vshr.u64	d10,d15,#16
846	vzip.16	d14,d15
847	vadd.u64	d16,d16,d10
848	vst1.32	{d14[0]}, [r7, :32]!
849	vshr.u64	d10,d16,#16
850	vadd.u64	d17,d17,d10
851	vshr.u64	d10,d17,#16
852	vzip.16	d16,d17
853	vadd.u64	d18,d18,d10
854	vst1.32	{d16[0]}, [r7, :32]!
855	vshr.u64	d10,d18,#16
856	vadd.u64	d19,d19,d10
857	vshr.u64	d10,d19,#16
858	vzip.16	d18,d19
859	vadd.u64	d20,d20,d10
860	vst1.32	{d18[0]}, [r7, :32]!
861	vshr.u64	d10,d20,#16
862	vadd.u64	d21,d21,d10
863	vshr.u64	d10,d21,#16
864	vzip.16	d20,d21
865	vadd.u64	d22,d22,d10
866	vst1.32	{d20[0]}, [r7, :32]!
867	vshr.u64	d10,d22,#16
868	vadd.u64	d23,d23,d10
869	vshr.u64	d10,d23,#16
870	vzip.16	d22,d23
871	vadd.u64	d24,d24,d10
872	vst1.32	{d22[0]}, [r7, :32]!
873	vshr.u64	d10,d24,#16
874	vadd.u64	d25,d25,d10
875	vshr.u64	d10,d25,#16
876	vzip.16	d24,d25
877	vadd.u64	d26,d26,d10
878	vst1.32	{d24[0]}, [r7, :32]!
879	vshr.u64	d10,d26,#16
880	vadd.u64	d27,d27,d10
881	vshr.u64	d10,d27,#16
882	vzip.16	d26,d27
883	vld1.64	{q6,q7}, [r6, :256]!
884	subs	r8,r8,#8
885	vst1.32	{d26[0]},   [r7, :32]!
886	bne	.LNEON_tail
887
888	vst1.32	{d10[0]}, [r7, :32]		@ top-most bit
889	sub	r3,r3,r5,lsl#2			@ rewind r3
890	subs	r1,sp,#0				@ clear carry flag
891	add	r2,sp,r5,lsl#2
892
893.LNEON_sub:
894	ldmia	r1!, {r4,r5,r6,r7}
895	ldmia	r3!, {r8,r9,r10,r11}
896	sbcs	r8, r4,r8
897	sbcs	r9, r5,r9
898	sbcs	r10,r6,r10
899	sbcs	r11,r7,r11
900	teq	r1,r2				@ preserves carry
901	stmia	r0!, {r8,r9,r10,r11}
902	bne	.LNEON_sub
903
904	ldr	r10, [r1]				@ load top-most bit
905	mov	r11,sp
906	veor	q0,q0,q0
907	sub	r11,r2,r11				@ this is num*4
908	veor	q1,q1,q1
909	mov	r1,sp
910	sub	r0,r0,r11				@ rewind r0
911	mov	r3,r2				@ second 3/4th of frame
912	sbcs	r10,r10,#0				@ result is carry flag
913
914.LNEON_copy_n_zap:
915	ldmia	r1!, {r4,r5,r6,r7}
916	ldmia	r0,  {r8,r9,r10,r11}
917	it	cc
918	movcc	r8, r4
919	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
920	itt	cc
921	movcc	r9, r5
922	movcc	r10,r6
923	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
924	it	cc
925	movcc	r11,r7
926	ldmia	r1, {r4,r5,r6,r7}
927	stmia	r0!, {r8,r9,r10,r11}
928	sub	r1,r1,#16
929	ldmia	r0, {r8,r9,r10,r11}
930	it	cc
931	movcc	r8, r4
932	vst1.64	{q0,q1}, [r1,:256]!			@ wipe
933	itt	cc
934	movcc	r9, r5
935	movcc	r10,r6
936	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
937	it	cc
938	movcc	r11,r7
939	teq	r1,r2				@ preserves carry
940	stmia	r0!, {r8,r9,r10,r11}
941	bne	.LNEON_copy_n_zap
942
943	mov	sp,ip
944	vldmia	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}
945	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
946	RET						@ bx lr
947.size	bn_mul8x_mont_neon,.-bn_mul8x_mont_neon
948#endif
949.byte	77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
950.align	2
951.align	2
952#if __ARM_MAX_ARCH__>=7
953.comm	OPENSSL_armcap_P,4,4
954#endif
955