armv4-mont.S revision 305153
1/* $FreeBSD: stable/11/secure/lib/libcrypto/arm/armv4-mont.S 305153 2016-08-31 20:33:59Z jkim $ */ 2/* Do not modify. This file is auto-generated from armv4-mont.pl. */ 3#include "arm_arch.h" 4 5.text 6.code 32 7 8#if __ARM_MAX_ARCH__>=7 9.align 5 10.LOPENSSL_armcap: 11.word OPENSSL_armcap_P-bn_mul_mont 12#endif 13 14.global bn_mul_mont 15.type bn_mul_mont,%function 16 17.align 5 18bn_mul_mont: 19 ldr ip,[sp,#4] @ load num 20 stmdb sp!,{r0,r2} @ sp points at argument block 21#if __ARM_MAX_ARCH__>=7 22 tst ip,#7 23 bne .Lialu 24 adr r0,bn_mul_mont 25 ldr r2,.LOPENSSL_armcap 26 ldr r0,[r0,r2] 27 tst r0,#1 @ NEON available? 28 ldmia sp, {r0,r2} 29 beq .Lialu 30 add sp,sp,#8 31 b bn_mul8x_mont_neon 32.align 4 33.Lialu: 34#endif 35 cmp ip,#2 36 mov r0,ip @ load num 37 movlt r0,#0 38 addlt sp,sp,#2*4 39 blt .Labrt 40 41 stmdb sp!,{r4-r12,lr} @ save 10 registers 42 43 mov r0,r0,lsl#2 @ rescale r0 for byte count 44 sub sp,sp,r0 @ alloca(4*num) 45 sub sp,sp,#4 @ +extra dword 46 sub r0,r0,#4 @ "num=num-1" 47 add r4,r2,r0 @ &bp[num-1] 48 49 add r0,sp,r0 @ r0 to point at &tp[num-1] 50 ldr r8,[r0,#14*4] @ &n0 51 ldr r2,[r2] @ bp[0] 52 ldr r5,[r1],#4 @ ap[0],ap++ 53 ldr r6,[r3],#4 @ np[0],np++ 54 ldr r8,[r8] @ *n0 55 str r4,[r0,#15*4] @ save &bp[num] 56 57 umull r10,r11,r5,r2 @ ap[0]*bp[0] 58 str r8,[r0,#14*4] @ save n0 value 59 mul r8,r10,r8 @ "tp[0]"*n0 60 mov r12,#0 61 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 62 mov r4,sp 63 64.L1st: 65 ldr r5,[r1],#4 @ ap[j],ap++ 66 mov r10,r11 67 ldr r6,[r3],#4 @ np[j],np++ 68 mov r11,#0 69 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 70 mov r14,#0 71 umlal r12,r14,r6,r8 @ np[j]*n0 72 adds r12,r12,r10 73 str r12,[r4],#4 @ tp[j-1]=,tp++ 74 adc r12,r14,#0 75 cmp r4,r0 76 bne .L1st 77 78 adds r12,r12,r11 79 ldr r4,[r0,#13*4] @ restore bp 80 mov r14,#0 81 ldr r8,[r0,#14*4] @ restore n0 82 adc r14,r14,#0 83 str r12,[r0] @ tp[num-1]= 84 str r14,[r0,#4] @ tp[num]= 85 86.Louter: 87 sub r7,r0,sp @ "original" r0-1 value 88 sub r1,r1,r7 @ "rewind" ap to &ap[1] 89 ldr r2,[r4,#4]! @ *(++bp) 90 sub r3,r3,r7 @ "rewind" np to &np[1] 91 ldr r5,[r1,#-4] @ ap[0] 92 ldr r10,[sp] @ tp[0] 93 ldr r6,[r3,#-4] @ np[0] 94 ldr r7,[sp,#4] @ tp[1] 95 96 mov r11,#0 97 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 98 str r4,[r0,#13*4] @ save bp 99 mul r8,r10,r8 100 mov r12,#0 101 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 102 mov r4,sp 103 104.Linner: 105 ldr r5,[r1],#4 @ ap[j],ap++ 106 adds r10,r11,r7 @ +=tp[j] 107 ldr r6,[r3],#4 @ np[j],np++ 108 mov r11,#0 109 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 110 mov r14,#0 111 umlal r12,r14,r6,r8 @ np[j]*n0 112 adc r11,r11,#0 113 ldr r7,[r4,#8] @ tp[j+1] 114 adds r12,r12,r10 115 str r12,[r4],#4 @ tp[j-1]=,tp++ 116 adc r12,r14,#0 117 cmp r4,r0 118 bne .Linner 119 120 adds r12,r12,r11 121 mov r14,#0 122 ldr r4,[r0,#13*4] @ restore bp 123 adc r14,r14,#0 124 ldr r8,[r0,#14*4] @ restore n0 125 adds r12,r12,r7 126 ldr r7,[r0,#15*4] @ restore &bp[num] 127 adc r14,r14,#0 128 str r12,[r0] @ tp[num-1]= 129 str r14,[r0,#4] @ tp[num]= 130 131 cmp r4,r7 132 bne .Louter 133 134 ldr r2,[r0,#12*4] @ pull rp 135 add r0,r0,#4 @ r0 to point at &tp[num] 136 sub r5,r0,sp @ "original" num value 137 mov r4,sp @ "rewind" r4 138 mov r1,r4 @ "borrow" r1 139 sub r3,r3,r5 @ "rewind" r3 to &np[0] 140 141 subs r7,r7,r7 @ "clear" carry flag 142.Lsub: ldr r7,[r4],#4 143 ldr r6,[r3],#4 144 sbcs r7,r7,r6 @ tp[j]-np[j] 145 str r7,[r2],#4 @ rp[j]= 146 teq r4,r0 @ preserve carry 147 bne .Lsub 148 sbcs r14,r14,#0 @ upmost carry 149 mov r4,sp @ "rewind" r4 150 sub r2,r2,r5 @ "rewind" r2 151 152 and r1,r4,r14 153 bic r3,r2,r14 154 orr r1,r1,r3 @ ap=borrow?tp:rp 155 156.Lcopy: ldr r7,[r1],#4 @ copy or in-place refresh 157 str sp,[r4],#4 @ zap tp 158 str r7,[r2],#4 159 cmp r4,r0 160 bne .Lcopy 161 162 add sp,r0,#4 @ skip over tp[num+1] 163 ldmia sp!,{r4-r12,lr} @ restore registers 164 add sp,sp,#2*4 @ skip over {r0,r2} 165 mov r0,#1 166.Labrt: 167#if __ARM_ARCH__>=5 168 bx lr @ .word 0xe12fff1e 169#else 170 tst lr,#1 171 moveq pc,lr @ be binary compatible with V4, yet 172 .word 0xe12fff1e @ interoperable with Thumb ISA:-) 173#endif 174.size bn_mul_mont,.-bn_mul_mont 175#if __ARM_MAX_ARCH__>=7 176.arch armv7-a 177.fpu neon 178 179.type bn_mul8x_mont_neon,%function 180.align 5 181bn_mul8x_mont_neon: 182 mov ip,sp 183 stmdb sp!,{r4-r11} 184 vstmdb sp!,{d8-d15} @ ABI specification says so 185 ldmia ip,{r4-r5} @ load rest of parameter block 186 187 sub r7,sp,#16 188 vld1.32 {d28[0]}, [r2,:32]! 189 sub r7,r7,r5,lsl#4 190 vld1.32 {d0-d3}, [r1]! @ can't specify :32 :-( 191 and r7,r7,#-64 192 vld1.32 {d30[0]}, [r4,:32] 193 mov sp,r7 @ alloca 194 veor d8,d8,d8 195 subs r8,r5,#8 196 vzip.16 d28,d8 197 198 vmull.u32 q6,d28,d0[0] 199 vmull.u32 q7,d28,d0[1] 200 vmull.u32 q8,d28,d1[0] 201 vshl.i64 d10,d13,#16 202 vmull.u32 q9,d28,d1[1] 203 204 vadd.u64 d10,d10,d12 205 veor d8,d8,d8 206 vmul.u32 d29,d10,d30 207 208 vmull.u32 q10,d28,d2[0] 209 vld1.32 {d4-d7}, [r3]! 210 vmull.u32 q11,d28,d2[1] 211 vmull.u32 q12,d28,d3[0] 212 vzip.16 d29,d8 213 vmull.u32 q13,d28,d3[1] 214 215 bne .LNEON_1st 216 217 @ special case for num=8, everything is in register bank... 218 219 vmlal.u32 q6,d29,d4[0] 220 sub r9,r5,#1 221 vmlal.u32 q7,d29,d4[1] 222 vmlal.u32 q8,d29,d5[0] 223 vmlal.u32 q9,d29,d5[1] 224 225 vmlal.u32 q10,d29,d6[0] 226 vmov q5,q6 227 vmlal.u32 q11,d29,d6[1] 228 vmov q6,q7 229 vmlal.u32 q12,d29,d7[0] 230 vmov q7,q8 231 vmlal.u32 q13,d29,d7[1] 232 vmov q8,q9 233 vmov q9,q10 234 vshr.u64 d10,d10,#16 235 vmov q10,q11 236 vmov q11,q12 237 vadd.u64 d10,d10,d11 238 vmov q12,q13 239 veor q13,q13 240 vshr.u64 d10,d10,#16 241 242 b .LNEON_outer8 243 244.align 4 245.LNEON_outer8: 246 vld1.32 {d28[0]}, [r2,:32]! 247 veor d8,d8,d8 248 vzip.16 d28,d8 249 vadd.u64 d12,d12,d10 250 251 vmlal.u32 q6,d28,d0[0] 252 vmlal.u32 q7,d28,d0[1] 253 vmlal.u32 q8,d28,d1[0] 254 vshl.i64 d10,d13,#16 255 vmlal.u32 q9,d28,d1[1] 256 257 vadd.u64 d10,d10,d12 258 veor d8,d8,d8 259 subs r9,r9,#1 260 vmul.u32 d29,d10,d30 261 262 vmlal.u32 q10,d28,d2[0] 263 vmlal.u32 q11,d28,d2[1] 264 vmlal.u32 q12,d28,d3[0] 265 vzip.16 d29,d8 266 vmlal.u32 q13,d28,d3[1] 267 268 vmlal.u32 q6,d29,d4[0] 269 vmlal.u32 q7,d29,d4[1] 270 vmlal.u32 q8,d29,d5[0] 271 vmlal.u32 q9,d29,d5[1] 272 273 vmlal.u32 q10,d29,d6[0] 274 vmov q5,q6 275 vmlal.u32 q11,d29,d6[1] 276 vmov q6,q7 277 vmlal.u32 q12,d29,d7[0] 278 vmov q7,q8 279 vmlal.u32 q13,d29,d7[1] 280 vmov q8,q9 281 vmov q9,q10 282 vshr.u64 d10,d10,#16 283 vmov q10,q11 284 vmov q11,q12 285 vadd.u64 d10,d10,d11 286 vmov q12,q13 287 veor q13,q13 288 vshr.u64 d10,d10,#16 289 290 bne .LNEON_outer8 291 292 vadd.u64 d12,d12,d10 293 mov r7,sp 294 vshr.u64 d10,d12,#16 295 mov r8,r5 296 vadd.u64 d13,d13,d10 297 add r6,sp,#16 298 vshr.u64 d10,d13,#16 299 vzip.16 d12,d13 300 301 b .LNEON_tail2 302 303.align 4 304.LNEON_1st: 305 vmlal.u32 q6,d29,d4[0] 306 vld1.32 {d0-d3}, [r1]! 307 vmlal.u32 q7,d29,d4[1] 308 subs r8,r8,#8 309 vmlal.u32 q8,d29,d5[0] 310 vmlal.u32 q9,d29,d5[1] 311 312 vmlal.u32 q10,d29,d6[0] 313 vld1.32 {d4-d5}, [r3]! 314 vmlal.u32 q11,d29,d6[1] 315 vst1.64 {q6-q7}, [r7,:256]! 316 vmlal.u32 q12,d29,d7[0] 317 vmlal.u32 q13,d29,d7[1] 318 vst1.64 {q8-q9}, [r7,:256]! 319 320 vmull.u32 q6,d28,d0[0] 321 vld1.32 {d6-d7}, [r3]! 322 vmull.u32 q7,d28,d0[1] 323 vst1.64 {q10-q11}, [r7,:256]! 324 vmull.u32 q8,d28,d1[0] 325 vmull.u32 q9,d28,d1[1] 326 vst1.64 {q12-q13}, [r7,:256]! 327 328 vmull.u32 q10,d28,d2[0] 329 vmull.u32 q11,d28,d2[1] 330 vmull.u32 q12,d28,d3[0] 331 vmull.u32 q13,d28,d3[1] 332 333 bne .LNEON_1st 334 335 vmlal.u32 q6,d29,d4[0] 336 add r6,sp,#16 337 vmlal.u32 q7,d29,d4[1] 338 sub r1,r1,r5,lsl#2 @ rewind r1 339 vmlal.u32 q8,d29,d5[0] 340 vld1.64 {q5}, [sp,:128] 341 vmlal.u32 q9,d29,d5[1] 342 sub r9,r5,#1 343 344 vmlal.u32 q10,d29,d6[0] 345 vst1.64 {q6-q7}, [r7,:256]! 346 vmlal.u32 q11,d29,d6[1] 347 vshr.u64 d10,d10,#16 348 vld1.64 {q6}, [r6, :128]! 349 vmlal.u32 q12,d29,d7[0] 350 vst1.64 {q8-q9}, [r7,:256]! 351 vmlal.u32 q13,d29,d7[1] 352 353 vst1.64 {q10-q11}, [r7,:256]! 354 vadd.u64 d10,d10,d11 355 veor q4,q4,q4 356 vst1.64 {q12-q13}, [r7,:256]! 357 vld1.64 {q7-q8}, [r6, :256]! 358 vst1.64 {q4}, [r7,:128] 359 vshr.u64 d10,d10,#16 360 361 b .LNEON_outer 362 363.align 4 364.LNEON_outer: 365 vld1.32 {d28[0]}, [r2,:32]! 366 sub r3,r3,r5,lsl#2 @ rewind r3 367 vld1.32 {d0-d3}, [r1]! 368 veor d8,d8,d8 369 mov r7,sp 370 vzip.16 d28,d8 371 sub r8,r5,#8 372 vadd.u64 d12,d12,d10 373 374 vmlal.u32 q6,d28,d0[0] 375 vld1.64 {q9-q10},[r6,:256]! 376 vmlal.u32 q7,d28,d0[1] 377 vmlal.u32 q8,d28,d1[0] 378 vld1.64 {q11-q12},[r6,:256]! 379 vmlal.u32 q9,d28,d1[1] 380 381 vshl.i64 d10,d13,#16 382 veor d8,d8,d8 383 vadd.u64 d10,d10,d12 384 vld1.64 {q13},[r6,:128]! 385 vmul.u32 d29,d10,d30 386 387 vmlal.u32 q10,d28,d2[0] 388 vld1.32 {d4-d7}, [r3]! 389 vmlal.u32 q11,d28,d2[1] 390 vmlal.u32 q12,d28,d3[0] 391 vzip.16 d29,d8 392 vmlal.u32 q13,d28,d3[1] 393 394.LNEON_inner: 395 vmlal.u32 q6,d29,d4[0] 396 vld1.32 {d0-d3}, [r1]! 397 vmlal.u32 q7,d29,d4[1] 398 subs r8,r8,#8 399 vmlal.u32 q8,d29,d5[0] 400 vmlal.u32 q9,d29,d5[1] 401 vst1.64 {q6-q7}, [r7,:256]! 402 403 vmlal.u32 q10,d29,d6[0] 404 vld1.64 {q6}, [r6, :128]! 405 vmlal.u32 q11,d29,d6[1] 406 vst1.64 {q8-q9}, [r7,:256]! 407 vmlal.u32 q12,d29,d7[0] 408 vld1.64 {q7-q8}, [r6, :256]! 409 vmlal.u32 q13,d29,d7[1] 410 vst1.64 {q10-q11}, [r7,:256]! 411 412 vmlal.u32 q6,d28,d0[0] 413 vld1.64 {q9-q10}, [r6, :256]! 414 vmlal.u32 q7,d28,d0[1] 415 vst1.64 {q12-q13}, [r7,:256]! 416 vmlal.u32 q8,d28,d1[0] 417 vld1.64 {q11-q12}, [r6, :256]! 418 vmlal.u32 q9,d28,d1[1] 419 vld1.32 {d4-d7}, [r3]! 420 421 vmlal.u32 q10,d28,d2[0] 422 vld1.64 {q13}, [r6, :128]! 423 vmlal.u32 q11,d28,d2[1] 424 vmlal.u32 q12,d28,d3[0] 425 vmlal.u32 q13,d28,d3[1] 426 427 bne .LNEON_inner 428 429 vmlal.u32 q6,d29,d4[0] 430 add r6,sp,#16 431 vmlal.u32 q7,d29,d4[1] 432 sub r1,r1,r5,lsl#2 @ rewind r1 433 vmlal.u32 q8,d29,d5[0] 434 vld1.64 {q5}, [sp,:128] 435 vmlal.u32 q9,d29,d5[1] 436 subs r9,r9,#1 437 438 vmlal.u32 q10,d29,d6[0] 439 vst1.64 {q6-q7}, [r7,:256]! 440 vmlal.u32 q11,d29,d6[1] 441 vld1.64 {q6}, [r6, :128]! 442 vshr.u64 d10,d10,#16 443 vst1.64 {q8-q9}, [r7,:256]! 444 vmlal.u32 q12,d29,d7[0] 445 vld1.64 {q7-q8}, [r6, :256]! 446 vmlal.u32 q13,d29,d7[1] 447 448 vst1.64 {q10-q11}, [r7,:256]! 449 vadd.u64 d10,d10,d11 450 vst1.64 {q12-q13}, [r7,:256]! 451 vshr.u64 d10,d10,#16 452 453 bne .LNEON_outer 454 455 mov r7,sp 456 mov r8,r5 457 458.LNEON_tail: 459 vadd.u64 d12,d12,d10 460 vld1.64 {q9-q10}, [r6, :256]! 461 vshr.u64 d10,d12,#16 462 vadd.u64 d13,d13,d10 463 vld1.64 {q11-q12}, [r6, :256]! 464 vshr.u64 d10,d13,#16 465 vld1.64 {q13}, [r6, :128]! 466 vzip.16 d12,d13 467 468.LNEON_tail2: 469 vadd.u64 d14,d14,d10 470 vst1.32 {d12[0]}, [r7, :32]! 471 vshr.u64 d10,d14,#16 472 vadd.u64 d15,d15,d10 473 vshr.u64 d10,d15,#16 474 vzip.16 d14,d15 475 476 vadd.u64 d16,d16,d10 477 vst1.32 {d14[0]}, [r7, :32]! 478 vshr.u64 d10,d16,#16 479 vadd.u64 d17,d17,d10 480 vshr.u64 d10,d17,#16 481 vzip.16 d16,d17 482 483 vadd.u64 d18,d18,d10 484 vst1.32 {d16[0]}, [r7, :32]! 485 vshr.u64 d10,d18,#16 486 vadd.u64 d19,d19,d10 487 vshr.u64 d10,d19,#16 488 vzip.16 d18,d19 489 490 vadd.u64 d20,d20,d10 491 vst1.32 {d18[0]}, [r7, :32]! 492 vshr.u64 d10,d20,#16 493 vadd.u64 d21,d21,d10 494 vshr.u64 d10,d21,#16 495 vzip.16 d20,d21 496 497 vadd.u64 d22,d22,d10 498 vst1.32 {d20[0]}, [r7, :32]! 499 vshr.u64 d10,d22,#16 500 vadd.u64 d23,d23,d10 501 vshr.u64 d10,d23,#16 502 vzip.16 d22,d23 503 504 vadd.u64 d24,d24,d10 505 vst1.32 {d22[0]}, [r7, :32]! 506 vshr.u64 d10,d24,#16 507 vadd.u64 d25,d25,d10 508 vld1.64 {q6}, [r6, :128]! 509 vshr.u64 d10,d25,#16 510 vzip.16 d24,d25 511 512 vadd.u64 d26,d26,d10 513 vst1.32 {d24[0]}, [r7, :32]! 514 vshr.u64 d10,d26,#16 515 vadd.u64 d27,d27,d10 516 vld1.64 {q7-q8}, [r6, :256]! 517 vshr.u64 d10,d27,#16 518 vzip.16 d26,d27 519 subs r8,r8,#8 520 vst1.32 {d26[0]}, [r7, :32]! 521 522 bne .LNEON_tail 523 524 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 525 sub r3,r3,r5,lsl#2 @ rewind r3 526 subs r1,sp,#0 @ clear carry flag 527 add r2,sp,r5,lsl#2 528 529.LNEON_sub: 530 ldmia r1!, {r4-r7} 531 ldmia r3!, {r8-r11} 532 sbcs r8, r4,r8 533 sbcs r9, r5,r9 534 sbcs r10,r6,r10 535 sbcs r11,r7,r11 536 teq r1,r2 @ preserves carry 537 stmia r0!, {r8-r11} 538 bne .LNEON_sub 539 540 ldr r10, [r1] @ load top-most bit 541 veor q0,q0,q0 542 sub r11,r2,sp @ this is num*4 543 veor q1,q1,q1 544 mov r1,sp 545 sub r0,r0,r11 @ rewind r0 546 mov r3,r2 @ second 3/4th of frame 547 sbcs r10,r10,#0 @ result is carry flag 548 549.LNEON_copy_n_zap: 550 ldmia r1!, {r4-r7} 551 ldmia r0, {r8-r11} 552 movcc r8, r4 553 vst1.64 {q0-q1}, [r3,:256]! @ wipe 554 movcc r9, r5 555 movcc r10,r6 556 vst1.64 {q0-q1}, [r3,:256]! @ wipe 557 movcc r11,r7 558 ldmia r1, {r4-r7} 559 stmia r0!, {r8-r11} 560 sub r1,r1,#16 561 ldmia r0, {r8-r11} 562 movcc r8, r4 563 vst1.64 {q0-q1}, [r1,:256]! @ wipe 564 movcc r9, r5 565 movcc r10,r6 566 vst1.64 {q0-q1}, [r3,:256]! @ wipe 567 movcc r11,r7 568 teq r1,r2 @ preserves carry 569 stmia r0!, {r8-r11} 570 bne .LNEON_copy_n_zap 571 572 sub sp,ip,#96 573 vldmia sp!,{d8-d15} 574 ldmia sp!,{r4-r11} 575 bx lr @ .word 0xe12fff1e 576.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 577#endif 578.asciz "Montgomery multiplication for ARMv4/NEON, CRYPTOGAMS by <appro@openssl.org>" 579.align 2 580#if __ARM_MAX_ARCH__>=7 581.comm OPENSSL_armcap_P,4,4 582#endif 583