1#include "arm_arch.h" 2 3.text 4.code 32 5 6#if __ARM_MAX_ARCH__>=7 7.align 5 8.LOPENSSL_armcap: 9.word OPENSSL_armcap_P-bn_mul_mont 10#endif 11 12.global bn_mul_mont 13.type bn_mul_mont,%function 14 15.align 5 16bn_mul_mont: 17 ldr ip,[sp,#4] @ load num 18 stmdb sp!,{r0,r2} @ sp points at argument block 19#if __ARM_MAX_ARCH__>=7 20 tst ip,#7 21 bne .Lialu 22 adr r0,bn_mul_mont 23 ldr r2,.LOPENSSL_armcap 24 ldr r0,[r0,r2] 25 tst r0,#1 @ NEON available? 26 ldmia sp, {r0,r2} 27 beq .Lialu 28 add sp,sp,#8 29 b bn_mul8x_mont_neon 30.align 4 31.Lialu: 32#endif 33 cmp ip,#2 34 mov r0,ip @ load num 35 movlt r0,#0 36 addlt sp,sp,#2*4 37 blt .Labrt 38 39 stmdb sp!,{r4-r12,lr} @ save 10 registers 40 41 mov r0,r0,lsl#2 @ rescale r0 for byte count 42 sub sp,sp,r0 @ alloca(4*num) 43 sub sp,sp,#4 @ +extra dword 44 sub r0,r0,#4 @ "num=num-1" 45 add r4,r2,r0 @ &bp[num-1] 46 47 add r0,sp,r0 @ r0 to point at &tp[num-1] 48 ldr r8,[r0,#14*4] @ &n0 49 ldr r2,[r2] @ bp[0] 50 ldr r5,[r1],#4 @ ap[0],ap++ 51 ldr r6,[r3],#4 @ np[0],np++ 52 ldr r8,[r8] @ *n0 53 str r4,[r0,#15*4] @ save &bp[num] 54 55 umull r10,r11,r5,r2 @ ap[0]*bp[0] 56 str r8,[r0,#14*4] @ save n0 value 57 mul r8,r10,r8 @ "tp[0]"*n0 58 mov r12,#0 59 umlal r10,r12,r6,r8 @ np[0]*n0+"t[0]" 60 mov r4,sp 61 62.L1st: 63 ldr r5,[r1],#4 @ ap[j],ap++ 64 mov r10,r11 65 ldr r6,[r3],#4 @ np[j],np++ 66 mov r11,#0 67 umlal r10,r11,r5,r2 @ ap[j]*bp[0] 68 mov r14,#0 69 umlal r12,r14,r6,r8 @ np[j]*n0 70 adds r12,r12,r10 71 str r12,[r4],#4 @ tp[j-1]=,tp++ 72 adc r12,r14,#0 73 cmp r4,r0 74 bne .L1st 75 76 adds r12,r12,r11 77 ldr r4,[r0,#13*4] @ restore bp 78 mov r14,#0 79 ldr r8,[r0,#14*4] @ restore n0 80 adc r14,r14,#0 81 str r12,[r0] @ tp[num-1]= 82 str r14,[r0,#4] @ tp[num]= 83 84.Louter: 85 sub r7,r0,sp @ "original" r0-1 value 86 sub r1,r1,r7 @ "rewind" ap to &ap[1] 87 ldr r2,[r4,#4]! @ *(++bp) 88 sub r3,r3,r7 @ "rewind" np to &np[1] 89 ldr r5,[r1,#-4] @ ap[0] 90 ldr r10,[sp] @ tp[0] 91 ldr r6,[r3,#-4] @ np[0] 92 ldr r7,[sp,#4] @ tp[1] 93 94 mov r11,#0 95 umlal r10,r11,r5,r2 @ ap[0]*bp[i]+tp[0] 96 str r4,[r0,#13*4] @ save bp 97 mul r8,r10,r8 98 mov r12,#0 99 umlal r10,r12,r6,r8 @ np[0]*n0+"tp[0]" 100 mov r4,sp 101 102.Linner: 103 ldr r5,[r1],#4 @ ap[j],ap++ 104 adds r10,r11,r7 @ +=tp[j] 105 ldr r6,[r3],#4 @ np[j],np++ 106 mov r11,#0 107 umlal r10,r11,r5,r2 @ ap[j]*bp[i] 108 mov r14,#0 109 umlal r12,r14,r6,r8 @ np[j]*n0 110 adc r11,r11,#0 111 ldr r7,[r4,#8] @ tp[j+1] 112 adds r12,r12,r10 113 str r12,[r4],#4 @ tp[j-1]=,tp++ 114 adc r12,r14,#0 115 cmp r4,r0 116 bne .Linner 117 118 adds r12,r12,r11 119 mov r14,#0 120 ldr r4,[r0,#13*4] @ restore bp 121 adc r14,r14,#0 122 ldr r8,[r0,#14*4] @ restore n0 123 adds r12,r12,r7 124 ldr r7,[r0,#15*4] @ restore &bp[num] 125 adc r14,r14,#0 126 str r12,[r0] @ tp[num-1]= 127 str r14,[r0,#4] @ tp[num]= 128 129 cmp r4,r7 130 bne .Louter 131 132 ldr r2,[r0,#12*4] @ pull rp 133 add r0,r0,#4 @ r0 to point at &tp[num] 134 sub r5,r0,sp @ "original" num value 135 mov r4,sp @ "rewind" r4 136 mov r1,r4 @ "borrow" r1 137 sub r3,r3,r5 @ "rewind" r3 to &np[0] 138 139 subs r7,r7,r7 @ "clear" carry flag 140.Lsub: ldr r7,[r4],#4 141 ldr r6,[r3],#4 142 sbcs r7,r7,r6 @ tp[j]-np[j] 143 str r7,[r2],#4 @ rp[j]= 144 teq r4,r0 @ preserve carry 145 bne .Lsub 146 sbcs r14,r14,#0 @ upmost carry 147 mov r4,sp @ "rewind" r4 148 sub r2,r2,r5 @ "rewind" r2 149 150 and r1,r4,r14 151 bic r3,r2,r14 152 orr r1,r1,r3 @ ap=borrow?tp:rp 153 154.Lcopy: ldr r7,[r1],#4 @ copy or in-place refresh 155 str sp,[r4],#4 @ zap tp 156 str r7,[r2],#4 157 cmp r4,r0 158 bne .Lcopy 159 160 add sp,r0,#4 @ skip over tp[num+1] 161 ldmia sp!,{r4-r12,lr} @ restore registers 162 add sp,sp,#2*4 @ skip over {r0,r2} 163 mov r0,#1 164.Labrt: 165#if __ARM_ARCH__>=5 166 bx lr @ .word 0xe12fff1e 167#else 168 tst lr,#1 169 moveq pc,lr @ be binary compatible with V4, yet 170 .word 0xe12fff1e @ interoperable with Thumb ISA:-) 171#endif 172.size bn_mul_mont,.-bn_mul_mont 173#if __ARM_MAX_ARCH__>=7 174.arch armv7-a 175.fpu neon 176 177.type bn_mul8x_mont_neon,%function 178.align 5 179bn_mul8x_mont_neon: 180 mov ip,sp 181 stmdb sp!,{r4-r11} 182 vstmdb sp!,{d8-d15} @ ABI specification says so 183 ldmia ip,{r4-r5} @ load rest of parameter block 184 185 sub r7,sp,#16 186 vld1.32 {d28[0]}, [r2,:32]! 187 sub r7,r7,r5,lsl#4 188 vld1.32 {d0-d3}, [r1]! @ can't specify :32 :-( 189 and r7,r7,#-64 190 vld1.32 {d30[0]}, [r4,:32] 191 mov sp,r7 @ alloca 192 veor d8,d8,d8 193 subs r8,r5,#8 194 vzip.16 d28,d8 195 196 vmull.u32 q6,d28,d0[0] 197 vmull.u32 q7,d28,d0[1] 198 vmull.u32 q8,d28,d1[0] 199 vshl.i64 d10,d13,#16 200 vmull.u32 q9,d28,d1[1] 201 202 vadd.u64 d10,d10,d12 203 veor d8,d8,d8 204 vmul.u32 d29,d10,d30 205 206 vmull.u32 q10,d28,d2[0] 207 vld1.32 {d4-d7}, [r3]! 208 vmull.u32 q11,d28,d2[1] 209 vmull.u32 q12,d28,d3[0] 210 vzip.16 d29,d8 211 vmull.u32 q13,d28,d3[1] 212 213 bne .LNEON_1st 214 215 @ special case for num=8, everything is in register bank... 216 217 vmlal.u32 q6,d29,d4[0] 218 sub r9,r5,#1 219 vmlal.u32 q7,d29,d4[1] 220 vmlal.u32 q8,d29,d5[0] 221 vmlal.u32 q9,d29,d5[1] 222 223 vmlal.u32 q10,d29,d6[0] 224 vmov q5,q6 225 vmlal.u32 q11,d29,d6[1] 226 vmov q6,q7 227 vmlal.u32 q12,d29,d7[0] 228 vmov q7,q8 229 vmlal.u32 q13,d29,d7[1] 230 vmov q8,q9 231 vmov q9,q10 232 vshr.u64 d10,d10,#16 233 vmov q10,q11 234 vmov q11,q12 235 vadd.u64 d10,d10,d11 236 vmov q12,q13 237 veor q13,q13 238 vshr.u64 d10,d10,#16 239 240 b .LNEON_outer8 241 242.align 4 243.LNEON_outer8: 244 vld1.32 {d28[0]}, [r2,:32]! 245 veor d8,d8,d8 246 vzip.16 d28,d8 247 vadd.u64 d12,d12,d10 248 249 vmlal.u32 q6,d28,d0[0] 250 vmlal.u32 q7,d28,d0[1] 251 vmlal.u32 q8,d28,d1[0] 252 vshl.i64 d10,d13,#16 253 vmlal.u32 q9,d28,d1[1] 254 255 vadd.u64 d10,d10,d12 256 veor d8,d8,d8 257 subs r9,r9,#1 258 vmul.u32 d29,d10,d30 259 260 vmlal.u32 q10,d28,d2[0] 261 vmlal.u32 q11,d28,d2[1] 262 vmlal.u32 q12,d28,d3[0] 263 vzip.16 d29,d8 264 vmlal.u32 q13,d28,d3[1] 265 266 vmlal.u32 q6,d29,d4[0] 267 vmlal.u32 q7,d29,d4[1] 268 vmlal.u32 q8,d29,d5[0] 269 vmlal.u32 q9,d29,d5[1] 270 271 vmlal.u32 q10,d29,d6[0] 272 vmov q5,q6 273 vmlal.u32 q11,d29,d6[1] 274 vmov q6,q7 275 vmlal.u32 q12,d29,d7[0] 276 vmov q7,q8 277 vmlal.u32 q13,d29,d7[1] 278 vmov q8,q9 279 vmov q9,q10 280 vshr.u64 d10,d10,#16 281 vmov q10,q11 282 vmov q11,q12 283 vadd.u64 d10,d10,d11 284 vmov q12,q13 285 veor q13,q13 286 vshr.u64 d10,d10,#16 287 288 bne .LNEON_outer8 289 290 vadd.u64 d12,d12,d10 291 mov r7,sp 292 vshr.u64 d10,d12,#16 293 mov r8,r5 294 vadd.u64 d13,d13,d10 295 add r6,sp,#16 296 vshr.u64 d10,d13,#16 297 vzip.16 d12,d13 298 299 b .LNEON_tail2 300 301.align 4 302.LNEON_1st: 303 vmlal.u32 q6,d29,d4[0] 304 vld1.32 {d0-d3}, [r1]! 305 vmlal.u32 q7,d29,d4[1] 306 subs r8,r8,#8 307 vmlal.u32 q8,d29,d5[0] 308 vmlal.u32 q9,d29,d5[1] 309 310 vmlal.u32 q10,d29,d6[0] 311 vld1.32 {d4-d5}, [r3]! 312 vmlal.u32 q11,d29,d6[1] 313 vst1.64 {q6-q7}, [r7,:256]! 314 vmlal.u32 q12,d29,d7[0] 315 vmlal.u32 q13,d29,d7[1] 316 vst1.64 {q8-q9}, [r7,:256]! 317 318 vmull.u32 q6,d28,d0[0] 319 vld1.32 {d6-d7}, [r3]! 320 vmull.u32 q7,d28,d0[1] 321 vst1.64 {q10-q11}, [r7,:256]! 322 vmull.u32 q8,d28,d1[0] 323 vmull.u32 q9,d28,d1[1] 324 vst1.64 {q12-q13}, [r7,:256]! 325 326 vmull.u32 q10,d28,d2[0] 327 vmull.u32 q11,d28,d2[1] 328 vmull.u32 q12,d28,d3[0] 329 vmull.u32 q13,d28,d3[1] 330 331 bne .LNEON_1st 332 333 vmlal.u32 q6,d29,d4[0] 334 add r6,sp,#16 335 vmlal.u32 q7,d29,d4[1] 336 sub r1,r1,r5,lsl#2 @ rewind r1 337 vmlal.u32 q8,d29,d5[0] 338 vld1.64 {q5}, [sp,:128] 339 vmlal.u32 q9,d29,d5[1] 340 sub r9,r5,#1 341 342 vmlal.u32 q10,d29,d6[0] 343 vst1.64 {q6-q7}, [r7,:256]! 344 vmlal.u32 q11,d29,d6[1] 345 vshr.u64 d10,d10,#16 346 vld1.64 {q6}, [r6, :128]! 347 vmlal.u32 q12,d29,d7[0] 348 vst1.64 {q8-q9}, [r7,:256]! 349 vmlal.u32 q13,d29,d7[1] 350 351 vst1.64 {q10-q11}, [r7,:256]! 352 vadd.u64 d10,d10,d11 353 veor q4,q4,q4 354 vst1.64 {q12-q13}, [r7,:256]! 355 vld1.64 {q7-q8}, [r6, :256]! 356 vst1.64 {q4}, [r7,:128] 357 vshr.u64 d10,d10,#16 358 359 b .LNEON_outer 360 361.align 4 362.LNEON_outer: 363 vld1.32 {d28[0]}, [r2,:32]! 364 sub r3,r3,r5,lsl#2 @ rewind r3 365 vld1.32 {d0-d3}, [r1]! 366 veor d8,d8,d8 367 mov r7,sp 368 vzip.16 d28,d8 369 sub r8,r5,#8 370 vadd.u64 d12,d12,d10 371 372 vmlal.u32 q6,d28,d0[0] 373 vld1.64 {q9-q10},[r6,:256]! 374 vmlal.u32 q7,d28,d0[1] 375 vmlal.u32 q8,d28,d1[0] 376 vld1.64 {q11-q12},[r6,:256]! 377 vmlal.u32 q9,d28,d1[1] 378 379 vshl.i64 d10,d13,#16 380 veor d8,d8,d8 381 vadd.u64 d10,d10,d12 382 vld1.64 {q13},[r6,:128]! 383 vmul.u32 d29,d10,d30 384 385 vmlal.u32 q10,d28,d2[0] 386 vld1.32 {d4-d7}, [r3]! 387 vmlal.u32 q11,d28,d2[1] 388 vmlal.u32 q12,d28,d3[0] 389 vzip.16 d29,d8 390 vmlal.u32 q13,d28,d3[1] 391 392.LNEON_inner: 393 vmlal.u32 q6,d29,d4[0] 394 vld1.32 {d0-d3}, [r1]! 395 vmlal.u32 q7,d29,d4[1] 396 subs r8,r8,#8 397 vmlal.u32 q8,d29,d5[0] 398 vmlal.u32 q9,d29,d5[1] 399 vst1.64 {q6-q7}, [r7,:256]! 400 401 vmlal.u32 q10,d29,d6[0] 402 vld1.64 {q6}, [r6, :128]! 403 vmlal.u32 q11,d29,d6[1] 404 vst1.64 {q8-q9}, [r7,:256]! 405 vmlal.u32 q12,d29,d7[0] 406 vld1.64 {q7-q8}, [r6, :256]! 407 vmlal.u32 q13,d29,d7[1] 408 vst1.64 {q10-q11}, [r7,:256]! 409 410 vmlal.u32 q6,d28,d0[0] 411 vld1.64 {q9-q10}, [r6, :256]! 412 vmlal.u32 q7,d28,d0[1] 413 vst1.64 {q12-q13}, [r7,:256]! 414 vmlal.u32 q8,d28,d1[0] 415 vld1.64 {q11-q12}, [r6, :256]! 416 vmlal.u32 q9,d28,d1[1] 417 vld1.32 {d4-d7}, [r3]! 418 419 vmlal.u32 q10,d28,d2[0] 420 vld1.64 {q13}, [r6, :128]! 421 vmlal.u32 q11,d28,d2[1] 422 vmlal.u32 q12,d28,d3[0] 423 vmlal.u32 q13,d28,d3[1] 424 425 bne .LNEON_inner 426 427 vmlal.u32 q6,d29,d4[0] 428 add r6,sp,#16 429 vmlal.u32 q7,d29,d4[1] 430 sub r1,r1,r5,lsl#2 @ rewind r1 431 vmlal.u32 q8,d29,d5[0] 432 vld1.64 {q5}, [sp,:128] 433 vmlal.u32 q9,d29,d5[1] 434 subs r9,r9,#1 435 436 vmlal.u32 q10,d29,d6[0] 437 vst1.64 {q6-q7}, [r7,:256]! 438 vmlal.u32 q11,d29,d6[1] 439 vld1.64 {q6}, [r6, :128]! 440 vshr.u64 d10,d10,#16 441 vst1.64 {q8-q9}, [r7,:256]! 442 vmlal.u32 q12,d29,d7[0] 443 vld1.64 {q7-q8}, [r6, :256]! 444 vmlal.u32 q13,d29,d7[1] 445 446 vst1.64 {q10-q11}, [r7,:256]! 447 vadd.u64 d10,d10,d11 448 vst1.64 {q12-q13}, [r7,:256]! 449 vshr.u64 d10,d10,#16 450 451 bne .LNEON_outer 452 453 mov r7,sp 454 mov r8,r5 455 456.LNEON_tail: 457 vadd.u64 d12,d12,d10 458 vld1.64 {q9-q10}, [r6, :256]! 459 vshr.u64 d10,d12,#16 460 vadd.u64 d13,d13,d10 461 vld1.64 {q11-q12}, [r6, :256]! 462 vshr.u64 d10,d13,#16 463 vld1.64 {q13}, [r6, :128]! 464 vzip.16 d12,d13 465 466.LNEON_tail2: 467 vadd.u64 d14,d14,d10 468 vst1.32 {d12[0]}, [r7, :32]! 469 vshr.u64 d10,d14,#16 470 vadd.u64 d15,d15,d10 471 vshr.u64 d10,d15,#16 472 vzip.16 d14,d15 473 474 vadd.u64 d16,d16,d10 475 vst1.32 {d14[0]}, [r7, :32]! 476 vshr.u64 d10,d16,#16 477 vadd.u64 d17,d17,d10 478 vshr.u64 d10,d17,#16 479 vzip.16 d16,d17 480 481 vadd.u64 d18,d18,d10 482 vst1.32 {d16[0]}, [r7, :32]! 483 vshr.u64 d10,d18,#16 484 vadd.u64 d19,d19,d10 485 vshr.u64 d10,d19,#16 486 vzip.16 d18,d19 487 488 vadd.u64 d20,d20,d10 489 vst1.32 {d18[0]}, [r7, :32]! 490 vshr.u64 d10,d20,#16 491 vadd.u64 d21,d21,d10 492 vshr.u64 d10,d21,#16 493 vzip.16 d20,d21 494 495 vadd.u64 d22,d22,d10 496 vst1.32 {d20[0]}, [r7, :32]! 497 vshr.u64 d10,d22,#16 498 vadd.u64 d23,d23,d10 499 vshr.u64 d10,d23,#16 500 vzip.16 d22,d23 501 502 vadd.u64 d24,d24,d10 503 vst1.32 {d22[0]}, [r7, :32]! 504 vshr.u64 d10,d24,#16 505 vadd.u64 d25,d25,d10 506 vld1.64 {q6}, [r6, :128]! 507 vshr.u64 d10,d25,#16 508 vzip.16 d24,d25 509 510 vadd.u64 d26,d26,d10 511 vst1.32 {d24[0]}, [r7, :32]! 512 vshr.u64 d10,d26,#16 513 vadd.u64 d27,d27,d10 514 vld1.64 {q7-q8}, [r6, :256]! 515 vshr.u64 d10,d27,#16 516 vzip.16 d26,d27 517 subs r8,r8,#8 518 vst1.32 {d26[0]}, [r7, :32]! 519 520 bne .LNEON_tail 521 522 vst1.32 {d10[0]}, [r7, :32] @ top-most bit 523 sub r3,r3,r5,lsl#2 @ rewind r3 524 subs r1,sp,#0 @ clear carry flag 525 add r2,sp,r5,lsl#2 526 527.LNEON_sub: 528 ldmia r1!, {r4-r7} 529 ldmia r3!, {r8-r11} 530 sbcs r8, r4,r8 531 sbcs r9, r5,r9 532 sbcs r10,r6,r10 533 sbcs r11,r7,r11 534 teq r1,r2 @ preserves carry 535 stmia r0!, {r8-r11} 536 bne .LNEON_sub 537 538 ldr r10, [r1] @ load top-most bit 539 veor q0,q0,q0 540 sub r11,r2,sp @ this is num*4 541 veor q1,q1,q1 542 mov r1,sp 543 sub r0,r0,r11 @ rewind r0 544 mov r3,r2 @ second 3/4th of frame 545 sbcs r10,r10,#0 @ result is carry flag 546 547.LNEON_copy_n_zap: 548 ldmia r1!, {r4-r7} 549 ldmia r0, {r8-r11} 550 movcc r8, r4 551 vst1.64 {q0-q1}, [r3,:256]! @ wipe 552 movcc r9, r5 553 movcc r10,r6 554 vst1.64 {q0-q1}, [r3,:256]! @ wipe 555 movcc r11,r7 556 ldmia r1, {r4-r7} 557 stmia r0!, {r8-r11} 558 sub r1,r1,#16 559 ldmia r0, {r8-r11} 560 movcc r8, r4 561 vst1.64 {q0-q1}, [r1,:256]! @ wipe 562 movcc r9, r5 563 movcc r10,r6 564 vst1.64 {q0-q1}, [r3,:256]! @ wipe 565 movcc r11,r7 566 teq r1,r2 @ preserves carry 567 stmia r0!, {r8-r11} 568 bne .LNEON_copy_n_zap 569 570 sub sp,ip,#96 571 vldmia sp!,{d8-d15} 572 ldmia sp!,{r4-r11} 573 bx lr @ .word 0xe12fff1e 574.size bn_mul8x_mont_neon,.-bn_mul8x_mont_neon 575#endif 576.asciz "Montgomery multiplication for ARMv4/NEON, CRYPTOGAMS by <appro@openssl.org>" 577.align 2 578#if __ARM_MAX_ARCH__>=7 579.comm OPENSSL_armcap_P,4,4 580#endif 581