bn/asm/s390x.S

329 #define c1	%r1
333 #define mul_add_c(ai,bi,c1,c2,c3)	\
336 	algr	c1,%r7;			\
347 	lghi	c1,0
352 	mul_add_c(0,0,c1,c2,c3);
353 	stg	c1,0*8(%r2)
354 	lghi	c1,0
356 	mul_add_c(0,1,c2,c3,c1);
357 	mul_add_c(1,0,c2,c3,c1);
361 	mul_add_c(2,0,c3,c1,c2);
362 	mul_add_c(1,1,c3,c1,c2);
363 	mul_add_c(0,2,c3,c1,c2);
367 	mul_add_c(0,3,c1,c2,c3);
368 	mul_add_c(1,2,c1,c2,c3);
369 	mul_add_c(2,1,c1,c2,c3);
370 	mul_add_c(3,0,c1,c2,c3);
371 	stg	c1,3*8(%r2)
372 	lghi	c1,0
374 	mul_add_c(4,0,c2,c3,c1);
375 	mul_add_c(3,1,c2,c3,c1);
376 	mul_add_c(2,2,c2,c3,c1);
377 	mul_add_c(1,3,c2,c3,c1);
378 	mul_add_c(0,4,c2,c3,c1);
382 	mul_add_c(0,5,c3,c1,c2);
383 	mul_add_c(1,4,c3,c1,c2);
384 	mul_add_c(2,3,c3,c1,c2);
385 	mul_add_c(3,2,c3,c1,c2);
386 	mul_add_c(4,1,c3,c1,c2);
387 	mul_add_c(5,0,c3,c1,c2);
391 	mul_add_c(6,0,c1,c2,c3);
392 	mul_add_c(5,1,c1,c2,c3);
393 	mul_add_c(4,2,c1,c2,c3);
394 	mul_add_c(3,3,c1,c2,c3);
395 	mul_add_c(2,4,c1,c2,c3);
396 	mul_add_c(1,5,c1,c2,c3);
397 	mul_add_c(0,6,c1,c2,c3);
398 	stg	c1,6*8(%r2)
399 	lghi	c1,0
401 	mul_add_c(0,7,c2,c3,c1);
402 	mul_add_c(1,6,c2,c3,c1);
403 	mul_add_c(2,5,c2,c3,c1);
404 	mul_add_c(3,4,c2,c3,c1);
405 	mul_add_c(4,3,c2,c3,c1);
406 	mul_add_c(5,2,c2,c3,c1);
407 	mul_add_c(6,1,c2,c3,c1);
408 	mul_add_c(7,0,c2,c3,c1);
412 	mul_add_c(7,1,c3,c1,c2);
413 	mul_add_c(6,2,c3,c1,c2);
414 	mul_add_c(5,3,c3,c1,c2);
415 	mul_add_c(4,4,c3,c1,c2);
416 	mul_add_c(3,5,c3,c1,c2);
417 	mul_add_c(2,6,c3,c1,c2);
418 	mul_add_c(1,7,c3,c1,c2);
422 	mul_add_c(2,7,c1,c2,c3);
423 	mul_add_c(3,6,c1,c2,c3);
424 	mul_add_c(4,5,c1,c2,c3);
425 	mul_add_c(5,4,c1,c2,c3);
426 	mul_add_c(6,3,c1,c2,c3);
427 	mul_add_c(7,2,c1,c2,c3);
428 	stg	c1,9*8(%r2)
429 	lghi	c1,0
431 	mul_add_c(7,3,c2,c3,c1);
432 	mul_add_c(6,4,c2,c3,c1);
433 	mul_add_c(5,5,c2,c3,c1);
434 	mul_add_c(4,6,c2,c3,c1);
435 	mul_add_c(3,7,c2,c3,c1);
439 	mul_add_c(4,7,c3,c1,c2);
440 	mul_add_c(5,6,c3,c1,c2);
441 	mul_add_c(6,5,c3,c1,c2);
442 	mul_add_c(7,4,c3,c1,c2);
446 	mul_add_c(7,5,c1,c2,c3);
447 	mul_add_c(6,6,c1,c2,c3);
448 	mul_add_c(5,7,c1,c2,c3);
449 	stg	c1,12*8(%r2)
450 	lghi	c1,0
453 	mul_add_c(6,7,c2,c3,c1);
454 	mul_add_c(7,6,c2,c3,c1);
458 	mul_add_c(7,7,c3,c1,c2);
460 	stg	c1,15*8(%r2)
473 	lghi	c1,0
478 	mul_add_c(0,0,c1,c2,c3);
479 	stg	c1,0*8(%r3)
480 	lghi	c1,0
482 	mul_add_c(0,1,c2,c3,c1);
483 	mul_add_c(1,0,c2,c3,c1);
487 	mul_add_c(2,0,c3,c1,c2);
488 	mul_add_c(1,1,c3,c1,c2);
489 	mul_add_c(0,2,c3,c1,c2);
493 	mul_add_c(0,3,c1,c2,c3);
494 	mul_add_c(1,2,c1,c2,c3);
495 	mul_add_c(2,1,c1,c2,c3);
496 	mul_add_c(3,0,c1,c2,c3);
497 	stg	c1,3*8(%r2)
498 	lghi	c1,0
500 	mul_add_c(3,1,c2,c3,c1);
501 	mul_add_c(2,2,c2,c3,c1);
502 	mul_add_c(1,3,c2,c3,c1);
506 	mul_add_c(2,3,c3,c1,c2);
507 	mul_add_c(3,2,c3,c1,c2);
511 	mul_add_c(3,3,c1,c2,c3);
512 	stg	c1,6*8(%r2)
519 #define sqr_add_c(ai,c1,c2,c3)		\
522 	algr	c1,%r7;			\
526 #define sqr_add_c2(ai,aj,c1,c2,c3)	\
529 	algr	c1,%r7;			\
532 	algr	c1,%r7;			\
543 	lghi	c1,0
548 	sqr_add_c(0,c1,c2,c3);
549 	stg	c1,0*8(%r2)
550 	lghi	c1,0
552 	sqr_add_c2(1,0,c2,c3,c1);
556 	sqr_add_c(1,c3,c1,c2);
557 	sqr_add_c2(2,0,c3,c1,c2);
561 	sqr_add_c2(3,0,c1,c2,c3);
562 	sqr_add_c2(2,1,c1,c2,c3);
563 	stg	c1,3*8(%r2)
564 	lghi	c1,0
566 	sqr_add_c(2,c2,c3,c1);
567 	sqr_add_c2(3,1,c2,c3,c1);
568 	sqr_add_c2(4,0,c2,c3,c1);
572 	sqr_add_c2(5,0,c3,c1,c2);
573 	sqr_add_c2(4,1,c3,c1,c2);
574 	sqr_add_c2(3,2,c3,c1,c2);
578 	sqr_add_c(3,c1,c2,c3);
579 	sqr_add_c2(4,2,c1,c2,c3);
580 	sqr_add_c2(5,1,c1,c2,c3);
581 	sqr_add_c2(6,0,c1,c2,c3);
582 	stg	c1,6*8(%r2)
583 	lghi	c1,0
585 	sqr_add_c2(7,0,c2,c3,c1);
586 	sqr_add_c2(6,1,c2,c3,c1);
587 	sqr_add_c2(5,2,c2,c3,c1);
588 	sqr_add_c2(4,3,c2,c3,c1);
592 	sqr_add_c(4,c3,c1,c2);
593 	sqr_add_c2(5,3,c3,c1,c2);
594 	sqr_add_c2(6,2,c3,c1,c2);
595 	sqr_add_c2(7,1,c3,c1,c2);
599 	sqr_add_c2(7,2,c1,c2,c3);
600 	sqr_add_c2(6,3,c1,c2,c3);
601 	sqr_add_c2(5,4,c1,c2,c3);
602 	stg	c1,9*8(%r2)
603 	lghi	c1,0
605 	sqr_add_c(5,c2,c3,c1);
606 	sqr_add_c2(6,4,c2,c3,c1);
607 	sqr_add_c2(7,3,c2,c3,c1);
611 	sqr_add_c2(7,4,c3,c1,c2);
612 	sqr_add_c2(6,5,c3,c1,c2);
616 	sqr_add_c(6,c1,c2,c3);
617 	sqr_add_c2(7,5,c1,c2,c3);
618 	stg	c1,12*8(%r2)
619 	lghi	c1,0
621 	sqr_add_c2(7,6,c2,c3,c1);
625 	sqr_add_c(7,c3,c1,c2);
627 	stg	c1,15*8(%r2)
640 	lghi	c1,0
645 	sqr_add_c(0,c1,c2,c3);
646 	stg	c1,0*8(%r2)
647 	lghi	c1,0
649 	sqr_add_c2(1,0,c2,c3,c1);
653 	sqr_add_c(1,c3,c1,c2);
654 	sqr_add_c2(2,0,c3,c1,c2);
658 	sqr_add_c2(3,0,c1,c2,c3);
659 	sqr_add_c2(2,1,c1,c2,c3);
660 	stg	c1,3*8(%r2)
661 	lghi	c1,0
663 	sqr_add_c(2,c2,c3,c1);
664 	sqr_add_c2(3,1,c2,c3,c1);
668 	sqr_add_c2(3,2,c3,c1,c2);
672 	sqr_add_c(3,c1,c2,c3);
673 	stg	c1,6*8(%r2)