arch/x86/aes_ni_64.S

46 #define	movdqu	movups
56 	movdqu	(%rsi),%xmm0	/* load master key into %xmm0 */
90 	movdqu	(%rsi),%xmm0	/* load master key [0:128) into %xmm0 */
121 	movdqu	(%rsi),%xmm0	/* load master key [0:128) into %xmm0 */
122 	movdqu	0x10(%rsi),%xmm1 /* load master key [128:256) into %xmm1 */
549 	movdqu	(%rsi),%xmm0
551 	movdqu	%xmm0,(%rdx)
564 	movdqu	(%rsi),%xmm0
566 	movdqu	%xmm0,(%rdx)
585 	movdqu	(%r8),%xmm0		/* xmm0 := chaining value */
587 1:	movdqu	(%rsi),%xmm1		/* xmm1 := plaintext block */
592 	movdqu	%xmm0,(%rdx)
596 	movdqu	%xmm0,(%r8)		/* store chaining value */
616 	movdqu	(%r8),%xmm8		/* xmm8 := iv */
619 	movdqu	-0x10(%rsi,%r10),%xmm0	/* xmm0 := last ciphertext block */
620 	movdqu	%xmm0,(%r8)		/* update iv */
623 1:	movdqu	-0x10(%rsi,%r10),%xmm8	/* xmm8 := chaining value */
625 	movdqu	%xmm0,(%rdx,%r10)	/* store plaintext block */
632 	movdqu	%xmm0,(%rdx)		/* store first plaintext block */
652 	movdqu	(%r8),%xmm8		/* xmm8 := iv */
655 	movdqu	-0x10(%rsi,%r10),%xmm7	/* xmm7 := ciphertext block[n-1] */
656 	movdqu	%xmm7,(%r8)		/* update iv */
659 1:	movdqu	-0x10(%rsi,%r10),%xmm7	/* xmm7 := cv[0] */
661 	movdqu	%xmm0,(%rdx,%r10)	/* store plaintext block */
662 2:	movdqu	-0x20(%rsi,%r10),%xmm6	/* xmm6 := ciphertext block[n-2] */
663 	movdqu	-0x30(%rsi,%r10),%xmm5	/* xmm5 := ciphertext block[n-3] */
664 	movdqu	-0x40(%rsi,%r10),%xmm4	/* xmm4 := ciphertext block[n-4] */
665 	movdqu	-0x50(%rsi,%r10),%xmm3	/* xmm3 := ciphertext block[n-5] */
666 	movdqu	-0x60(%rsi,%r10),%xmm2	/* xmm2 := ciphertext block[n-6] */
667 	movdqu	-0x70(%rsi,%r10),%xmm1	/* xmm1 := ciphertext block[n-7] */
668 	movdqu	-0x80(%rsi,%r10),%xmm0	/* xmm0 := ciphertext block[n-8] */
685 	movdqu	%xmm7,-0x10(%rdx,%r10)	/* store plaintext blocks */
686 	movdqu	%xmm6,-0x20(%rdx,%r10)
687 	movdqu	%xmm5,-0x30(%rdx,%r10)
688 	movdqu	%xmm4,-0x40(%rdx,%r10)
689 	movdqu	%xmm3,-0x50(%rdx,%r10)
690 	movdqu	%xmm2,-0x60(%rdx,%r10)
691 	movdqu	%xmm1,-0x70(%rdx,%r10)
695 	movdqu	%xmm0,(%rdx)		/* store first plaintext block */
714 	movdqu	(%r8),%xmm15		/* xmm15 := tweak */
716 1:	movdqu	(%rsi),%xmm0		/* xmm0 := ptxt */
722 	movdqu	%xmm0,(%rdx)		/* store ciphertext block */
727 	movdqu	%xmm15,(%r8)		/* update tweak */
747 	movdqu	(%r8),%xmm15		/* xmm15 := tweak[0] */
763 	movdqu	(%rsi),%xmm0		/* xmm[i] := ptxt[i] */
764 	movdqu	0x10(%rsi),%xmm1
765 	movdqu	0x20(%rsi),%xmm2
766 	movdqu	0x30(%rsi),%xmm3
767 	movdqu	0x40(%rsi),%xmm4
768 	movdqu	0x50(%rsi),%xmm5
769 	movdqu	0x60(%rsi),%xmm6
770 	movdqu	0x70(%rsi),%xmm7
791 	movdqu	%xmm0,(%rdx)		/* store ciphertext blocks */
792 	movdqu	%xmm1,0x10(%rdx)
793 	movdqu	%xmm2,0x20(%rdx)
794 	movdqu	%xmm3,0x30(%rdx)
795 	movdqu	%xmm4,0x40(%rdx)
796 	movdqu	%xmm5,0x50(%rdx)
797 	movdqu	%xmm6,0x60(%rdx)
798 	movdqu	%xmm7,0x70(%rdx)
803 	movdqu	%xmm15,(%r8)		/* update tweak */
822 	movdqu	(%r8),%xmm15		/* xmm15 := tweak */
824 1:	movdqu	(%rsi),%xmm0		/* xmm0 := ctxt */
830 	movdqu	%xmm0,(%rdx)		/* store plaintext block */
835 	movdqu	%xmm15,(%r8)		/* update tweak */
855 	movdqu	(%r8),%xmm15		/* xmm15 := tweak[0] */
871 	movdqu	(%rsi),%xmm0		/* xmm[i] := ptxt[i] */
872 	movdqu	0x10(%rsi),%xmm1
873 	movdqu	0x20(%rsi),%xmm2
874 	movdqu	0x30(%rsi),%xmm3
875 	movdqu	0x40(%rsi),%xmm4
876 	movdqu	0x50(%rsi),%xmm5
877 	movdqu	0x60(%rsi),%xmm6
878 	movdqu	0x70(%rsi),%xmm7
899 	movdqu	%xmm0,(%rdx)		/* store ciphertext blocks */
900 	movdqu	%xmm1,0x10(%rdx)
901 	movdqu	%xmm2,0x20(%rdx)
902 	movdqu	%xmm3,0x30(%rdx)
903 	movdqu	%xmm4,0x40(%rdx)
904 	movdqu	%xmm5,0x50(%rdx)
905 	movdqu	%xmm6,0x60(%rdx)
906 	movdqu	%xmm7,0x70(%rdx)
911 	movdqu	%xmm15,(%r8)		/* update tweak */
957 	movdqu	(%rdi),%xmm15
959 	movdqu	%xmm15,(%rsi)
974 	movdqu	(%rcx),%xmm0		/* xmm0 := auth */
984 	movdqu	%xmm0,(%rdx)		/* store auth' */
1001 	movdqu	0x10(%r8),%xmm2		/* xmm2 := ctr (be) */
1004 	movdqu	(%r8),%xmm0		/* xmm0 := auth */
1007 1:	movdqu	(%rsi),%xmm3		/* xmm3 := plaintext block */
1017 	movdqu	%xmm3,(%rdx)		/* store ciphertext block */
1021 	movdqu	%xmm0,(%r8)		/* store updated auth */
1022 	movdqu	%xmm2,0x10(%r8)		/* store updated ctr */
1038 	movdqu	0x10(%r8),%xmm2		/* xmm2 := ctr (be) */
1041 	movdqu	(%r8),%xmm1		/* xmm1 := auth */
1049 	movdqu	(%rsi),%xmm3		/* xmm3 := ctxt */
1066 	movdqu	(%rsi),%xmm3		/* xmm3 := ctxt */
1073 	movdqu	%xmm3,(%rdx)		/* store plaintext */
1083 	movdqu	%xmm0,(%r8)		/* store updated auth */
1084 	movdqu	%xmm2,0x10(%r8)		/* store updated ctr */