sun4v/common/memcpy.s

211 	cmp	%o2, %o4	! compare size and difference of addresses
213 	add	%o1, %o2, %o5	! get to end of source space
219 	cmp	%o2, 8			! less than 8 byte do byte copy
224 	add	%o0, %o2, %g1		! get to end of dest space
227 	andn	%o2, 7, %o3		! %o3 count is multiple of 8 bytes size
228 	sub	%o2, %o3, %o2		! update o2 with new count
235 	andncc	%o2, 7, %o3		! %o3 count is multiple of 8 bytes size
242 	sub	%o2, %o3, %o2		! Residue bytes in %o2
245 	sub	%o2, 8, %o2		! set size one loop ahead
258 	subcc	%o2, 8, %o2		! subtract 8 byte from size
267 	add	%o2, 8, %o2		! restore size value
282 2:	deccc	%o2			! decrement size
297 	cmp	%o2, SMALL_MAX		! check for not small case
305 	sub	%o2, %o5, %o2
321 	cmp	%o2, MED_MAX		! limit to store buffer size
342 	add	%o2, %o3, %o2		! adjust remaining count
391 	sub	%o2, 8, %o2
392 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
393 	and	%o2, 0x7f, %o2		! residue bytes in %o2
436 	sub	%o2, 16, %o2
437 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
438 	and	%o2, 0x7f, %o2		! residue bytes in %o2
484 	sub	%o2, 24, %o2
485 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
486 	and	%o2, 0x7f, %o2		! residue bytes in %o2
534 	sub	%o2, 32, %o2
535 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
536 	and	%o2, 0x7f, %o2		! residue bytes in %o2
585 	sub	%o2, 40, %o2
586 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
587 	and	%o2, 0x7f, %o2		! residue bytes in %o2
639 	sub	%o2, 48, %o2
640 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
641 	and	%o2, 0x7f, %o2		! residue bytes in %o2
695 	sub	%o2, 56, %o2
696 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
697 	and	%o2, 0x7f, %o2		! residue bytes in %o2
743 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
744 	and	%o2, 0x7f, %o2		! residue bytes in %o2
772 	cmp	%o2, SMALL_MAX		! check for not small case
776 	cmp	%o2, SHORTCOPY		! check for really short case
781 	cmp	%o2, SHORTCHECK
793 	dec	%o2
803 	dec	2, %o2
816 	dec	1, %o2
817 	andn	%o2, 3, %o3		! %o3 is aligned word count
830 	and	%o2, 3, %o2
832 	inc	4, %o2
837 	dec	3, %o2
838 	andn	%o2, 3, %o3		! %o3 is aligned word count
851 	and	%o2, 3, %o2
853 	inc	4, %o2
860 	dec	2, %o2
861 	andn	%o2, 3, %o3		! %o3 is aligned word count
874 	and	%o2, 3, %o2
876 	inc	4, %o2
878 .w4cp:	andn	%o2, 3, %o3		! %o3 is aligned word count
886 	and	%o2, 3, %o2		! number of leftover bytes, if any
892 	tst	%o2
894 	cmp	%o2, 4
897 	sub	%o2, 3, %o2
900 	subcc	%o2, 4, %o2		! reduce count by 4
911 	addcc	%o2, 3, %o2		! restore count
914 	subcc	%o2, 1, %o2
919 	subcc	%o2, 1, %o2
929 	tst	%o2
939 	subcc	%o2, 8, %o2		! update count
946 	addcc	%o2, 7, %o2		! restore count
948 	cmp	%o2, 4			! check for 4 or more bytes left
953 	subcc	%o2, 4, %o2
965 	cmp	%o2, SHORT_LONG-7
967 	sub	%o2,56,%o2		! adjust %o2 to -31 off count
971 	subcc	%o2, 8, %o2
976 	addcc	%o2, 7, %o2		! restore %o2 to correct count
978 	cmp	%o2, 4			! check for 4 or more bytes left
983 	subcc	%o2, 4, %o2
994 	subcc	%o2, 7, %o2		! adjust count
997 	addcc	%o2, 3, %o2		! restore count
1000 	deccc	%o2			! reduce count for cc test
1005 	deccc	%o2
1021 	sub	%o2, %o5, %o2
1037 	cmp	%o2, MED_MAX		! limit to store buffer size
1045 	subcc	%o2, 63, %o2		! adjust length to allow cc test
1050 	subcc	%o2, 64, %o2		! decrement length count
1070 	addcc	%o2, 32, %o2		! adjust remaining count
1074 	sub	%o2, 32, %o2		! decrement length count
1085 	addcc	%o2, 16, %o2		! adjust remaining count
1091 	sub	%o2, 16, %o2		! decrease count by 16
1096 	addcc	%o2, 15, %o2		! restore count
1098 	cmp	%o2, 8
1100 	tst	%o2
1104 	subcc	%o2, 8, %o2		! decrease count by 8
1125 	cmp	%o2, MED_WMAX		! limit to store buffer size
1129 	subcc	%o2, 31, %o2		! adjust length to allow cc test
1143 	subcc	%o2, 32, %o2		! decrement length count
1155 	addcc	%o2, 31, %o2		! restore count
1159 	cmp	%o2, 16
1163 	subcc	%o2, 16, %o2		! decrement length count
1175 	cmp	%o2, 8
1177 	tst	%o2
1179 	subcc	%o2, 8, %o2		! decrease count by 8
1187 	cmp	%o2, 4			! check for 4 bytes left
1193 	subcc	%o2, 4, %o2		! decrease count by 4
1215 	sub	%o2, 8, %o2
1224 	sub	%o2, 16, %o2
1235 	sub	%o2, 32, %o2
1285 	sub	%o2, 8, %o2
1286 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1287 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1332 	sub	%o2, 16, %o2
1333 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1334 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1382 	sub	%o2, 24, %o2
1383 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1384 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1434 	sub	%o2, 32, %o2
1435 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1436 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1487 	sub	%o2, 40, %o2
1488 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1489 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1543 	sub	%o2, 48, %o2
1544 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1545 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1601 	sub	%o2, 56, %o2
1602 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1603 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1651 	andn	%o2, 0x7f, %o5		! %o5 is multiple of 2*block size
1652 	and	%o2, 0x7f, %o2		! residue bytes in %o2
1692 	cmp	%o2, MED_UMAX		! check for medium unaligned limit
1695 	andn	%o2, 0x3f, %o5		! %o5 is multiple of block size
1696 	and	%o2, 0x3f, %o2		! residue bytes in %o2
1697 	cmp	%o2, 8			! Insure we don't load beyond
1700 	add	%o2, 64, %o2		! adjust to leave loop
1744 	sub	%o2, %o3, %o2		! update cnt with bytes to be moved
1807 	andn	%o2, 0x3f, %o5		! %o5 is multiple of block size
1808 	and	%o2, 0x3f, %o2		! residue bytes in %o2
1809 	add	%o2, 64, %o2		! Insure we don't load beyond
2076 	cmp	%o2, 15
2079 	andn	%o2, 0x7, %o5		! %o5 is multiple of 8
2080 	and	%o2, 0x7, %o2		! residue bytes in %o2
2081 	add	%o2, 8, %o2
2104 	cmp	%o2, 17			! for small counts copy bytes
2108 	cmp	%o2, 0x80		! For lengths less than 128 bytes no
2131 	dec	%o2
2141 	dec	2, %o2
2154 	dec	1, %o2
2155 	andn	%o2, 3, %o3		! o3 is aligned word count
2168 	and	%o2, 3, %o2
2170 	inc	4, %o2
2175 	dec	3, %o2
2176 	andn	%o2, 3, %o3		! o3 is aligned word count
2189 	and	%o2, 3, %o2
2191 	inc	4, %o2
2198 	dec	2, %o2
2199 	andn	%o2, 3, %o3		! o3 is aligned word count
2212 	and	%o2, 3, %o2
2214 	inc	4, %o2
2216 .w4cp:	andn	%o2, 3, %o3		! o3 is aligned word count
2225 	and	%o2, 3, %o2		! number of leftover bytes, if any
2236 7:	deccc	%o2			! decrement count
2256 	or	%i0, %i1, %o2
2257 	andcc	%o2, 0x7, %g0
2262 	andcc	%o2, 0x3, %g0
2267 	andcc	%o2, 0x1, %g0
2272 1:	ldub	[%i1], %o2
2273 	stb	%o2, [%i0]
2284 	ld	[%i1], %o2
2285 	st	%o2, [%i0]
2296 	lduh	[%i1], %o2
2297 	stuh	%o2, [%i0]
2308 	ldx	[%i1], %o2
2309 	stx	%o2, [%i0]
2335 	ldda	[%i1+0x0]%asi, %o2
2343 	ldda	[%i1+0x20]%asi, %o2
2345 	stxa	%o2, [%i0+0x18]%asi
2351 	ldda	[%i1+0x40]%asi, %o2
2353 	stxa	%o2, [%i0+0x38]%asi
2370 	ldda	[%i1+0x0]%asi, %o2	! partial data in %o2 and %o3 has
2374 	ALIGN_DATA(%o2, %o3, %o4, %l2, %l3, %g1)	! merge %o2, %o3 and %o4
2375 							! into %o2 and %o3
2377 	stxa	%o2, [%i0+0x0]%asi
2380 	ldda	[%i1+0x20]%asi, %o2
2381 	ALIGN_DATA(%o4, %o5, %o2, %l2, %l3, %g1)	! merge %o2 with %o5 and
2388 	ALIGN_DATA(%o2, %o3, %o4, %l2, %l3, %g1)
2389 	stxa	%o2, [%i0+0x20]%asi
2392 	ldda	[%i1+0x40]%asi, %o2
2393 	ALIGN_DATA(%o4, %o5, %o2, %l2, %l3, %g1)
2414 	ldda	[%i1+0x0]%asi, %o2	! partial data in %o3 for this read and
2415 					! no data in %o2
2425 	ldda	[%i1+0x20]%asi, %o2
2426 	ALIGN_DATA(%o5, %o2, %o3, %l2, %l3, %g1)	! merge %o2 and %o3 with
2428 	stxa	%o2, [%i0+0x18]%asi			! into %o5 and %o2
2437 	ldda	[%i1+0x40]%asi, %o2
2438 	ALIGN_DATA(%o5, %o2, %o3, %l2, %l3, %g1)
2440 	stxa	%o2, [%i0+0x38]%asi
2457 	ldda	[%i1+0x0]%asi, %o2
2460 	stxa	%o2, [%i0+0x0]%asi
2465 	ldda	[%i1+0x20]%asi, %o2
2468 	stxa	%o2, [%i0+0x20]%asi
2494 	or	%i1, %i0, %o2
2495 	andcc	%o2, 0x7, %g0
2501 	ldx	[%i1], %o2
2502 	stx	%o2, [%i0]
2518 	andcc	%o2, 0x3, %g0
2522 	ld	[%i1], %o2
2523 	st	%o2, [%i0]
2539 	andcc	%o2, 0x1, %g0
2544 	lduh	[%i1], %o2
2545 	stuh	%o2, [%i0]
2557 	ldub	[%i1], %o2
2558 	stb	%o2, [%i0]