1/*
2 * Copyright (c) 2011 Janne Grunau <janne-libav@jannau.net>
3 *
4 * This file is part of Libav.
5 *
6 * Libav is free software; you can redistribute it and/or
7 * modify it under the terms of the GNU Lesser General Public
8 * License as published by the Free Software Foundation; either
9 * version 2.1 of the License, or (at your option) any later version.
10 *
11 * Libav is distributed in the hope that it will be useful,
12 * but WITHOUT ANY WARRANTY; without even the implied warranty of
13 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14 * Lesser General Public License for more details.
15 *
16 * You should have received a copy of the GNU Lesser General Public
17 * License along with Libav; if not, write to the Free Software
18 * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19 */
20
21#include "asm.S"
22#include "neon.S"
23
24.macro rv34_inv_transform    r0
25        vld1.16         {q14-q15}, [\r0,:128]
26        vmov.s16        d0,  #13
27        vshll.s16       q12, d29, #3
28        vshll.s16       q13, d29, #4
29        vshll.s16       q9,  d31, #3
30        vshll.s16       q1,  d31, #4
31        vmull.s16       q10, d28, d0
32        vmlal.s16       q10, d30, d0
33        vmull.s16       q11, d28, d0
34        vmlsl.s16       q11, d30, d0
35        vsubw.s16       q12, q12, d29   @ z2 = block[i+4*1]*7
36        vaddw.s16       q13, q13, d29   @ z3 = block[i+4*1]*17
37        vsubw.s16       q9,  q9,  d31
38        vaddw.s16       q1,  q1,  d31
39        vadd.s32        q13, q13, q9    @ z3 = 17*block[i+4*1] +  7*block[i+4*3]
40        vsub.s32        q12, q12, q1    @ z2 = 7*block[i+4*1]  - 17*block[i+4*3]
41        vadd.s32        q1,  q10, q13   @ z0 + z3
42        vadd.s32        q2,  q11, q12   @ z1 + z2
43        vsub.s32        q8,  q10, q13   @ z0 - z3
44        vsub.s32        q3,  q11, q12   @ z1 - z2
45        vtrn.32         q1,  q2
46        vtrn.32         q3,  q8
47        vswp            d3,  d6
48        vswp            d5,  d16
49        vmov.s32        d0,  #13
50        vadd.s32        q10, q1,  q3
51        vsub.s32        q11, q1,  q3
52        vshl.s32        q12, q2,  #3
53        vshl.s32        q9,  q2,  #4
54        vmul.s32        q13, q11, d0[0]
55        vshl.s32        q11, q8,  #4
56        vadd.s32        q9,  q9,  q2
57        vshl.s32        q15, q8,  #3
58        vsub.s32        q12, q12, q2
59        vadd.s32        q11, q11, q8
60        vmul.s32        q14, q10, d0[0]
61        vsub.s32        q8,  q15, q8
62        vsub.s32        q12, q12, q11
63        vadd.s32        q9,  q9,  q8
64        vadd.s32        q2,  q13, q12   @ z1 + z2
65        vadd.s32        q1,  q14, q9    @ z0 + z3
66        vsub.s32        q3,  q13, q12   @ z1 - z2
67        vsub.s32        q15, q14, q9    @ z0 - z3
68.endm
69
70/* void rv34_idct_add_c(uint8_t *dst, int stride, DCTELEM *block) */
71function ff_rv34_idct_add_neon, export=1
72        mov             r3,  r0
73        rv34_inv_transform   r2
74        vmov.i16        q12, #0
75        vrshrn.s32      d16, q1,  #10   @ (z0 + z3) >> 10
76        vrshrn.s32      d17, q2,  #10   @ (z1 + z2) >> 10
77        vrshrn.s32      d18, q3,  #10   @ (z1 - z2) >> 10
78        vrshrn.s32      d19, q15, #10   @ (z0 - z3) >> 10
79        vld1.32         {d28[]},  [r0,:32], r1
80        vld1.32         {d29[]},  [r0,:32], r1
81        vtrn.32         q8,  q9
82        vld1.32         {d28[1]}, [r0,:32], r1
83        vld1.32         {d29[1]}, [r0,:32], r1
84        vst1.16         {q12}, [r2,:128]!       @ memset(block,    0, 16)
85        vst1.16         {q12}, [r2,:128]        @ memset(block+16, 0, 16)
86        vtrn.16         d16, d17
87        vtrn.32         d28, d29
88        vtrn.16         d18, d19
89        vaddw.u8        q0,   q8,  d28
90        vaddw.u8        q1,   q9,  d29
91        vqmovun.s16     d28,  q0
92        vqmovun.s16     d29,  q1
93        vst1.32         {d28[0]}, [r3,:32], r1
94        vst1.32         {d28[1]}, [r3,:32], r1
95        vst1.32         {d29[0]}, [r3,:32], r1
96        vst1.32         {d29[1]}, [r3,:32], r1
97        bx              lr
98endfunc
99
100/* void rv34_inv_transform_noround_neon(DCTELEM *block); */
101function ff_rv34_inv_transform_noround_neon, export=1
102        rv34_inv_transform   r0
103        vshl.s32        q11, q2,  #1
104        vshl.s32        q10, q1,  #1
105        vshl.s32        q12, q3,  #1
106        vshl.s32        q13, q15, #1
107        vadd.s32        q11, q11, q2
108        vadd.s32        q10, q10, q1
109        vadd.s32        q12, q12, q3
110        vadd.s32        q13, q13, q15
111        vshrn.s32       d0,  q10, #11   @ (z0 + z3)*3 >> 11
112        vshrn.s32       d1,  q11, #11   @ (z1 + z2)*3 >> 11
113        vshrn.s32       d2,  q12, #11   @ (z1 - z2)*3 >> 11
114        vshrn.s32       d3,  q13, #11   @ (z0 - z3)*3 >> 11
115        vst4.16         {d0[0], d1[0], d2[0], d3[0]}, [r0,:64]!
116        vst4.16         {d0[1], d1[1], d2[1], d3[1]}, [r0,:64]!
117        vst4.16         {d0[2], d1[2], d2[2], d3[2]}, [r0,:64]!
118        vst4.16         {d0[3], d1[3], d2[3], d3[3]}, [r0,:64]!
119        bx              lr
120endfunc
121
122/* void ff_rv34_idct_dc_add_neon(uint8_t *dst, int stride, int dc) */
123function ff_rv34_idct_dc_add_neon, export=1
124        mov             r3,  r0
125        vld1.32         {d28[]},  [r0,:32], r1
126        vld1.32         {d29[]},  [r0,:32], r1
127        vdup.16         d0,  r2
128        vmov.s16        d1,  #169
129        vld1.32         {d28[1]}, [r0,:32], r1
130        vmull.s16       q1,  d0,  d1    @ dc * 13 * 13
131        vld1.32         {d29[1]}, [r0,:32], r1
132        vrshrn.s32      d0,  q1,  #10   @ (dc * 13 * 13 + 0x200) >> 10
133        vmov            d1,  d0
134        vaddw.u8        q2,  q0,  d28
135        vaddw.u8        q3,  q0,  d29
136        vqmovun.s16     d28, q2
137        vqmovun.s16     d29, q3
138        vst1.32         {d28[0]}, [r3,:32], r1
139        vst1.32         {d29[0]}, [r3,:32], r1
140        vst1.32         {d28[1]}, [r3,:32], r1
141        vst1.32         {d29[1]}, [r3,:32], r1
142        bx              lr
143endfunc
144
145/* void rv34_inv_transform_dc_noround_c(DCTELEM *block) */
146function ff_rv34_inv_transform_noround_dc_neon, export=1
147        vld1.16         {d28[]}, [r0,:16]       @ block[0]
148        vmov.i16        d4,  #251
149        vorr.s16        d4,  #256               @ 13^2 * 3
150        vmull.s16       q3,  d28, d4
151        vshrn.s32       d0,  q3,  #11
152        vmov.i16        d1,  d0
153        vst1.64         {q0}, [r0,:128]!
154        vst1.64         {q0}, [r0,:128]!
155        bx              lr
156endfunc
157