arm64/net/bpf_jit_comp.c

173 	u64 tmp = val;
176 	emit(A64_MOVN(1, reg, ~tmp & 0xffff, shift), ctx);
178 		tmp >>= 16;
180 		emit(A64_MOVK(1, reg, tmp & 0xffff, shift), ctx);
186 	u8 tmp = bpf2a64[TMP_REG_1];
188 	emit_addr_mov_i64(tmp, target, ctx);
189 	emit(A64_BLR(tmp), ctx);
433 	const u8 tmp = bpf2a64[TMP_REG_1];
445 	emit_a64_mov_i64(tmp, off, ctx);
446 	emit(A64_LDR32(tmp, r2, tmp), ctx);
448 	emit(A64_CMP(0, r3, tmp), ctx);
456 	emit_a64_mov_i64(tmp, MAX_TAIL_CALL_CNT, ctx);
457 	emit(A64_CMP(1, tcc, tmp), ctx);
466 	emit_a64_mov_i64(tmp, off, ctx);
467 	emit(A64_ADD(1, tmp, r2, tmp), ctx);
469 	emit(A64_LDR64(prg, tmp, prg), ctx);
474 	emit_a64_mov_i64(tmp, off, ctx);
475 	emit(A64_LDR64(tmp, prg, tmp), ctx);
476 	emit(A64_ADD_I(1, tmp, tmp, sizeof(u32) * PROLOGUE_OFFSET), ctx);
478 	emit(A64_BR(tmp), ctx);
500 	const u8 tmp = bpf2a64[TMP_REG_1];
509 			emit_a64_mov_i(1, tmp, off, ctx);
510 			emit(A64_ADD(1, tmp, tmp, dst), ctx);
511 			reg = tmp;
514 			emit(A64_ADD(1, tmp, reg, arena_vm_base), ctx);
515 			reg = tmp;
575 	const u8 tmp = bpf2a64[TMP_REG_1];
594 		emit_a64_mov_i(1, tmp, off, ctx);
595 		emit(A64_ADD(1, tmp, tmp, dst), ctx);
596 		reg = tmp;
689  *      ldr tmp, target
690  *      br tmp
700 	const u8 tmp = bpf2a64[TMP_REG_1];
709 	emit(A64_LDR64LIT(tmp, 2 * AARCH64_INSN_SIZE), ctx);
710 	emit(A64_BR(tmp), ctx);
862 	const u8 tmp = bpf2a64[TMP_REG_1];
886 			emit(A64_MOV(0, tmp, src), ctx); // 32-bit mov clears the upper 32 bits
889 			emit(A64_CBZ(1, tmp, 2), ctx);
890 			emit(A64_ORR(1, tmp, dst, tmp), ctx);
891 			emit(A64_MOV(1, dst, tmp), ctx);
897 				emit(A64_MRS_TPIDR_EL2(tmp), ctx);
899 				emit(A64_MRS_TPIDR_EL1(tmp), ctx);
900 			emit(A64_ADD(1, dst, dst, tmp), ctx);
953 			emit(A64_UDIV(is64, tmp, dst, src), ctx);
955 			emit(A64_SDIV(is64, tmp, dst, src), ctx);
956 		emit(A64_MSUB(is64, dst, dst, tmp, src), ctx);
1029 			emit_a64_mov_i(is64, tmp, imm, ctx);
1030 			emit(A64_ADD(is64, dst, dst, tmp), ctx);
1040 			emit_a64_mov_i(is64, tmp, imm, ctx);
1041 			emit(A64_SUB(is64, dst, dst, tmp), ctx);
1050 			emit_a64_mov_i(is64, tmp, imm, ctx);
1051 			emit(A64_AND(is64, dst, dst, tmp), ctx);
1060 			emit_a64_mov_i(is64, tmp, imm, ctx);
1061 			emit(A64_ORR(is64, dst, dst, tmp), ctx);
1070 			emit_a64_mov_i(is64, tmp, imm, ctx);
1071 			emit(A64_EOR(is64, dst, dst, tmp), ctx);
1076 		emit_a64_mov_i(is64, tmp, imm, ctx);
1077 		emit(A64_MUL(is64, dst, dst, tmp), ctx);
1081 		emit_a64_mov_i(is64, tmp, imm, ctx);
1083 			emit(A64_UDIV(is64, dst, dst, tmp), ctx);
1085 			emit(A64_SDIV(is64, dst, dst, tmp), ctx);
1091 			emit(A64_UDIV(is64, tmp, dst, tmp2), ctx);
1093 			emit(A64_SDIV(is64, tmp, dst, tmp2), ctx);
1094 		emit(A64_MSUB(is64, dst, dst, tmp, tmp2), ctx);
1211 			emit_a64_mov_i(is64, tmp, imm, ctx);
1212 			emit(A64_CMP(is64, dst, tmp), ctx);
1221 			emit_a64_mov_i(is64, tmp, imm, ctx);
1222 			emit(A64_TST(is64, dst, tmp), ctx);
1237 			emit(A64_MRS_SP_EL0(tmp), ctx);
1239 				emit(A64_LDR32I(r0, tmp, cpu_offset), ctx);
1242 				emit(A64_LDR32(r0, tmp, tmp2), ctx);
1327 				emit_a64_mov_i(1, tmp, off, ctx);
1329 					emit(A64_LDRSW(dst, src, tmp), ctx);
1331 					emit(A64_LDR32(dst, src, tmp), ctx);
1341 				emit_a64_mov_i(1, tmp, off, ctx);
1343 					emit(A64_LDRSH(dst, src, tmp), ctx);
1345 					emit(A64_LDRH(dst, src, tmp), ctx);
1355 				emit_a64_mov_i(1, tmp, off, ctx);
1357 					emit(A64_LDRSB(dst, src, tmp), ctx);
1359 					emit(A64_LDRB(dst, src, tmp), ctx);
1366 				emit_a64_mov_i(1, tmp, off, ctx);
1367 				emit(A64_LDR64(dst, src, tmp), ctx);
1411 		emit_a64_mov_i(1, tmp, imm, ctx);
1415 				emit(A64_STR32I(tmp, dst_adj, off_adj), ctx);
1418 				emit(A64_STR32(tmp, dst, tmp2), ctx);
1423 				emit(A64_STRHI(tmp, dst_adj, off_adj), ctx);
1426 				emit(A64_STRH(tmp, dst, tmp2), ctx);
1431 				emit(A64_STRBI(tmp, dst_adj, off_adj), ctx);
1434 				emit(A64_STRB(tmp, dst, tmp2), ctx);
1439 				emit(A64_STR64I(tmp, dst_adj, off_adj), ctx);
1442 				emit(A64_STR64(tmp, dst, tmp2), ctx);
1477 				emit_a64_mov_i(1, tmp, off, ctx);
1478 				emit(A64_STR32(src, dst, tmp), ctx);
1485 				emit_a64_mov_i(1, tmp, off, ctx);
1486 				emit(A64_STRH(src, dst, tmp), ctx);
1493 				emit_a64_mov_i(1, tmp, off, ctx);
1494 				emit(A64_STRB(src, dst, tmp), ctx);
1501 				emit_a64_mov_i(1, tmp, off, ctx);
1502 				emit(A64_STR64(src, dst, tmp), ctx);
1689 	struct bpf_prog *tmp, *orig_prog = prog;
1704 	tmp = bpf_jit_blind_constants(prog);
1708 	if (IS_ERR(tmp))
1710 	if (tmp != prog) {
1712 		prog = tmp;
1871 					   tmp : orig_prog);
2283 	void *image, *tmp;
2315 	tmp = bpf_arch_text_copy(ro_image, image, size);
2316 	if (IS_ERR(tmp)) {
2317 		ret = PTR_ERR(tmp);