Lines Matching refs:rsp
111 subq $TF_RIP,%rsp
112 movl $\trapno,TF_TRAPNO(%rsp)
113 movq $0,TF_ADDR(%rsp)
114 movq $0,TF_ERR(%rsp)
117 subq $TF_RIP,%rsp
118 movl $\trapno,TF_TRAPNO(%rsp)
119 movq $0,TF_ADDR(%rsp)
120 movq $0,TF_ERR(%rsp)
126 subq $TF_RIP,%rsp
127 movl $\trapno,TF_TRAPNO(%rsp)
128 movq $0,TF_ADDR(%rsp)
129 movq $0,TF_ERR(%rsp)
130 testb $SEL_RPL_MASK,TF_CS(%rsp)
146 subq $TF_RIP,%rsp
147 movl $\trapno,TF_TRAPNO(%rsp)
148 movq $0,TF_ADDR(%rsp)
149 movq $0,TF_ERR(%rsp)
152 subq $TF_RIP,%rsp
153 movl $\trapno,TF_TRAPNO(%rsp)
154 movq $0,TF_ADDR(%rsp)
155 movq $0,TF_ERR(%rsp)
161 subq $TF_RIP,%rsp
162 movl $\trapno,TF_TRAPNO(%rsp)
163 movq $0,TF_ADDR(%rsp)
164 movq $0,TF_ERR(%rsp)
165 testb $SEL_RPL_MASK,TF_CS(%rsp)
186 subq $TF_ERR,%rsp
187 movl $\trapno,TF_TRAPNO(%rsp)
188 movq $0,TF_ADDR(%rsp)
191 subq $TF_ERR,%rsp
192 movl $\trapno,TF_TRAPNO(%rsp)
193 movq $0,TF_ADDR(%rsp)
198 subq $TF_ERR,%rsp
199 movl $\trapno,TF_TRAPNO(%rsp)
200 movq $0,TF_ADDR(%rsp)
201 testb $SEL_RPL_MASK,TF_CS(%rsp)
222 movq %rdi,TF_RDI(%rsp)
223 movq %rdx,TF_RDX(%rsp)
224 movq %rax,TF_RAX(%rsp)
225 movq %rcx,TF_RCX(%rsp)
235 movq %rdi,TF_RDI(%rsp)
236 movq %rdx,TF_RDX(%rsp)
237 movq %rax,TF_RAX(%rsp)
238 movq %rcx,TF_RCX(%rsp)
241 testl $PSL_I,TF_RFLAGS(%rsp)
245 movq %rsi,TF_RSI(%rsp)
246 movq %r8,TF_R8(%rsp)
247 movq %r9,TF_R9(%rsp)
248 movq %rbx,TF_RBX(%rsp)
249 movq %rbp,TF_RBP(%rsp)
250 movq %r10,TF_R10(%rsp)
251 movq %r11,TF_R11(%rsp)
252 movq %r12,TF_R12(%rsp)
253 movq %r13,TF_R13(%rsp)
254 movq %r14,TF_R14(%rsp)
255 movq %r15,TF_R15(%rsp)
256 movl $TF_HASSEGS,TF_FLAGS(%rsp)
258 FAKE_MCOUNT(TF_RIP(%rsp))
266 testb $SEL_RPL_MASK,TF_CS(%rsp) /* Did we come from kernel? */
268 cmpl $T_BPTFLT,TF_TRAPNO(%rsp)
287 movq %rsp,%rdi
302 movq %rdi,TF_RDI(%rsp)
311 movq %rdi,TF_RDI(%rsp)
314 movq %rdx,TF_RDX(%rsp)
315 movq %rax,TF_RAX(%rsp)
316 movq %rcx,TF_RCX(%rsp)
317 testb $SEL_RPL_MASK,TF_CS(%rsp)
323 subq $TF_ERR,%rsp
324 movl $T_DOUBLEFLT,TF_TRAPNO(%rsp)
325 movq $0,TF_ADDR(%rsp)
326 movq $0,TF_ERR(%rsp)
327 movq %rdi,TF_RDI(%rsp)
328 movq %rsi,TF_RSI(%rsp)
329 movq %rdx,TF_RDX(%rsp)
330 movq %rcx,TF_RCX(%rsp)
331 movq %r8,TF_R8(%rsp)
332 movq %r9,TF_R9(%rsp)
333 movq %rax,TF_RAX(%rsp)
334 movq %rbx,TF_RBX(%rsp)
335 movq %rbp,TF_RBP(%rsp)
336 movq %r10,TF_R10(%rsp)
337 movq %r11,TF_R11(%rsp)
338 movq %r12,TF_R12(%rsp)
339 movq %r13,TF_R13(%rsp)
340 movq %r14,TF_R14(%rsp)
341 movq %r15,TF_R15(%rsp)
343 movl $TF_HASSEGS,TF_FLAGS(%rsp)
345 testb $SEL_RPL_MASK,TF_CS(%rsp) /* Did we come from kernel? */
353 2: movq %rsp,%rdi
360 testb $SEL_RPL_MASK,PTI_CS-PTI_ERR(%rsp)
376 testb $SEL_RPL_MASK,TF_CS-TF_ERR(%rsp) /* Did we come from kernel? */
380 subq $TF_ERR,%rsp
381 movq %rdi,TF_RDI(%rsp) /* free up GP registers */
382 movq %rax,TF_RAX(%rsp)
383 movq %rdx,TF_RDX(%rsp)
384 movq %rcx,TF_RCX(%rsp)
391 subq $TF_ERR,%rsp
392 movq %rdi,TF_RDI(%rsp)
393 movq %rax,TF_RAX(%rsp)
394 movq %rdx,TF_RDX(%rsp)
395 movq %rcx,TF_RCX(%rsp)
403 movq %rdi,TF_ADDR(%rsp) /* enabling interrupts. */
405 movl $T_PAGEFLT,TF_TRAPNO(%rsp)
406 testl $PSL_I,TF_RFLAGS(%rsp)
438 movq PTI_RSP(%rsp),%rsp
441 movq %rax,%rsp
447 cmpq $doreti_iret,PTI_RIP-2*8(%rsp)
449 testb $SEL_RPL_MASK,PTI_CS-2*8(%rsp) /* %rax, %rdx not yet pushed */
454 subq $TF_ERR,%rsp
455 movl $\trapno,TF_TRAPNO(%rsp)
464 movq $0,TF_ADDR(%rsp)
465 movq %rdi,TF_RDI(%rsp) /* free up a GP register */
466 movq %rax,TF_RAX(%rsp)
467 movq %rdx,TF_RDX(%rsp)
468 movq %rcx,TF_RCX(%rsp)
469 movw %fs,TF_FS(%rsp)
470 movw %gs,TF_GS(%rsp)
472 cmpq %rdi,TF_RIP(%rsp)
474 testb $SEL_RPL_MASK,TF_CS(%rsp) /* Did we come from kernel? */
478 cmpw $KUF32SEL,TF_FS(%rsp)
481 1: cmpw $KUG32SEL,TF_GS(%rsp)
489 cmpw $KUF32SEL,TF_FS(%rsp)
492 3: cmpw $KUG32SEL,TF_GS(%rsp)
497 movw %es,TF_ES(%rsp)
498 movw %ds,TF_DS(%rsp)
499 testl $PSL_I,TF_RFLAGS(%rsp)
534 movq %rsp,PCPU(SCRATCH_RSP)
535 movq PCPU(RSP0),%rsp
537 subq $TF_SIZE,%rsp
539 movq %r11,TF_RFLAGS(%rsp)
540 movq %rcx,TF_RIP(%rsp) /* %rcx original value is in %r10 */
542 movq %r11,TF_RSP(%rsp) /* user stack pointer */
544 movq %rax,TF_RAX(%rsp) /* syscall number */
545 movq %rdx,TF_RDX(%rsp) /* arg 3 */
551 movq $KUDSEL,TF_SS(%rsp)
552 movq $KUCSEL,TF_CS(%rsp)
553 movq $2,TF_ERR(%rsp)
554 movq %rdi,TF_RDI(%rsp) /* arg 1 */
555 movq %rsi,TF_RSI(%rsp) /* arg 2 */
556 movq %r10,TF_RCX(%rsp) /* arg 4 */
557 movq %r8,TF_R8(%rsp) /* arg 5 */
558 movq %r9,TF_R9(%rsp) /* arg 6 */
559 movq %rbx,TF_RBX(%rsp) /* C preserved */
560 movq %rbp,TF_RBP(%rsp) /* C preserved */
561 movq %r12,TF_R12(%rsp) /* C preserved */
562 movq %r13,TF_R13(%rsp) /* C preserved */
563 movq %r14,TF_R14(%rsp) /* C preserved */
564 movq %r15,TF_R15(%rsp) /* C preserved */
565 movl $TF_HASSEGS,TF_FLAGS(%rsp)
566 FAKE_MCOUNT(TF_RIP(%rsp))
568 movq %rsp,TD_FRAME(%rdi)
569 movl TF_RFLAGS(%rsp),%esi
585 movq TF_RDI(%rsp),%rdi /* bonus; preserve arg 1 */
586 movq TF_RSI(%rsp),%rsi /* bonus: preserve arg 2 */
587 movq TF_RDX(%rsp),%rdx /* return value 2 */
588 movq TF_RAX(%rsp),%rax /* return value 1 */
589 movq TF_RFLAGS(%rsp),%r11 /* original %rflags */
590 movq TF_RIP(%rsp),%rcx /* original %rip */
591 movq TF_RSP(%rsp),%rsp /* user stack pointer */
604 movq %rsp,%rdi
627 subq $TF_RIP,%rsp
628 movl $(T_TRCTRAP),TF_TRAPNO(%rsp)
629 movq $0,TF_ADDR(%rsp)
630 movq $0,TF_ERR(%rsp)
631 movq %rdi,TF_RDI(%rsp)
632 movq %rsi,TF_RSI(%rsp)
633 movq %rdx,TF_RDX(%rsp)
634 movq %rcx,TF_RCX(%rsp)
635 movq %r8,TF_R8(%rsp)
636 movq %r9,TF_R9(%rsp)
637 movq %rax,TF_RAX(%rsp)
638 movq %rbx,TF_RBX(%rsp)
639 movq %rbp,TF_RBP(%rsp)
640 movq %r10,TF_R10(%rsp)
641 movq %r11,TF_R11(%rsp)
642 movq %r12,TF_R12(%rsp)
643 movq %r13,TF_R13(%rsp)
644 movq %r14,TF_R14(%rsp)
645 movq %r15,TF_R15(%rsp)
647 movl $TF_HASSEGS,TF_FLAGS(%rsp)
649 testb $SEL_RPL_MASK,TF_CS(%rsp)
662 movq TF_SIZE(%rsp),%rdx
677 2: FAKE_MCOUNT(TF_RIP(%rsp))
678 movq %rsp,%rdi
697 addq $TF_RIP,%rsp
716 movq %rsp,%rsi
718 movq %rax,%rsp
724 cmpw $KUF32SEL,TF_FS(%rsp)
728 2: cmpw $KUG32SEL,TF_GS(%rsp)
762 subq $TF_RIP,%rsp
763 movl $(T_NMI),TF_TRAPNO(%rsp)
764 movq $0,TF_ADDR(%rsp)
765 movq $0,TF_ERR(%rsp)
766 movq %rdi,TF_RDI(%rsp)
767 movq %rsi,TF_RSI(%rsp)
768 movq %rdx,TF_RDX(%rsp)
769 movq %rcx,TF_RCX(%rsp)
770 movq %r8,TF_R8(%rsp)
771 movq %r9,TF_R9(%rsp)
772 movq %rax,TF_RAX(%rsp)
773 movq %rbx,TF_RBX(%rsp)
774 movq %rbp,TF_RBP(%rsp)
775 movq %r10,TF_R10(%rsp)
776 movq %r11,TF_R11(%rsp)
777 movq %r12,TF_R12(%rsp)
778 movq %r13,TF_R13(%rsp)
779 movq %r14,TF_R14(%rsp)
780 movq %r15,TF_R15(%rsp)
782 movl $TF_HASSEGS,TF_FLAGS(%rsp)
785 testb $SEL_RPL_MASK,TF_CS(%rsp)
798 movq TF_SIZE(%rsp),%rdx
830 cmpw $KUF32SEL,TF_FS(%rsp)
834 2: cmpw $KUG32SEL,TF_GS(%rsp)
844 FAKE_MCOUNT(TF_RIP(%rsp))
845 movq %rsp,%rdi
868 movq %rsp,%rsi /* source stack pointer */
877 movq %rdx,%rsp /* we are on the regular kstack */
910 movq %rsp,%rdx /* frame */
940 addq $TF_RIP,%rsp
965 subq $TF_RIP,%rsp
966 movl $(T_MCHK),TF_TRAPNO(%rsp)
967 movq $0,TF_ADDR(%rsp)
968 movq $0,TF_ERR(%rsp)
969 movq %rdi,TF_RDI(%rsp)
970 movq %rsi,TF_RSI(%rsp)
971 movq %rdx,TF_RDX(%rsp)
972 movq %rcx,TF_RCX(%rsp)
973 movq %r8,TF_R8(%rsp)
974 movq %r9,TF_R9(%rsp)
975 movq %rax,TF_RAX(%rsp)
976 movq %rbx,TF_RBX(%rsp)
977 movq %rbp,TF_RBP(%rsp)
978 movq %r10,TF_R10(%rsp)
979 movq %r11,TF_R11(%rsp)
980 movq %r12,TF_R12(%rsp)
981 movq %r13,TF_R13(%rsp)
982 movq %r14,TF_R14(%rsp)
983 movq %r15,TF_R15(%rsp)
985 movl $TF_HASSEGS,TF_FLAGS(%rsp)
988 testb $SEL_RPL_MASK,TF_CS(%rsp)
1000 movq TF_SIZE(%rsp),%rdx
1027 FAKE_MCOUNT(TF_RIP(%rsp))
1028 movq %rsp,%rdi
1052 addq $TF_RIP,%rsp
1058 movq %rsp,%rdx /* trapframe pointer */
1116 testb $SEL_RPL_MASK,TF_CS(%rsp) /* are we returning to user mode? */
1130 movq %rsp,%rdi /* pass a pointer to the trapframe */
1152 testb $SEL_RPL_MASK,TF_CS(%rsp)
1157 testl $TF_HASSEGS,TF_FLAGS(%rsp)
1162 movw TF_FS(%rsp),%ax
1176 movw TF_GS(%rsp),%si
1214 movw TF_ES(%rsp),%es
1217 movw TF_DS(%rsp),%ds
1220 testb $SEL_RPL_MASK,TF_CS(%rsp) /* Did we come from kernel? */
1233 movq TF_RIP(%rsp),%rax
1235 movq TF_CS(%rsp),%rax
1237 movq TF_RFLAGS(%rsp),%rax
1239 movq TF_RSP(%rsp),%rax
1241 movq TF_SS(%rsp),%rax
1245 movq %rdx,%rsp
1249 addq $8,%rsp
1252 2: addq $TF_RIP,%rsp
1259 movw %ax,TF_DS(%rsp)
1260 movw %ax,TF_ES(%rsp)
1261 movw $KUF32SEL,TF_FS(%rsp)
1262 movw $KUG32SEL,TF_GS(%rsp)
1275 subq $TF_RIP,%rsp /* space including tf_err, tf_trapno */
1276 movq %rax,TF_RAX(%rsp)
1277 movq %rdx,TF_RDX(%rsp)
1278 movq %rcx,TF_RCX(%rsp)
1280 testb $SEL_RPL_MASK,TF_CS(%rsp)
1285 movl $TF_HASSEGS,TF_FLAGS(%rsp)
1286 movq %rdi,TF_RDI(%rsp)
1287 movq %rsi,TF_RSI(%rsp)
1288 movq %r8,TF_R8(%rsp)
1289 movq %r9,TF_R9(%rsp)
1290 movq %rbx,TF_RBX(%rsp)
1291 movq %rbp,TF_RBP(%rsp)
1292 movq %r10,TF_R10(%rsp)
1293 movq %r11,TF_R11(%rsp)
1294 movq %r12,TF_R12(%rsp)
1295 movq %r13,TF_R13(%rsp)
1296 movq %r14,TF_R14(%rsp)
1297 movq %r15,TF_R15(%rsp)
1298 movl $T_PROTFLT,TF_TRAPNO(%rsp)
1299 movq $0,TF_ERR(%rsp) /* XXX should be the error code */
1300 movq $0,TF_ADDR(%rsp)
1301 FAKE_MCOUNT(TF_RIP(%rsp))
1307 movl $T_PROTFLT,TF_TRAPNO(%rsp)
1308 testb $SEL_RPL_MASK,TF_CS(%rsp)
1312 movq %rsp,%rdi
1314 movw $KUDSEL,TF_DS(%rsp)
1320 movl $T_PROTFLT,TF_TRAPNO(%rsp)
1321 testl $PSL_I,TF_RFLAGS(%rsp)
1325 movq %rsp,%rdi
1327 movw $KUDSEL,TF_ES(%rsp)
1333 testl $PSL_I,TF_RFLAGS(%rsp)
1337 movl $T_PROTFLT,TF_TRAPNO(%rsp)
1338 movq %rsp,%rdi
1340 movw $KUF32SEL,TF_FS(%rsp)
1347 movl $T_PROTFLT,TF_TRAPNO(%rsp)
1348 testl $PSL_I,TF_RFLAGS(%rsp)
1352 movq %rsp,%rdi
1354 movw $KUG32SEL,TF_GS(%rsp)
1360 movl $T_PROTFLT,TF_TRAPNO(%rsp)
1361 testl $PSL_I,TF_RFLAGS(%rsp)
1365 movq %rsp,%rdi
1375 movl $T_PROTFLT,TF_TRAPNO(%rsp)
1376 testl $PSL_I,TF_RFLAGS(%rsp)
1380 movq %rsp,%rdi