arch/x86_64/kernel/entry.S

   1 /*
   2  *  linux/arch/x86_64/entry.S
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  *  Copyright (C) 2000, 2001, 2002  Andi Kleen SuSE Labs
   6  *  Copyright (C) 2000  Pavel Machek <pavel@suse.cz>
   7  *
   8  *  $Id$
   9  */
  10
  11 /*
  12  * entry.S contains the system-call and fault low-level handling routines.
  13  *
  14  * NOTE: This code handles signal-recognition, which happens every time
  15  * after an interrupt and after each system call.
  16  *
  17  * Normal syscalls and interrupts don't save a full stack frame, this is
  18  * only done for syscall tracing, signals or fork/exec et.al.
  19  *
  20  * A note on terminology:
  21  * - top of stack: Architecture defined interrupt frame from SS to RIP
  22  * at the top of the kernel process stack.
  23  * - partial stack frame: partially saved registers upto R11.
  24  * - full stack frame: Like partial stack frame, but all register saved.
  25  *
  26  * TODO:
  27  * - schedule it carefully for the final hardware.
  28  */
  29
  30 #define ASSEMBLY 1
  31 #include <linux/config.h>
  32 #include <linux/linkage.h>
  33 #include <asm/segment.h>
  34 #include <asm/smp.h>
  35 #include <asm/cache.h>
  36 #include <asm/errno.h>
  37 #include <asm/dwarf2.h>
  38 #include <asm/calling.h>
  39 #include <asm/asm-offsets.h>
  40 #include <asm/msr.h>
  41 #include <asm/unistd.h>
  42 #include <asm/thread_info.h>
  43 #include <asm/hw_irq.h>
  44 #include <asm/page.h>
  45
  46         .code64
  47
  48 #ifndef CONFIG_PREEMPT
  49 #define retint_kernel retint_restore_args
  50 #endif
  51
  52 /*
  53  * C code is not supposed to know about undefined top of stack. Every time
  54  * a C function with an pt_regs argument is called from the SYSCALL based
  55  * fast path FIXUP_TOP_OF_STACK is needed.
  56  * RESTORE_TOP_OF_STACK syncs the syscall state after any possible ptregs
  57  * manipulation.
  58  */
  59
  60         /* %rsp:at FRAMEEND */
  61         .macro FIXUP_TOP_OF_STACK tmp
  62         movq    %gs:pda_oldrsp,\tmp
  63         movq    \tmp,RSP(%rsp)
  64         movq    $__USER_DS,SS(%rsp)
  65         movq    $__USER_CS,CS(%rsp)
  66         movq    $-1,RCX(%rsp)
  67         movq    R11(%rsp),\tmp  /* get eflags */
  68         movq    \tmp,EFLAGS(%rsp)
  69         .endm
  70
  71         .macro RESTORE_TOP_OF_STACK tmp,offset=0
  72         movq   RSP-\offset(%rsp),\tmp
  73         movq   \tmp,%gs:pda_oldrsp
  74         movq   EFLAGS-\offset(%rsp),\tmp
  75         movq   \tmp,R11-\offset(%rsp)
  76         .endm
  77
  78         .macro FAKE_STACK_FRAME child_rip
  79         /* push in order ss, rsp, eflags, cs, rip */
  80         xorl %eax, %eax
  81         pushq %rax /* ss */
  82         CFI_ADJUST_CFA_OFFSET   8
  83         /*CFI_REL_OFFSET        ss,0*/
  84         pushq %rax /* rsp */
  85         CFI_ADJUST_CFA_OFFSET   8
  86         CFI_REL_OFFSET  rsp,0
  87         pushq $(1<<9) /* eflags - interrupts on */
  88         CFI_ADJUST_CFA_OFFSET   8
  89         /*CFI_REL_OFFSET        rflags,0*/
  90         pushq $__KERNEL_CS /* cs */
  91         CFI_ADJUST_CFA_OFFSET   8
  92         /*CFI_REL_OFFSET        cs,0*/
  93         pushq \child_rip /* rip */
  94         CFI_ADJUST_CFA_OFFSET   8
  95         CFI_REL_OFFSET  rip,0
  96         pushq   %rax /* orig rax */
  97         CFI_ADJUST_CFA_OFFSET   8
  98         .endm
  99
 100         .macro UNFAKE_STACK_FRAME
 101         addq $8*6, %rsp
 102         CFI_ADJUST_CFA_OFFSET   -(6*8)
 103         .endm
 104
 105         .macro  CFI_DEFAULT_STACK start=1
 106         .if \start
 107         CFI_STARTPROC   simple
 108         CFI_DEF_CFA     rsp,SS+8
 109         .else
 110         CFI_DEF_CFA_OFFSET SS+8
 111         .endif
 112         CFI_REL_OFFSET  r15,R15
 113         CFI_REL_OFFSET  r14,R14
 114         CFI_REL_OFFSET  r13,R13
 115         CFI_REL_OFFSET  r12,R12
 116         CFI_REL_OFFSET  rbp,RBP
 117         CFI_REL_OFFSET  rbx,RBX
 118         CFI_REL_OFFSET  r11,R11
 119         CFI_REL_OFFSET  r10,R10
 120         CFI_REL_OFFSET  r9,R9
 121         CFI_REL_OFFSET  r8,R8
 122         CFI_REL_OFFSET  rax,RAX
 123         CFI_REL_OFFSET  rcx,RCX
 124         CFI_REL_OFFSET  rdx,RDX
 125         CFI_REL_OFFSET  rsi,RSI
 126         CFI_REL_OFFSET  rdi,RDI
 127         CFI_REL_OFFSET  rip,RIP
 128         /*CFI_REL_OFFSET        cs,CS*/
 129         /*CFI_REL_OFFSET        rflags,EFLAGS*/
 130         CFI_REL_OFFSET  rsp,RSP
 131         /*CFI_REL_OFFSET        ss,SS*/
 132         .endm
 133 /*
 134  * A newly forked process directly context switches into this.
 135  */
 136 /* rdi: prev */
 137 ENTRY(ret_from_fork)
 138         CFI_DEFAULT_STACK
 139         call schedule_tail
 140         GET_THREAD_INFO(%rcx)
 141         testl $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT),threadinfo_flags(%rcx)
 142         jnz rff_trace
 143 rff_action:
 144         RESTORE_REST
 145         testl $3,CS-ARGOFFSET(%rsp)     # from kernel_thread?
 146         je   int_ret_from_sys_call
 147         testl $_TIF_IA32,threadinfo_flags(%rcx)
 148         jnz  int_ret_from_sys_call
 149         RESTORE_TOP_OF_STACK %rdi,ARGOFFSET
 150         jmp ret_from_sys_call
 151 rff_trace:
 152         movq %rsp,%rdi
 153         call syscall_trace_leave
 154         GET_THREAD_INFO(%rcx)
 155         jmp rff_action
 156         CFI_ENDPROC
 157
 158 /*
 159  * System call entry. Upto 6 arguments in registers are supported.
 160  *
 161  * SYSCALL does not save anything on the stack and does not change the
 162  * stack pointer.
 163  */
 164
 165 /*
 166  * Register setup:
 167  * rax  system call number
 168  * rdi  arg0
 169  * rcx  return address for syscall/sysret, C arg3
 170  * rsi  arg1
 171  * rdx  arg2
 172  * r10  arg3    (--> moved to rcx for C)
 173  * r8   arg4
 174  * r9   arg5
 175  * r11  eflags for syscall/sysret, temporary for C
 176  * r12-r15,rbp,rbx saved by C code, not touched.
 177  *
 178  * Interrupts are off on entry.
 179  * Only called from user space.
 180  *
 181  * XXX  if we had a free scratch register we could save the RSP into the stack frame
 182  *      and report it properly in ps. Unfortunately we haven't.
 183  */
 184
 185 ENTRY(system_call)
 186         CFI_STARTPROC   simple
 187         CFI_DEF_CFA     rsp,0
 188         CFI_REGISTER    rip,rcx
 189         /*CFI_REGISTER  rflags,r11*/
 190         swapgs
 191         movq    %rsp,%gs:pda_oldrsp
 192         movq    %gs:pda_kernelstack,%rsp
 193         sti
 194         SAVE_ARGS 8,1
 195         movq  %rax,ORIG_RAX-ARGOFFSET(%rsp)
 196         movq  %rcx,RIP-ARGOFFSET(%rsp)
 197         CFI_REL_OFFSET rip,RIP-ARGOFFSET
 198         GET_THREAD_INFO(%rcx)
 199         testl $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT|_TIF_SECCOMP),threadinfo_flags(%rcx)
 200         CFI_REMEMBER_STATE
 201         jnz tracesys
 202         cmpq $__NR_syscall_max,%rax
 203         ja badsys
 204         movq %r10,%rcx
 205         call *sys_call_table(,%rax,8)  # XXX:    rip relative
 206         movq %rax,RAX-ARGOFFSET(%rsp)
 207 /*
 208  * Syscall return path ending with SYSRET (fast path)
 209  * Has incomplete stack frame and undefined top of stack.
 210  */
 211         .globl ret_from_sys_call
 212 ret_from_sys_call:
 213         movl $_TIF_ALLWORK_MASK,%edi
 214         /* edi: flagmask */
 215 sysret_check:
 216         GET_THREAD_INFO(%rcx)
 217         cli
 218         movl threadinfo_flags(%rcx),%edx
 219         andl %edi,%edx
 220         CFI_REMEMBER_STATE
 221         jnz  sysret_careful
 222         movq RIP-ARGOFFSET(%rsp),%rcx
 223         CFI_REGISTER    rip,rcx
 224         RESTORE_ARGS 0,-ARG_SKIP,1
 225         /*CFI_REGISTER  rflags,r11*/
 226         movq    %gs:pda_oldrsp,%rsp
 227         swapgs
 228         sysretq
 229
 230         /* Handle reschedules */
 231         /* edx: work, edi: workmask */
 232 sysret_careful:
 233         CFI_RESTORE_STATE
 234         bt $TIF_NEED_RESCHED,%edx
 235         jnc sysret_signal
 236         sti
 237         pushq %rdi
 238         CFI_ADJUST_CFA_OFFSET 8
 239         call schedule
 240         popq  %rdi
 241         CFI_ADJUST_CFA_OFFSET -8
 242         jmp sysret_check
 243
 244         /* Handle a signal */
 245 sysret_signal:
 246         sti
 247         testl $(_TIF_SIGPENDING|_TIF_NOTIFY_RESUME|_TIF_SINGLESTEP),%edx
 248         jz    1f
 249
 250         /* Really a signal */
 251         /* edx: work flags (arg3) */
 252         leaq do_notify_resume(%rip),%rax
 253         leaq -ARGOFFSET(%rsp),%rdi # &pt_regs -> arg1
 254         xorl %esi,%esi # oldset -> arg2
 255         call ptregscall_common
 256 1:      movl $_TIF_NEED_RESCHED,%edi
 257         jmp sysret_check
 258
 259 badsys:
 260         movq $-ENOSYS,RAX-ARGOFFSET(%rsp)
 261         jmp ret_from_sys_call
 262
 263         /* Do syscall tracing */
 264 tracesys:
 265         CFI_RESTORE_STATE
 266         SAVE_REST
 267         movq $-ENOSYS,RAX(%rsp)
 268         FIXUP_TOP_OF_STACK %rdi
 269         movq %rsp,%rdi
 270         call syscall_trace_enter
 271         LOAD_ARGS ARGOFFSET  /* reload args from stack in case ptrace changed it */
 272         RESTORE_REST
 273         cmpq $__NR_syscall_max,%rax
 274         ja  1f
 275         movq %r10,%rcx  /* fixup for C */
 276         call *sys_call_table(,%rax,8)
 277         movq %rax,RAX-ARGOFFSET(%rsp)
 278 1:      SAVE_REST
 279         movq %rsp,%rdi
 280         call syscall_trace_leave
 281         RESTORE_TOP_OF_STACK %rbx
 282         RESTORE_REST
 283         jmp ret_from_sys_call
 284         CFI_ENDPROC
 285
 286 /*
 287  * Syscall return path ending with IRET.
 288  * Has correct top of stack, but partial stack frame.
 289  */
 290 ENTRY(int_ret_from_sys_call)
 291         CFI_STARTPROC   simple
 292         CFI_DEF_CFA     rsp,SS+8-ARGOFFSET
 293         /*CFI_REL_OFFSET        ss,SS-ARGOFFSET*/
 294         CFI_REL_OFFSET  rsp,RSP-ARGOFFSET
 295         /*CFI_REL_OFFSET        rflags,EFLAGS-ARGOFFSET*/
 296         /*CFI_REL_OFFSET        cs,CS-ARGOFFSET*/
 297         CFI_REL_OFFSET  rip,RIP-ARGOFFSET
 298         CFI_REL_OFFSET  rdx,RDX-ARGOFFSET
 299         CFI_REL_OFFSET  rcx,RCX-ARGOFFSET
 300         CFI_REL_OFFSET  rax,RAX-ARGOFFSET
 301         CFI_REL_OFFSET  rdi,RDI-ARGOFFSET
 302         CFI_REL_OFFSET  rsi,RSI-ARGOFFSET
 303         CFI_REL_OFFSET  r8,R8-ARGOFFSET
 304         CFI_REL_OFFSET  r9,R9-ARGOFFSET
 305         CFI_REL_OFFSET  r10,R10-ARGOFFSET
 306         CFI_REL_OFFSET  r11,R11-ARGOFFSET
 307         cli
 308         testl $3,CS-ARGOFFSET(%rsp)
 309         je retint_restore_args
 310         movl $_TIF_ALLWORK_MASK,%edi
 311         /* edi: mask to check */
 312 int_with_check:
 313         GET_THREAD_INFO(%rcx)
 314         movl threadinfo_flags(%rcx),%edx
 315         andl %edi,%edx
 316         jnz   int_careful
 317         andl    $~TS_COMPAT,threadinfo_status(%rcx)
 318         jmp   retint_swapgs
 319
 320         /* Either reschedule or signal or syscall exit tracking needed. */
 321         /* First do a reschedule test. */
 322         /* edx: work, edi: workmask */
 323 int_careful:
 324         bt $TIF_NEED_RESCHED,%edx
 325         jnc  int_very_careful
 326         sti
 327         pushq %rdi
 328         CFI_ADJUST_CFA_OFFSET 8
 329         call schedule
 330         popq %rdi
 331         CFI_ADJUST_CFA_OFFSET -8
 332         cli
 333         jmp int_with_check
 334
 335         /* handle signals and tracing -- both require a full stack frame */
 336 int_very_careful:
 337         sti
 338         SAVE_REST
 339         /* Check for syscall exit trace */
 340         testl $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT|_TIF_SINGLESTEP),%edx
 341         jz int_signal
 342         pushq %rdi
 343         CFI_ADJUST_CFA_OFFSET 8
 344         leaq 8(%rsp),%rdi       # &ptregs -> arg1
 345         call syscall_trace_leave
 346         popq %rdi
 347         CFI_ADJUST_CFA_OFFSET -8
 348         andl $~(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT|_TIF_SINGLESTEP),%edi
 349         cli
 350         jmp int_restore_rest
 351
 352 int_signal:
 353         testl $(_TIF_NOTIFY_RESUME|_TIF_SIGPENDING|_TIF_SINGLESTEP),%edx
 354         jz 1f
 355         movq %rsp,%rdi          # &ptregs -> arg1
 356         xorl %esi,%esi          # oldset -> arg2
 357         call do_notify_resume
 358 1:      movl $_TIF_NEED_RESCHED,%edi
 359 int_restore_rest:
 360         RESTORE_REST
 361         cli
 362         jmp int_with_check
 363         CFI_ENDPROC
 364
 365 /*
 366  * Certain special system calls that need to save a complete full stack frame.
 367  */
 368
 369         .macro PTREGSCALL label,func,arg
 370         .globl \label
 371 \label:
 372         leaq    \func(%rip),%rax
 373         leaq    -ARGOFFSET+8(%rsp),\arg /* 8 for return address */
 374         jmp     ptregscall_common
 375         .endm
 376
 377         CFI_STARTPROC
 378
 379         PTREGSCALL stub_clone, sys_clone, %r8
 380         PTREGSCALL stub_fork, sys_fork, %rdi
 381         PTREGSCALL stub_vfork, sys_vfork, %rdi
 382         PTREGSCALL stub_rt_sigsuspend, sys_rt_sigsuspend, %rdx
 383         PTREGSCALL stub_sigaltstack, sys_sigaltstack, %rdx
 384         PTREGSCALL stub_iopl, sys_iopl, %rsi
 385
 386 ENTRY(ptregscall_common)
 387         popq %r11
 388         CFI_ADJUST_CFA_OFFSET -8
 389         CFI_REGISTER rip, r11
 390         SAVE_REST
 391         movq %r11, %r15
 392         CFI_REGISTER rip, r15
 393         FIXUP_TOP_OF_STACK %r11
 394         call *%rax
 395         RESTORE_TOP_OF_STACK %r11
 396         movq %r15, %r11
 397         CFI_REGISTER rip, r11
 398         RESTORE_REST
 399         pushq %r11
 400         CFI_ADJUST_CFA_OFFSET 8
 401         CFI_REL_OFFSET rip, 0
 402         ret
 403         CFI_ENDPROC
 404
 405 ENTRY(stub_execve)
 406         CFI_STARTPROC
 407         popq %r11
 408         CFI_ADJUST_CFA_OFFSET -8
 409         CFI_REGISTER rip, r11
 410         SAVE_REST
 411         movq %r11, %r15
 412         CFI_REGISTER rip, r15
 413         FIXUP_TOP_OF_STACK %r11
 414         call sys_execve
 415         GET_THREAD_INFO(%rcx)
 416         bt $TIF_IA32,threadinfo_flags(%rcx)
 417         CFI_REMEMBER_STATE
 418         jc exec_32bit
 419         RESTORE_TOP_OF_STACK %r11
 420         movq %r15, %r11
 421         CFI_REGISTER rip, r11
 422         RESTORE_REST
 423         pushq %r11
 424         CFI_ADJUST_CFA_OFFSET 8
 425         CFI_REL_OFFSET rip, 0
 426         ret
 427
 428 exec_32bit:
 429         CFI_RESTORE_STATE
 430         movq %rax,RAX(%rsp)
 431         RESTORE_REST
 432         jmp int_ret_from_sys_call
 433         CFI_ENDPROC
 434
 435 /*
 436  * sigreturn is special because it needs to restore all registers on return.
 437  * This cannot be done with SYSRET, so use the IRET return path instead.
 438  */
 439 ENTRY(stub_rt_sigreturn)
 440         CFI_STARTPROC
 441         addq $8, %rsp
 442         CFI_ADJUST_CFA_OFFSET   -8
 443         SAVE_REST
 444         movq %rsp,%rdi
 445         FIXUP_TOP_OF_STACK %r11
 446         call sys_rt_sigreturn
 447         movq %rax,RAX(%rsp) # fixme, this could be done at the higher layer
 448         RESTORE_REST
 449         jmp int_ret_from_sys_call
 450         CFI_ENDPROC
 451
 452 /*
 453  * initial frame state for interrupts and exceptions
 454  */
 455         .macro _frame ref
 456         CFI_STARTPROC simple
 457         CFI_DEF_CFA rsp,SS+8-\ref
 458         /*CFI_REL_OFFSET ss,SS-\ref*/
 459         CFI_REL_OFFSET rsp,RSP-\ref
 460         /*CFI_REL_OFFSET rflags,EFLAGS-\ref*/
 461         /*CFI_REL_OFFSET cs,CS-\ref*/
 462         CFI_REL_OFFSET rip,RIP-\ref
 463         .endm
 464
 465 /* initial frame state for interrupts (and exceptions without error code) */
 466 #define INTR_FRAME _frame RIP
 467 /* initial frame state for exceptions with error code (and interrupts with
 468    vector already pushed) */
 469 #define XCPT_FRAME _frame ORIG_RAX
 470
 471 /*
 472  * Interrupt entry/exit.
 473  *
 474  * Interrupt entry points save only callee clobbered registers in fast path.
 475  *
 476  * Entry runs with interrupts off.
 477  */
 478
 479 /* 0(%rsp): interrupt number */
 480         .macro interrupt func
 481         cld
 482 #ifdef CONFIG_DEBUG_INFO
 483         SAVE_ALL
 484         movq %rsp,%rdi
 485         /*
 486          * Setup a stack frame pointer.  This allows gdb to trace
 487          * back to the original stack.
 488          */
 489         movq %rsp,%rbp
 490         CFI_DEF_CFA_REGISTER    rbp
 491 #else
 492         SAVE_ARGS
 493         leaq -ARGOFFSET(%rsp),%rdi      # arg1 for handler
 494 #endif
 495         testl $3,CS(%rdi)
 496         je 1f
 497         swapgs
 498 1:      incl    %gs:pda_irqcount        # RED-PEN should check preempt count
 499         movq %gs:pda_irqstackptr,%rax
 500         cmoveq %rax,%rsp /*todo This needs CFI annotation! */
 501         pushq %rdi                      # save old stack
 502 #ifndef CONFIG_DEBUG_INFO
 503         CFI_ADJUST_CFA_OFFSET   8
 504 #endif
 505         call \func
 506         .endm
 507
 508 ENTRY(common_interrupt)
 509         XCPT_FRAME
 510         interrupt do_IRQ
 511         /* 0(%rsp): oldrsp-ARGOFFSET */
 512 ret_from_intr:
 513         popq  %rdi
 514 #ifndef CONFIG_DEBUG_INFO
 515         CFI_ADJUST_CFA_OFFSET   -8
 516 #endif
 517         cli
 518         decl %gs:pda_irqcount
 519 #ifdef CONFIG_DEBUG_INFO
 520         movq RBP(%rdi),%rbp
 521         CFI_DEF_CFA_REGISTER    rsp
 522 #endif
 523         leaq ARGOFFSET(%rdi),%rsp /*todo This needs CFI annotation! */
 524 exit_intr:
 525         GET_THREAD_INFO(%rcx)
 526         testl $3,CS-ARGOFFSET(%rsp)
 527         je retint_kernel
 528
 529         /* Interrupt came from user space */
 530         /*
 531          * Has a correct top of stack, but a partial stack frame
 532          * %rcx: thread info. Interrupts off.
 533          */
 534 retint_with_reschedule:
 535         movl $_TIF_WORK_MASK,%edi
 536 retint_check:
 537         movl threadinfo_flags(%rcx),%edx
 538         andl %edi,%edx
 539         CFI_REMEMBER_STATE
 540         jnz  retint_careful
 541 retint_swapgs:
 542         swapgs
 543 retint_restore_args:
 544         cli
 545         RESTORE_ARGS 0,8,0
 546 iret_label:
 547         iretq
 548
 549         .section __ex_table,"a"
 550         .quad iret_label,bad_iret
 551         .previous
 552         .section .fixup,"ax"
 553         /* force a signal here? this matches i386 behaviour */
 554         /* running with kernel gs */
 555 bad_iret:
 556         movq $11,%rdi   /* SIGSEGV */
 557         sti
 558         jmp do_exit
 559         .previous
 560
 561         /* edi: workmask, edx: work */
 562 retint_careful:
 563         CFI_RESTORE_STATE
 564         bt    $TIF_NEED_RESCHED,%edx
 565         jnc   retint_signal
 566         sti
 567         pushq %rdi
 568         CFI_ADJUST_CFA_OFFSET   8
 569         call  schedule
 570         popq %rdi
 571         CFI_ADJUST_CFA_OFFSET   -8
 572         GET_THREAD_INFO(%rcx)
 573         cli
 574         jmp retint_check
 575
 576 retint_signal:
 577         testl $(_TIF_SIGPENDING|_TIF_NOTIFY_RESUME|_TIF_SINGLESTEP),%edx
 578         jz    retint_swapgs
 579         sti
 580         SAVE_REST
 581         movq $-1,ORIG_RAX(%rsp)
 582         xorl %esi,%esi          # oldset
 583         movq %rsp,%rdi          # &pt_regs
 584         call do_notify_resume
 585         RESTORE_REST
 586         cli
 587         movl $_TIF_NEED_RESCHED,%edi
 588         GET_THREAD_INFO(%rcx)
 589         jmp retint_check
 590
 591 #ifdef CONFIG_PREEMPT
 592         /* Returning to kernel space. Check if we need preemption */
 593         /* rcx:  threadinfo. interrupts off. */
 594         .p2align
 595 retint_kernel:
 596         cmpl $0,threadinfo_preempt_count(%rcx)
 597         jnz  retint_restore_args
 598         bt  $TIF_NEED_RESCHED,threadinfo_flags(%rcx)
 599         jnc  retint_restore_args
 600         bt   $9,EFLAGS-ARGOFFSET(%rsp)  /* interrupts off? */
 601         jnc  retint_restore_args
 602         call preempt_schedule_irq
 603         jmp exit_intr
 604 #endif
 605         CFI_ENDPROC
 606
 607 /*
 608  * APIC interrupts.
 609  */
 610         .macro apicinterrupt num,func
 611         INTR_FRAME
 612         pushq $\num-256
 613         CFI_ADJUST_CFA_OFFSET 8
 614         interrupt \func
 615         jmp ret_from_intr
 616         CFI_ENDPROC
 617         .endm
 618
 619 ENTRY(thermal_interrupt)
 620         apicinterrupt THERMAL_APIC_VECTOR,smp_thermal_interrupt
 621
 622 ENTRY(threshold_interrupt)
 623         apicinterrupt THRESHOLD_APIC_VECTOR,mce_threshold_interrupt
 624
 625 #ifdef CONFIG_SMP
 626 ENTRY(reschedule_interrupt)
 627         apicinterrupt RESCHEDULE_VECTOR,smp_reschedule_interrupt
 628
 629         .macro INVALIDATE_ENTRY num
 630 ENTRY(invalidate_interrupt\num)
 631         apicinterrupt INVALIDATE_TLB_VECTOR_START+\num,smp_invalidate_interrupt
 632         .endm
 633
 634         INVALIDATE_ENTRY 0
 635         INVALIDATE_ENTRY 1
 636         INVALIDATE_ENTRY 2
 637         INVALIDATE_ENTRY 3
 638         INVALIDATE_ENTRY 4
 639         INVALIDATE_ENTRY 5
 640         INVALIDATE_ENTRY 6
 641         INVALIDATE_ENTRY 7
 642
 643 ENTRY(call_function_interrupt)
 644         apicinterrupt CALL_FUNCTION_VECTOR,smp_call_function_interrupt
 645 #endif
 646
 647 #ifdef CONFIG_X86_LOCAL_APIC
 648 ENTRY(apic_timer_interrupt)
 649         apicinterrupt LOCAL_TIMER_VECTOR,smp_apic_timer_interrupt
 650
 651 ENTRY(error_interrupt)
 652         apicinterrupt ERROR_APIC_VECTOR,smp_error_interrupt
 653
 654 ENTRY(spurious_interrupt)
 655         apicinterrupt SPURIOUS_APIC_VECTOR,smp_spurious_interrupt
 656 #endif
 657
 658 /*
 659  * Exception entry points.
 660  */
 661         .macro zeroentry sym
 662         INTR_FRAME
 663         pushq $0        /* push error code/oldrax */
 664         CFI_ADJUST_CFA_OFFSET 8
 665         pushq %rax      /* push real oldrax to the rdi slot */
 666         CFI_ADJUST_CFA_OFFSET 8
 667         leaq  \sym(%rip),%rax
 668         jmp error_entry
 669         CFI_ENDPROC
 670         .endm
 671
 672         .macro errorentry sym
 673         XCPT_FRAME
 674         pushq %rax
 675         CFI_ADJUST_CFA_OFFSET 8
 676         leaq  \sym(%rip),%rax
 677         jmp error_entry
 678         CFI_ENDPROC
 679         .endm
 680
 681         /* error code is on the stack already */
 682         /* handle NMI like exceptions that can happen everywhere */
 683         .macro paranoidentry sym, ist=0
 684         SAVE_ALL
 685         cld
 686         movl $1,%ebx
 687         movl  $MSR_GS_BASE,%ecx
 688         rdmsr
 689         testl %edx,%edx
 690         js    1f
 691         swapgs
 692         xorl  %ebx,%ebx
 693 1:
 694         .if \ist
 695         movq    %gs:pda_data_offset, %rbp
 696         .endif
 697         movq %rsp,%rdi
 698         movq ORIG_RAX(%rsp),%rsi
 699         movq $-1,ORIG_RAX(%rsp)
 700         .if \ist
 701         subq    $EXCEPTION_STKSZ, per_cpu__init_tss + TSS_ist + (\ist - 1) * 8(%rbp)
 702         .endif
 703         call \sym
 704         .if \ist
 705         addq    $EXCEPTION_STKSZ, per_cpu__init_tss + TSS_ist + (\ist - 1) * 8(%rbp)
 706         .endif
 707         cli
 708         .endm
 709
 710 /*
 711  * Exception entry point. This expects an error code/orig_rax on the stack
 712  * and the exception handler in %rax.
 713  */
 714 ENTRY(error_entry)
 715         _frame RDI
 716         /* rdi slot contains rax, oldrax contains error code */
 717         cld
 718         subq  $14*8,%rsp
 719         CFI_ADJUST_CFA_OFFSET   (14*8)
 720         movq %rsi,13*8(%rsp)
 721         CFI_REL_OFFSET  rsi,RSI
 722         movq 14*8(%rsp),%rsi    /* load rax from rdi slot */
 723         movq %rdx,12*8(%rsp)
 724         CFI_REL_OFFSET  rdx,RDX
 725         movq %rcx,11*8(%rsp)
 726         CFI_REL_OFFSET  rcx,RCX
 727         movq %rsi,10*8(%rsp)    /* store rax */
 728         CFI_REL_OFFSET  rax,RAX
 729         movq %r8, 9*8(%rsp)
 730         CFI_REL_OFFSET  r8,R8
 731         movq %r9, 8*8(%rsp)
 732         CFI_REL_OFFSET  r9,R9
 733         movq %r10,7*8(%rsp)
 734         CFI_REL_OFFSET  r10,R10
 735         movq %r11,6*8(%rsp)
 736         CFI_REL_OFFSET  r11,R11
 737         movq %rbx,5*8(%rsp)
 738         CFI_REL_OFFSET  rbx,RBX
 739         movq %rbp,4*8(%rsp)
 740         CFI_REL_OFFSET  rbp,RBP
 741         movq %r12,3*8(%rsp)
 742         CFI_REL_OFFSET  r12,R12
 743         movq %r13,2*8(%rsp)
 744         CFI_REL_OFFSET  r13,R13
 745         movq %r14,1*8(%rsp)
 746         CFI_REL_OFFSET  r14,R14
 747         movq %r15,(%rsp)
 748         CFI_REL_OFFSET  r15,R15
 749         xorl %ebx,%ebx
 750         testl $3,CS(%rsp)
 751         je  error_kernelspace
 752 error_swapgs:
 753         swapgs
 754 error_sti:
 755         movq %rdi,RDI(%rsp)
 756         movq %rsp,%rdi
 757         movq ORIG_RAX(%rsp),%rsi        /* get error code */
 758         movq $-1,ORIG_RAX(%rsp)
 759         call *%rax
 760         /* ebx: no swapgs flag (1: don't need swapgs, 0: need it) */
 761 error_exit:
 762         movl %ebx,%eax
 763         RESTORE_REST
 764         cli
 765         GET_THREAD_INFO(%rcx)
 766         testl %eax,%eax
 767         jne  retint_kernel
 768         movl  threadinfo_flags(%rcx),%edx
 769         movl  $_TIF_WORK_MASK,%edi
 770         andl  %edi,%edx
 771         jnz  retint_careful
 772         swapgs
 773         RESTORE_ARGS 0,8,0
 774         jmp iret_label
 775         CFI_ENDPROC
 776
 777 error_kernelspace:
 778         incl %ebx
 779        /* There are two places in the kernel that can potentially fault with
 780           usergs. Handle them here. The exception handlers after
 781            iret run with kernel gs again, so don't set the user space flag.
 782            B stepping K8s sometimes report an truncated RIP for IRET
 783            exceptions returning to compat mode. Check for these here too. */
 784         leaq iret_label(%rip),%rbp
 785         cmpq %rbp,RIP(%rsp)
 786         je   error_swapgs
 787         movl %ebp,%ebp  /* zero extend */
 788         cmpq %rbp,RIP(%rsp)
 789         je   error_swapgs
 790         cmpq $gs_change,RIP(%rsp)
 791         je   error_swapgs
 792         jmp  error_sti
 793
 794        /* Reload gs selector with exception handling */
 795        /* edi:  new selector */
 796 ENTRY(load_gs_index)
 797         CFI_STARTPROC
 798         pushf
 799         CFI_ADJUST_CFA_OFFSET 8
 800         cli
 801         swapgs
 802 gs_change:
 803         movl %edi,%gs
 804 2:      mfence          /* workaround */
 805         swapgs
 806         popf
 807         CFI_ADJUST_CFA_OFFSET -8
 808         ret
 809         CFI_ENDPROC
 810
 811         .section __ex_table,"a"
 812         .align 8
 813         .quad gs_change,bad_gs
 814         .previous
 815         .section .fixup,"ax"
 816         /* running with kernelgs */
 817 bad_gs:
 818         swapgs                  /* switch back to user gs */
 819         xorl %eax,%eax
 820         movl %eax,%gs
 821         jmp  2b
 822         .previous
 823
 824 /*
 825  * Create a kernel thread.
 826  *
 827  * C extern interface:
 828  *      extern long kernel_thread(int (*fn)(void *), void * arg, unsigned long flags)
 829  *
 830  * asm input arguments:
 831  *      rdi: fn, rsi: arg, rdx: flags
 832  */
 833 ENTRY(kernel_thread)
 834         CFI_STARTPROC
 835         FAKE_STACK_FRAME $child_rip
 836         SAVE_ALL
 837
 838         # rdi: flags, rsi: usp, rdx: will be &pt_regs
 839         movq %rdx,%rdi
 840         orq  kernel_thread_flags(%rip),%rdi
 841         movq $-1, %rsi
 842         movq %rsp, %rdx
 843
 844         xorl %r8d,%r8d
 845         xorl %r9d,%r9d
 846
 847         # clone now
 848         call do_fork
 849         movq %rax,RAX(%rsp)
 850         xorl %edi,%edi
 851
 852         /*
 853          * It isn't worth to check for reschedule here,
 854          * so internally to the x86_64 port you can rely on kernel_thread()
 855          * not to reschedule the child before returning, this avoids the need
 856          * of hacks for example to fork off the per-CPU idle tasks.
 857          * [Hopefully no generic code relies on the reschedule -AK]
 858          */
 859         RESTORE_ALL
 860         UNFAKE_STACK_FRAME
 861         ret
 862         CFI_ENDPROC
 863
 864
 865 child_rip:
 866         /*
 867          * Here we are in the child and the registers are set as they were
 868          * at kernel_thread() invocation in the parent.
 869          */
 870         movq %rdi, %rax
 871         movq %rsi, %rdi
 872         call *%rax
 873         # exit
 874         xorl %edi, %edi
 875         call do_exit
 876
 877 /*
 878  * execve(). This function needs to use IRET, not SYSRET, to set up all state properly.
 879  *
 880  * C extern interface:
 881  *       extern long execve(char *name, char **argv, char **envp)
 882  *
 883  * asm input arguments:
 884  *      rdi: name, rsi: argv, rdx: envp
 885  *
 886  * We want to fallback into:
 887  *      extern long sys_execve(char *name, char **argv,char **envp, struct pt_regs regs)
 888  *
 889  * do_sys_execve asm fallback arguments:
 890  *      rdi: name, rsi: argv, rdx: envp, fake frame on the stack
 891  */
 892 ENTRY(execve)
 893         CFI_STARTPROC
 894         FAKE_STACK_FRAME $0
 895         SAVE_ALL
 896         call sys_execve
 897         movq %rax, RAX(%rsp)
 898         RESTORE_REST
 899         testq %rax,%rax
 900         je int_ret_from_sys_call
 901         RESTORE_ARGS
 902         UNFAKE_STACK_FRAME
 903         ret
 904         CFI_ENDPROC
 905
 906 KPROBE_ENTRY(page_fault)
 907         errorentry do_page_fault
 908         .previous .text
 909
 910 ENTRY(coprocessor_error)
 911         zeroentry do_coprocessor_error
 912
 913 ENTRY(simd_coprocessor_error)
 914         zeroentry do_simd_coprocessor_error
 915
 916 ENTRY(device_not_available)
 917         zeroentry math_state_restore
 918
 919         /* runs on exception stack */
 920 KPROBE_ENTRY(debug)
 921         INTR_FRAME
 922         pushq $0
 923         CFI_ADJUST_CFA_OFFSET 8
 924         paranoidentry do_debug, DEBUG_STACK
 925         jmp paranoid_exit
 926         CFI_ENDPROC
 927         .previous .text
 928
 929         /* runs on exception stack */
 930 KPROBE_ENTRY(nmi)
 931         INTR_FRAME
 932         pushq $-1
 933         CFI_ADJUST_CFA_OFFSET 8
 934         paranoidentry do_nmi
 935         /*
 936          * "Paranoid" exit path from exception stack.
 937          * Paranoid because this is used by NMIs and cannot take
 938          * any kernel state for granted.
 939          * We don't do kernel preemption checks here, because only
 940          * NMI should be common and it does not enable IRQs and
 941          * cannot get reschedule ticks.
 942          */
 943         /* ebx: no swapgs flag */
 944 paranoid_exit:
 945         testl %ebx,%ebx                         /* swapgs needed? */
 946         jnz paranoid_restore
 947         testl $3,CS(%rsp)
 948         jnz   paranoid_userspace
 949 paranoid_swapgs:
 950         swapgs
 951 paranoid_restore:
 952         RESTORE_ALL 8
 953         iretq
 954 paranoid_userspace:
 955         GET_THREAD_INFO(%rcx)
 956         movl threadinfo_flags(%rcx),%ebx
 957         andl $_TIF_WORK_MASK,%ebx
 958         jz paranoid_swapgs
 959         movq %rsp,%rdi                  /* &pt_regs */
 960         call sync_regs
 961         movq %rax,%rsp                  /* switch stack for scheduling */
 962         testl $_TIF_NEED_RESCHED,%ebx
 963         jnz paranoid_schedule
 964         movl %ebx,%edx                  /* arg3: thread flags */
 965         sti
 966         xorl %esi,%esi                  /* arg2: oldset */
 967         movq %rsp,%rdi                  /* arg1: &pt_regs */
 968         call do_notify_resume
 969         cli
 970         jmp paranoid_userspace
 971 paranoid_schedule:
 972         sti
 973         call schedule
 974         cli
 975         jmp paranoid_userspace
 976         CFI_ENDPROC
 977         .previous .text
 978
 979 KPROBE_ENTRY(int3)
 980         INTR_FRAME
 981         pushq $0
 982         CFI_ADJUST_CFA_OFFSET 8
 983         paranoidentry do_int3, DEBUG_STACK
 984         jmp paranoid_exit
 985         CFI_ENDPROC
 986         .previous .text
 987
 988 ENTRY(overflow)
 989         zeroentry do_overflow
 990
 991 ENTRY(bounds)
 992         zeroentry do_bounds
 993
 994 ENTRY(invalid_op)
 995         zeroentry do_invalid_op
 996
 997 ENTRY(coprocessor_segment_overrun)
 998         zeroentry do_coprocessor_segment_overrun
 999
1000 ENTRY(reserved)
1001         zeroentry do_reserved
1002
1003         /* runs on exception stack */
1004 ENTRY(double_fault)
1005         XCPT_FRAME
1006         paranoidentry do_double_fault
1007         jmp paranoid_exit
1008         CFI_ENDPROC
1009
1010 ENTRY(invalid_TSS)
1011         errorentry do_invalid_TSS
1012
1013 ENTRY(segment_not_present)
1014         errorentry do_segment_not_present
1015
1016         /* runs on exception stack */
1017 ENTRY(stack_segment)
1018         XCPT_FRAME
1019         paranoidentry do_stack_segment
1020         jmp paranoid_exit
1021         CFI_ENDPROC
1022
1023 KPROBE_ENTRY(general_protection)
1024         errorentry do_general_protection
1025         .previous .text
1026
1027 ENTRY(alignment_check)
1028         errorentry do_alignment_check
1029
1030 ENTRY(divide_error)
1031         zeroentry do_divide_error
1032
1033 ENTRY(spurious_interrupt_bug)
1034         zeroentry do_spurious_interrupt_bug
1035
1036 #ifdef CONFIG_X86_MCE
1037         /* runs on exception stack */
1038 ENTRY(machine_check)
1039         INTR_FRAME
1040         pushq $0
1041         CFI_ADJUST_CFA_OFFSET 8
1042         paranoidentry do_machine_check
1043         jmp paranoid_exit
1044         CFI_ENDPROC
1045 #endif
1046
1047 ENTRY(call_softirq)
1048         CFI_STARTPROC
1049         movq %gs:pda_irqstackptr,%rax
1050         movq %rsp,%rdx
1051         CFI_DEF_CFA_REGISTER    rdx
1052         incl %gs:pda_irqcount
1053         cmove %rax,%rsp
1054         pushq %rdx
1055         /*todo CFI_DEF_CFA_EXPRESSION ...*/
1056         call __do_softirq
1057         popq %rsp
1058         CFI_DEF_CFA_REGISTER    rsp
1059         decl %gs:pda_irqcount
1060         ret
1061         CFI_ENDPROC