kernel/arch/mips/kvm/locore.S

   1 /*
   2  * This file is subject to the terms and conditions of the GNU General Public
   3  * License.  See the file "COPYING" in the main directory of this archive
   4  * for more details.
   5  *
   6  * Main entry point for the guest, exception handling.
   7  *
   8  * Copyright (C) 2012  MIPS Technologies, Inc.  All rights reserved.
   9  * Authors: Sanjay Lal <sanjayl@kymasys.com>
  10  */
  11
  12 #include <asm/asm.h>
  13 #include <asm/asmmacro.h>
  14 #include <asm/regdef.h>
  15 #include <asm/mipsregs.h>
  16 #include <asm/stackframe.h>
  17 #include <asm/asm-offsets.h>
  18
  19 #define _C_LABEL(x)     x
  20 #define MIPSX(name)     mips32_ ## name
  21 #define CALLFRAME_SIZ   32
  22
  23 /*
  24  * VECTOR
  25  *  exception vector entrypoint
  26  */
  27 #define VECTOR(x, regmask)      \
  28     .ent    _C_LABEL(x),0;      \
  29     EXPORT(x);
  30
  31 #define VECTOR_END(x)      \
  32     EXPORT(x);
  33
  34 /* Overload, Danger Will Robinson!! */
  35 #define PT_HOST_ASID        PT_BVADDR
  36 #define PT_HOST_USERLOCAL   PT_EPC
  37
  38 #define CP0_DDATA_LO        $28,3
  39
  40 /* Resume Flags */
  41 #define RESUME_FLAG_HOST        (1<<1)  /* Resume host? */
  42
  43 #define RESUME_GUEST            0
  44 #define RESUME_HOST             RESUME_FLAG_HOST
  45
  46 /*
  47  * __kvm_mips_vcpu_run: entry point to the guest
  48  * a0: run
  49  * a1: vcpu
  50  */
  51         .set    noreorder
  52         .set    noat
  53
  54 FEXPORT(__kvm_mips_vcpu_run)
  55         /* k0/k1 not being used in host kernel context */
  56         INT_ADDIU k1, sp, -PT_SIZE
  57         LONG_S  $0, PT_R0(k1)
  58         LONG_S  $1, PT_R1(k1)
  59         LONG_S  $2, PT_R2(k1)
  60         LONG_S  $3, PT_R3(k1)
  61
  62         LONG_S  $4, PT_R4(k1)
  63         LONG_S  $5, PT_R5(k1)
  64         LONG_S  $6, PT_R6(k1)
  65         LONG_S  $7, PT_R7(k1)
  66
  67         LONG_S  $8,  PT_R8(k1)
  68         LONG_S  $9,  PT_R9(k1)
  69         LONG_S  $10, PT_R10(k1)
  70         LONG_S  $11, PT_R11(k1)
  71         LONG_S  $12, PT_R12(k1)
  72         LONG_S  $13, PT_R13(k1)
  73         LONG_S  $14, PT_R14(k1)
  74         LONG_S  $15, PT_R15(k1)
  75         LONG_S  $16, PT_R16(k1)
  76         LONG_S  $17, PT_R17(k1)
  77
  78         LONG_S  $18, PT_R18(k1)
  79         LONG_S  $19, PT_R19(k1)
  80         LONG_S  $20, PT_R20(k1)
  81         LONG_S  $21, PT_R21(k1)
  82         LONG_S  $22, PT_R22(k1)
  83         LONG_S  $23, PT_R23(k1)
  84         LONG_S  $24, PT_R24(k1)
  85         LONG_S  $25, PT_R25(k1)
  86
  87         /*
  88          * XXXKYMA k0/k1 not saved, not being used if we got here through
  89          * an ioctl()
  90          */
  91
  92         LONG_S  $28, PT_R28(k1)
  93         LONG_S  $29, PT_R29(k1)
  94         LONG_S  $30, PT_R30(k1)
  95         LONG_S  $31, PT_R31(k1)
  96
  97         /* Save hi/lo */
  98         mflo    v0
  99         LONG_S  v0, PT_LO(k1)
 100         mfhi    v1
 101         LONG_S  v1, PT_HI(k1)
 102
 103         /* Save host status */
 104         mfc0    v0, CP0_STATUS
 105         LONG_S  v0, PT_STATUS(k1)
 106
 107         /* Save host ASID, shove it into the BVADDR location */
 108         mfc0    v1, CP0_ENTRYHI
 109         andi    v1, 0xff
 110         LONG_S  v1, PT_HOST_ASID(k1)
 111
 112         /* Save DDATA_LO, will be used to store pointer to vcpu */
 113         mfc0    v1, CP0_DDATA_LO
 114         LONG_S  v1, PT_HOST_USERLOCAL(k1)
 115
 116         /* DDATA_LO has pointer to vcpu */
 117         mtc0    a1, CP0_DDATA_LO
 118
 119         /* Offset into vcpu->arch */
 120         INT_ADDIU k1, a1, VCPU_HOST_ARCH
 121
 122         /*
 123          * Save the host stack to VCPU, used for exception processing
 124          * when we exit from the Guest
 125          */
 126         LONG_S  sp, VCPU_HOST_STACK(k1)
 127
 128         /* Save the kernel gp as well */
 129         LONG_S  gp, VCPU_HOST_GP(k1)
 130
 131         /*
 132          * Setup status register for running the guest in UM, interrupts
 133          * are disabled
 134          */
 135         li      k0, (ST0_EXL | KSU_USER | ST0_BEV)
 136         mtc0    k0, CP0_STATUS
 137         ehb
 138
 139         /* load up the new EBASE */
 140         LONG_L  k0, VCPU_GUEST_EBASE(k1)
 141         mtc0    k0, CP0_EBASE
 142
 143         /*
 144          * Now that the new EBASE has been loaded, unset BEV, set
 145          * interrupt mask as it was but make sure that timer interrupts
 146          * are enabled
 147          */
 148         li      k0, (ST0_EXL | KSU_USER | ST0_IE)
 149         andi    v0, v0, ST0_IM
 150         or      k0, k0, v0
 151         mtc0    k0, CP0_STATUS
 152         ehb
 153
 154         /* Set Guest EPC */
 155         LONG_L  t0, VCPU_PC(k1)
 156         mtc0    t0, CP0_EPC
 157
 158 FEXPORT(__kvm_mips_load_asid)
 159         /* Set the ASID for the Guest Kernel */
 160         PTR_L   t0, VCPU_COP0(k1)
 161         LONG_L  t0, COP0_STATUS(t0)
 162         andi    t0, KSU_USER | ST0_ERL | ST0_EXL
 163         xori    t0, KSU_USER
 164         bnez    t0, 1f          /* If kernel */
 165          INT_ADDIU t1, k1, VCPU_GUEST_KERNEL_ASID  /* (BD)  */
 166         INT_ADDIU t1, k1, VCPU_GUEST_USER_ASID    /* else user */
 167 1:
 168         /* t1: contains the base of the ASID array, need to get the cpu id */
 169         LONG_L  t2, TI_CPU($28)             /* smp_processor_id */
 170         INT_SLL t2, t2, 2                   /* x4 */
 171         REG_ADDU t3, t1, t2
 172         LONG_L  k0, (t3)
 173         andi    k0, k0, 0xff
 174         mtc0    k0, CP0_ENTRYHI
 175         ehb
 176
 177         /* Disable RDHWR access */
 178         mtc0    zero, CP0_HWRENA
 179
 180         /* Now load up the Guest Context from VCPU */
 181         LONG_L  $1, VCPU_R1(k1)
 182         LONG_L  $2, VCPU_R2(k1)
 183         LONG_L  $3, VCPU_R3(k1)
 184
 185         LONG_L  $4, VCPU_R4(k1)
 186         LONG_L  $5, VCPU_R5(k1)
 187         LONG_L  $6, VCPU_R6(k1)
 188         LONG_L  $7, VCPU_R7(k1)
 189
 190         LONG_L  $8, VCPU_R8(k1)
 191         LONG_L  $9, VCPU_R9(k1)
 192         LONG_L  $10, VCPU_R10(k1)
 193         LONG_L  $11, VCPU_R11(k1)
 194         LONG_L  $12, VCPU_R12(k1)
 195         LONG_L  $13, VCPU_R13(k1)
 196         LONG_L  $14, VCPU_R14(k1)
 197         LONG_L  $15, VCPU_R15(k1)
 198         LONG_L  $16, VCPU_R16(k1)
 199         LONG_L  $17, VCPU_R17(k1)
 200         LONG_L  $18, VCPU_R18(k1)
 201         LONG_L  $19, VCPU_R19(k1)
 202         LONG_L  $20, VCPU_R20(k1)
 203         LONG_L  $21, VCPU_R21(k1)
 204         LONG_L  $22, VCPU_R22(k1)
 205         LONG_L  $23, VCPU_R23(k1)
 206         LONG_L  $24, VCPU_R24(k1)
 207         LONG_L  $25, VCPU_R25(k1)
 208
 209         /* k0/k1 loaded up later */
 210
 211         LONG_L  $28, VCPU_R28(k1)
 212         LONG_L  $29, VCPU_R29(k1)
 213         LONG_L  $30, VCPU_R30(k1)
 214         LONG_L  $31, VCPU_R31(k1)
 215
 216         /* Restore hi/lo */
 217         LONG_L  k0, VCPU_LO(k1)
 218         mtlo    k0
 219
 220         LONG_L  k0, VCPU_HI(k1)
 221         mthi    k0
 222
 223 FEXPORT(__kvm_mips_load_k0k1)
 224         /* Restore the guest's k0/k1 registers */
 225         LONG_L  k0, VCPU_R26(k1)
 226         LONG_L  k1, VCPU_R27(k1)
 227
 228         /* Jump to guest */
 229         eret
 230 EXPORT(__kvm_mips_vcpu_run_end)
 231
 232 VECTOR(MIPSX(exception), unknown)
 233 /* Find out what mode we came from and jump to the proper handler. */
 234         mtc0    k0, CP0_ERROREPC        #01: Save guest k0
 235         ehb                             #02:
 236
 237         mfc0    k0, CP0_EBASE           #02: Get EBASE
 238         INT_SRL k0, k0, 10              #03: Get rid of CPUNum
 239         INT_SLL k0, k0, 10              #04
 240         LONG_S  k1, 0x3000(k0)          #05: Save k1 @ offset 0x3000
 241         INT_ADDIU k0, k0, 0x2000        #06: Exception handler is
 242                                         #    installed @ offset 0x2000
 243         j       k0                      #07: jump to the function
 244          nop                            #08: branch delay slot
 245 VECTOR_END(MIPSX(exceptionEnd))
 246 .end MIPSX(exception)
 247
 248 /*
 249  * Generic Guest exception handler. We end up here when the guest
 250  * does something that causes a trap to kernel mode.
 251  */
 252 NESTED (MIPSX(GuestException), CALLFRAME_SIZ, ra)
 253         /* Get the VCPU pointer from DDTATA_LO */
 254         mfc0    k1, CP0_DDATA_LO
 255         INT_ADDIU k1, k1, VCPU_HOST_ARCH
 256
 257         /* Start saving Guest context to VCPU */
 258         LONG_S  $0, VCPU_R0(k1)
 259         LONG_S  $1, VCPU_R1(k1)
 260         LONG_S  $2, VCPU_R2(k1)
 261         LONG_S  $3, VCPU_R3(k1)
 262         LONG_S  $4, VCPU_R4(k1)
 263         LONG_S  $5, VCPU_R5(k1)
 264         LONG_S  $6, VCPU_R6(k1)
 265         LONG_S  $7, VCPU_R7(k1)
 266         LONG_S  $8, VCPU_R8(k1)
 267         LONG_S  $9, VCPU_R9(k1)
 268         LONG_S  $10, VCPU_R10(k1)
 269         LONG_S  $11, VCPU_R11(k1)
 270         LONG_S  $12, VCPU_R12(k1)
 271         LONG_S  $13, VCPU_R13(k1)
 272         LONG_S  $14, VCPU_R14(k1)
 273         LONG_S  $15, VCPU_R15(k1)
 274         LONG_S  $16, VCPU_R16(k1)
 275         LONG_S  $17, VCPU_R17(k1)
 276         LONG_S  $18, VCPU_R18(k1)
 277         LONG_S  $19, VCPU_R19(k1)
 278         LONG_S  $20, VCPU_R20(k1)
 279         LONG_S  $21, VCPU_R21(k1)
 280         LONG_S  $22, VCPU_R22(k1)
 281         LONG_S  $23, VCPU_R23(k1)
 282         LONG_S  $24, VCPU_R24(k1)
 283         LONG_S  $25, VCPU_R25(k1)
 284
 285         /* Guest k0/k1 saved later */
 286
 287         LONG_S  $28, VCPU_R28(k1)
 288         LONG_S  $29, VCPU_R29(k1)
 289         LONG_S  $30, VCPU_R30(k1)
 290         LONG_S  $31, VCPU_R31(k1)
 291
 292         /* We need to save hi/lo and restore them on the way out */
 293         mfhi    t0
 294         LONG_S  t0, VCPU_HI(k1)
 295
 296         mflo    t0
 297         LONG_S  t0, VCPU_LO(k1)
 298
 299         /* Finally save guest k0/k1 to VCPU */
 300         mfc0    t0, CP0_ERROREPC
 301         LONG_S  t0, VCPU_R26(k1)
 302
 303         /* Get GUEST k1 and save it in VCPU */
 304         PTR_LI  t1, ~0x2ff
 305         mfc0    t0, CP0_EBASE
 306         and     t0, t0, t1
 307         LONG_L  t0, 0x3000(t0)
 308         LONG_S  t0, VCPU_R27(k1)
 309
 310         /* Now that context has been saved, we can use other registers */
 311
 312         /* Restore vcpu */
 313         mfc0    a1, CP0_DDATA_LO
 314         move    s1, a1
 315
 316         /* Restore run (vcpu->run) */
 317         LONG_L  a0, VCPU_RUN(a1)
 318         /* Save pointer to run in s0, will be saved by the compiler */
 319         move    s0, a0
 320
 321         /*
 322          * Save Host level EPC, BadVaddr and Cause to VCPU, useful to
 323          * process the exception
 324          */
 325         mfc0    k0,CP0_EPC
 326         LONG_S  k0, VCPU_PC(k1)
 327
 328         mfc0    k0, CP0_BADVADDR
 329         LONG_S  k0, VCPU_HOST_CP0_BADVADDR(k1)
 330
 331         mfc0    k0, CP0_CAUSE
 332         LONG_S  k0, VCPU_HOST_CP0_CAUSE(k1)
 333
 334         mfc0    k0, CP0_ENTRYHI
 335         LONG_S  k0, VCPU_HOST_ENTRYHI(k1)
 336
 337         /* Now restore the host state just enough to run the handlers */
 338
 339         /* Swtich EBASE to the one used by Linux */
 340         /* load up the host EBASE */
 341         mfc0    v0, CP0_STATUS
 342
 343         .set    at
 344         or      k0, v0, ST0_BEV
 345         .set    noat
 346
 347         mtc0    k0, CP0_STATUS
 348         ehb
 349
 350         LONG_L  k0, VCPU_HOST_EBASE(k1)
 351         mtc0    k0,CP0_EBASE
 352
 353         /*
 354          * If FPU is enabled, save FCR31 and clear it so that later ctc1's don't
 355          * trigger FPE for pending exceptions.
 356          */
 357         .set    at
 358         and     v1, v0, ST0_CU1
 359         beqz    v1, 1f
 360          nop
 361         .set    push
 362         SET_HARDFLOAT
 363         cfc1    t0, fcr31
 364         sw      t0, VCPU_FCR31(k1)
 365         ctc1    zero,fcr31
 366         .set    pop
 367         .set    noat
 368 1:
 369
 370 #ifdef CONFIG_CPU_HAS_MSA
 371         /*
 372          * If MSA is enabled, save MSACSR and clear it so that later
 373          * instructions don't trigger MSAFPE for pending exceptions.
 374          */
 375         mfc0    t0, CP0_CONFIG3
 376         ext     t0, t0, 28, 1 /* MIPS_CONF3_MSAP */
 377         beqz    t0, 1f
 378          nop
 379         mfc0    t0, CP0_CONFIG5
 380         ext     t0, t0, 27, 1 /* MIPS_CONF5_MSAEN */
 381         beqz    t0, 1f
 382          nop
 383         _cfcmsa t0, MSA_CSR
 384         sw      t0, VCPU_MSA_CSR(k1)
 385         _ctcmsa MSA_CSR, zero
 386 1:
 387 #endif
 388
 389         /* Now that the new EBASE has been loaded, unset BEV and KSU_USER */
 390         .set    at
 391         and     v0, v0, ~(ST0_EXL | KSU_USER | ST0_IE)
 392         or      v0, v0, ST0_CU0
 393         .set    noat
 394         mtc0    v0, CP0_STATUS
 395         ehb
 396
 397         /* Load up host GP */
 398         LONG_L  gp, VCPU_HOST_GP(k1)
 399
 400         /* Need a stack before we can jump to "C" */
 401         LONG_L  sp, VCPU_HOST_STACK(k1)
 402
 403         /* Saved host state */
 404         INT_ADDIU sp, sp, -PT_SIZE
 405
 406         /*
 407          * XXXKYMA do we need to load the host ASID, maybe not because the
 408          * kernel entries are marked GLOBAL, need to verify
 409          */
 410
 411         /* Restore host DDATA_LO */
 412         LONG_L  k0, PT_HOST_USERLOCAL(sp)
 413         mtc0    k0, CP0_DDATA_LO
 414
 415         /* Restore RDHWR access */
 416         PTR_LI  k0, 0x2000000F
 417         mtc0    k0, CP0_HWRENA
 418
 419         /* Jump to handler */
 420 FEXPORT(__kvm_mips_jump_to_handler)
 421         /*
 422          * XXXKYMA: not sure if this is safe, how large is the stack??
 423          * Now jump to the kvm_mips_handle_exit() to see if we can deal
 424          * with this in the kernel
 425          */
 426         PTR_LA  t9, kvm_mips_handle_exit
 427         jalr.hb t9
 428          INT_ADDIU sp, sp, -CALLFRAME_SIZ           /* BD Slot */
 429
 430         /* Return from handler Make sure interrupts are disabled */
 431         di
 432         ehb
 433
 434         /*
 435          * XXXKYMA: k0/k1 could have been blown away if we processed
 436          * an exception while we were handling the exception from the
 437          * guest, reload k1
 438          */
 439
 440         move    k1, s1
 441         INT_ADDIU k1, k1, VCPU_HOST_ARCH
 442
 443         /*
 444          * Check return value, should tell us if we are returning to the
 445          * host (handle I/O etc)or resuming the guest
 446          */
 447         andi    t0, v0, RESUME_HOST
 448         bnez    t0, __kvm_mips_return_to_host
 449          nop
 450
 451 __kvm_mips_return_to_guest:
 452         /* Put the saved pointer to vcpu (s1) back into the DDATA_LO Register */
 453         mtc0    s1, CP0_DDATA_LO
 454
 455         /* Load up the Guest EBASE to minimize the window where BEV is set */
 456         LONG_L  t0, VCPU_GUEST_EBASE(k1)
 457
 458         /* Switch EBASE back to the one used by KVM */
 459         mfc0    v1, CP0_STATUS
 460         .set    at
 461         or      k0, v1, ST0_BEV
 462         .set    noat
 463         mtc0    k0, CP0_STATUS
 464         ehb
 465         mtc0    t0, CP0_EBASE
 466
 467         /* Setup status register for running guest in UM */
 468         .set    at
 469         or      v1, v1, (ST0_EXL | KSU_USER | ST0_IE)
 470         and     v1, v1, ~(ST0_CU0 | ST0_MX)
 471         .set    noat
 472         mtc0    v1, CP0_STATUS
 473         ehb
 474
 475         /* Set Guest EPC */
 476         LONG_L  t0, VCPU_PC(k1)
 477         mtc0    t0, CP0_EPC
 478
 479         /* Set the ASID for the Guest Kernel */
 480         PTR_L   t0, VCPU_COP0(k1)
 481         LONG_L  t0, COP0_STATUS(t0)
 482         andi    t0, KSU_USER | ST0_ERL | ST0_EXL
 483         xori    t0, KSU_USER
 484         bnez    t0, 1f          /* If kernel */
 485          INT_ADDIU t1, k1, VCPU_GUEST_KERNEL_ASID  /* (BD)  */
 486         INT_ADDIU t1, k1, VCPU_GUEST_USER_ASID    /* else user */
 487 1:
 488         /* t1: contains the base of the ASID array, need to get the cpu id  */
 489         LONG_L  t2, TI_CPU($28)         /* smp_processor_id */
 490         INT_SLL t2, t2, 2               /* x4 */
 491         REG_ADDU t3, t1, t2
 492         LONG_L  k0, (t3)
 493         andi    k0, k0, 0xff
 494         mtc0    k0,CP0_ENTRYHI
 495         ehb
 496
 497         /* Disable RDHWR access */
 498         mtc0    zero,  CP0_HWRENA
 499
 500         /* load the guest context from VCPU and return */
 501         LONG_L  $0, VCPU_R0(k1)
 502         LONG_L  $1, VCPU_R1(k1)
 503         LONG_L  $2, VCPU_R2(k1)
 504         LONG_L  $3, VCPU_R3(k1)
 505         LONG_L  $4, VCPU_R4(k1)
 506         LONG_L  $5, VCPU_R5(k1)
 507         LONG_L  $6, VCPU_R6(k1)
 508         LONG_L  $7, VCPU_R7(k1)
 509         LONG_L  $8, VCPU_R8(k1)
 510         LONG_L  $9, VCPU_R9(k1)
 511         LONG_L  $10, VCPU_R10(k1)
 512         LONG_L  $11, VCPU_R11(k1)
 513         LONG_L  $12, VCPU_R12(k1)
 514         LONG_L  $13, VCPU_R13(k1)
 515         LONG_L  $14, VCPU_R14(k1)
 516         LONG_L  $15, VCPU_R15(k1)
 517         LONG_L  $16, VCPU_R16(k1)
 518         LONG_L  $17, VCPU_R17(k1)
 519         LONG_L  $18, VCPU_R18(k1)
 520         LONG_L  $19, VCPU_R19(k1)
 521         LONG_L  $20, VCPU_R20(k1)
 522         LONG_L  $21, VCPU_R21(k1)
 523         LONG_L  $22, VCPU_R22(k1)
 524         LONG_L  $23, VCPU_R23(k1)
 525         LONG_L  $24, VCPU_R24(k1)
 526         LONG_L  $25, VCPU_R25(k1)
 527
 528         /* $/k1 loaded later */
 529         LONG_L  $28, VCPU_R28(k1)
 530         LONG_L  $29, VCPU_R29(k1)
 531         LONG_L  $30, VCPU_R30(k1)
 532         LONG_L  $31, VCPU_R31(k1)
 533
 534 FEXPORT(__kvm_mips_skip_guest_restore)
 535         LONG_L  k0, VCPU_HI(k1)
 536         mthi    k0
 537
 538         LONG_L  k0, VCPU_LO(k1)
 539         mtlo    k0
 540
 541         LONG_L  k0, VCPU_R26(k1)
 542         LONG_L  k1, VCPU_R27(k1)
 543
 544         eret
 545
 546 __kvm_mips_return_to_host:
 547         /* EBASE is already pointing to Linux */
 548         LONG_L  k1, VCPU_HOST_STACK(k1)
 549         INT_ADDIU k1,k1, -PT_SIZE
 550
 551         /* Restore host DDATA_LO */
 552         LONG_L  k0, PT_HOST_USERLOCAL(k1)
 553         mtc0    k0, CP0_DDATA_LO
 554
 555         /* Restore host ASID */
 556         LONG_L  k0, PT_HOST_ASID(sp)
 557         andi    k0, 0xff
 558         mtc0    k0,CP0_ENTRYHI
 559         ehb
 560
 561         /* Load context saved on the host stack */
 562         LONG_L  $0, PT_R0(k1)
 563         LONG_L  $1, PT_R1(k1)
 564
 565         /*
 566          * r2/v0 is the return code, shift it down by 2 (arithmetic)
 567          * to recover the err code
 568          */
 569         INT_SRA k0, v0, 2
 570         move    $2, k0
 571
 572         LONG_L  $3, PT_R3(k1)
 573         LONG_L  $4, PT_R4(k1)
 574         LONG_L  $5, PT_R5(k1)
 575         LONG_L  $6, PT_R6(k1)
 576         LONG_L  $7, PT_R7(k1)
 577         LONG_L  $8, PT_R8(k1)
 578         LONG_L  $9, PT_R9(k1)
 579         LONG_L  $10, PT_R10(k1)
 580         LONG_L  $11, PT_R11(k1)
 581         LONG_L  $12, PT_R12(k1)
 582         LONG_L  $13, PT_R13(k1)
 583         LONG_L  $14, PT_R14(k1)
 584         LONG_L  $15, PT_R15(k1)
 585         LONG_L  $16, PT_R16(k1)
 586         LONG_L  $17, PT_R17(k1)
 587         LONG_L  $18, PT_R18(k1)
 588         LONG_L  $19, PT_R19(k1)
 589         LONG_L  $20, PT_R20(k1)
 590         LONG_L  $21, PT_R21(k1)
 591         LONG_L  $22, PT_R22(k1)
 592         LONG_L  $23, PT_R23(k1)
 593         LONG_L  $24, PT_R24(k1)
 594         LONG_L  $25, PT_R25(k1)
 595
 596         /* Host k0/k1 were not saved */
 597
 598         LONG_L  $28, PT_R28(k1)
 599         LONG_L  $29, PT_R29(k1)
 600         LONG_L  $30, PT_R30(k1)
 601
 602         LONG_L  k0, PT_HI(k1)
 603         mthi    k0
 604
 605         LONG_L  k0, PT_LO(k1)
 606         mtlo    k0
 607
 608         /* Restore RDHWR access */
 609         PTR_LI  k0, 0x2000000F
 610         mtc0    k0,  CP0_HWRENA
 611
 612         /* Restore RA, which is the address we will return to */
 613         LONG_L  ra, PT_R31(k1)
 614         j       ra
 615          nop
 616
 617 VECTOR_END(MIPSX(GuestExceptionEnd))
 618 .end MIPSX(GuestException)
 619
 620 MIPSX(exceptions):
 621         ####
 622         ##### The exception handlers.
 623         #####
 624         .word _C_LABEL(MIPSX(GuestException))   #  0
 625         .word _C_LABEL(MIPSX(GuestException))   #  1
 626         .word _C_LABEL(MIPSX(GuestException))   #  2
 627         .word _C_LABEL(MIPSX(GuestException))   #  3
 628         .word _C_LABEL(MIPSX(GuestException))   #  4
 629         .word _C_LABEL(MIPSX(GuestException))   #  5
 630         .word _C_LABEL(MIPSX(GuestException))   #  6
 631         .word _C_LABEL(MIPSX(GuestException))   #  7
 632         .word _C_LABEL(MIPSX(GuestException))   #  8
 633         .word _C_LABEL(MIPSX(GuestException))   #  9
 634         .word _C_LABEL(MIPSX(GuestException))   # 10
 635         .word _C_LABEL(MIPSX(GuestException))   # 11
 636         .word _C_LABEL(MIPSX(GuestException))   # 12
 637         .word _C_LABEL(MIPSX(GuestException))   # 13
 638         .word _C_LABEL(MIPSX(GuestException))   # 14
 639         .word _C_LABEL(MIPSX(GuestException))   # 15
 640         .word _C_LABEL(MIPSX(GuestException))   # 16
 641         .word _C_LABEL(MIPSX(GuestException))   # 17
 642         .word _C_LABEL(MIPSX(GuestException))   # 18
 643         .word _C_LABEL(MIPSX(GuestException))   # 19
 644         .word _C_LABEL(MIPSX(GuestException))   # 20
 645         .word _C_LABEL(MIPSX(GuestException))   # 21
 646         .word _C_LABEL(MIPSX(GuestException))   # 22
 647         .word _C_LABEL(MIPSX(GuestException))   # 23
 648         .word _C_LABEL(MIPSX(GuestException))   # 24
 649         .word _C_LABEL(MIPSX(GuestException))   # 25
 650         .word _C_LABEL(MIPSX(GuestException))   # 26
 651         .word _C_LABEL(MIPSX(GuestException))   # 27
 652         .word _C_LABEL(MIPSX(GuestException))   # 28
 653         .word _C_LABEL(MIPSX(GuestException))   # 29
 654         .word _C_LABEL(MIPSX(GuestException))   # 30
 655         .word _C_LABEL(MIPSX(GuestException))   # 31