kernel/arch/sparc/lib/NG4copy_page.S

   1 /* NG4copy_page.S: Niagara-4 optimized copy page.
   2  *
   3  * Copyright (C) 2012 (davem@davemloft.net)
   4  */
   5
   6 #include <asm/asi.h>
   7 #include <asm/page.h>
   8
   9         .text
  10         .align          32
  11
  12         .register       %g2, #scratch
  13         .register       %g3, #scratch
  14
  15         .globl          NG4copy_user_page
  16 NG4copy_user_page:      /* %o0=dest, %o1=src, %o2=vaddr */
  17         prefetch        [%o1 + 0x000], #n_reads_strong
  18         prefetch        [%o1 + 0x040], #n_reads_strong
  19         prefetch        [%o1 + 0x080], #n_reads_strong
  20         prefetch        [%o1 + 0x0c0], #n_reads_strong
  21         set             PAGE_SIZE, %g7
  22         prefetch        [%o1 + 0x100], #n_reads_strong
  23         prefetch        [%o1 + 0x140], #n_reads_strong
  24         prefetch        [%o1 + 0x180], #n_reads_strong
  25         prefetch        [%o1 + 0x1c0], #n_reads_strong
  26 1:
  27         ldx             [%o1 + 0x00], %o2
  28         subcc           %g7, 0x40, %g7
  29         ldx             [%o1 + 0x08], %o3
  30         ldx             [%o1 + 0x10], %o4
  31         ldx             [%o1 + 0x18], %o5
  32         ldx             [%o1 + 0x20], %g1
  33         stxa            %o2, [%o0] ASI_ST_BLKINIT_MRU_P
  34         add             %o0, 0x08, %o0
  35         ldx             [%o1 + 0x28], %g2
  36         stxa            %o3, [%o0] ASI_ST_BLKINIT_MRU_P
  37         add             %o0, 0x08, %o0
  38         ldx             [%o1 + 0x30], %g3
  39         stxa            %o4, [%o0] ASI_ST_BLKINIT_MRU_P
  40         add             %o0, 0x08, %o0
  41         ldx             [%o1 + 0x38], %o2
  42         add             %o1, 0x40, %o1
  43         stxa            %o5, [%o0] ASI_ST_BLKINIT_MRU_P
  44         add             %o0, 0x08, %o0
  45         stxa            %g1, [%o0] ASI_ST_BLKINIT_MRU_P
  46         add             %o0, 0x08, %o0
  47         stxa            %g2, [%o0] ASI_ST_BLKINIT_MRU_P
  48         add             %o0, 0x08, %o0
  49         stxa            %g3, [%o0] ASI_ST_BLKINIT_MRU_P
  50         add             %o0, 0x08, %o0
  51         stxa            %o2, [%o0] ASI_ST_BLKINIT_MRU_P
  52         add             %o0, 0x08, %o0
  53         bne,pt          %icc, 1b
  54          prefetch       [%o1 + 0x200], #n_reads_strong
  55         retl
  56          membar         #StoreLoad | #StoreStore
  57         .size           NG4copy_user_page,.-NG4copy_user_page