kernel/arch/arm64/include/asm/tlb.h

   1 /*
   2  * Based on arch/arm/include/asm/tlb.h
   3  *
   4  * Copyright (C) 2002 Russell King
   5  * Copyright (C) 2012 ARM Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19 #ifndef __ASM_TLB_H
  20 #define __ASM_TLB_H
  21
  22 #include <linux/pagemap.h>
  23 #include <linux/swap.h>
  24
  25 #ifdef CONFIG_HAVE_RCU_TABLE_FREE
  26
  27 #define tlb_remove_entry(tlb, entry)    tlb_remove_table(tlb, entry)
  28 static inline void __tlb_remove_table(void *_table)
  29 {
  30         free_page_and_swap_cache((struct page *)_table);
  31 }
  32 #else
  33 #define tlb_remove_entry(tlb, entry)    tlb_remove_page(tlb, entry)
  34 #endif /* CONFIG_HAVE_RCU_TABLE_FREE */
  35
  36 #include <asm-generic/tlb.h>
  37
  38 static inline void tlb_flush(struct mmu_gather *tlb)
  39 {
  40         if (tlb->fullmm) {
  41                 flush_tlb_mm(tlb->mm);
  42         } else {
  43                 struct vm_area_struct vma = { .vm_mm = tlb->mm, };
  44                 flush_tlb_range(&vma, tlb->start, tlb->end);
  45         }
  46 }
  47
  48 static inline void __pte_free_tlb(struct mmu_gather *tlb, pgtable_t pte,
  49                                   unsigned long addr)
  50 {
  51         __flush_tlb_pgtable(tlb->mm, addr);
  52         pgtable_page_dtor(pte);
  53         tlb_remove_entry(tlb, pte);
  54 }
  55
  56 #if CONFIG_PGTABLE_LEVELS > 2
  57 static inline void __pmd_free_tlb(struct mmu_gather *tlb, pmd_t *pmdp,
  58                                   unsigned long addr)
  59 {
  60         __flush_tlb_pgtable(tlb->mm, addr);
  61         tlb_remove_entry(tlb, virt_to_page(pmdp));
  62 }
  63 #endif
  64
  65 #if CONFIG_PGTABLE_LEVELS > 3
  66 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pudp,
  67                                   unsigned long addr)
  68 {
  69         __flush_tlb_pgtable(tlb->mm, addr);
  70         tlb_remove_entry(tlb, virt_to_page(pudp));
  71 }
  72 #endif
  73
  74 #endif