arch/arm64/include/asm/tlb.h

   1 /*
   2  * Based on arch/arm/include/asm/tlb.h
   3  *
   4  * Copyright (C) 2002 Russell King
   5  * Copyright (C) 2012 ARM Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19 #ifndef __ASM_TLB_H
  20 #define __ASM_TLB_H
  21
  22 #include <linux/pagemap.h>
  23 #include <linux/swap.h>
  24
  25 static inline void __tlb_remove_table(void *_table)
  26 {
  27         free_page_and_swap_cache((struct page *)_table);
  28 }
  29
  30 #define tlb_flush tlb_flush
  31 static void tlb_flush(struct mmu_gather *tlb);
  32
  33 #include <asm-generic/tlb.h>
  34
  35 static inline void tlb_flush(struct mmu_gather *tlb)
  36 {
  37         struct vm_area_struct vma = TLB_FLUSH_VMA(tlb->mm, 0);
  38         bool last_level = !tlb->freed_tables;
  39         unsigned long stride = tlb_get_unmap_size(tlb);
  40
  41         /*
  42          * If we're tearing down the address space then we only care about
  43          * invalidating the walk-cache, since the ASID allocator won't
  44          * reallocate our ASID without invalidating the entire TLB.
  45          */
  46         if (tlb->fullmm) {
  47                 if (!last_level)
  48                         flush_tlb_mm(tlb->mm);
  49                 return;
  50         }
  51
  52         __flush_tlb_range(&vma, tlb->start, tlb->end, stride, last_level);
  53 }
  54
  55 static inline void __pte_free_tlb(struct mmu_gather *tlb, pgtable_t pte,
  56                                   unsigned long addr)
  57 {
  58         pgtable_page_dtor(pte);
  59         tlb_remove_table(tlb, pte);
  60 }
  61
  62 #if CONFIG_PGTABLE_LEVELS > 2
  63 static inline void __pmd_free_tlb(struct mmu_gather *tlb, pmd_t *pmdp,
  64                                   unsigned long addr)
  65 {
  66         struct page *page = virt_to_page(pmdp);
  67
  68         pgtable_pmd_page_dtor(page);
  69         tlb_remove_table(tlb, page);
  70 }
  71 #endif
  72
  73 #if CONFIG_PGTABLE_LEVELS > 3
  74 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pudp,
  75                                   unsigned long addr)
  76 {
  77         tlb_remove_table(tlb, virt_to_page(pudp));
  78 }
  79 #endif
  80
  81 #endif