arch/s390/mm/init.c

   1 /*
   2  *  S390 version
   3  *    Copyright IBM Corp. 1999
   4  *    Author(s): Hartmut Penner (hp@de.ibm.com)
   5  *
   6  *  Derived from "arch/i386/mm/init.c"
   7  *    Copyright (C) 1995  Linus Torvalds
   8  */
   9
  10 #include <linux/signal.h>
  11 #include <linux/sched.h>
  12 #include <linux/kernel.h>
  13 #include <linux/errno.h>
  14 #include <linux/string.h>
  15 #include <linux/types.h>
  16 #include <linux/ptrace.h>
  17 #include <linux/mman.h>
  18 #include <linux/mm.h>
  19 #include <linux/swap.h>
  20 #include <linux/smp.h>
  21 #include <linux/init.h>
  22 #include <linux/pagemap.h>
  23 #include <linux/bootmem.h>
  24 #include <linux/memory.h>
  25 #include <linux/pfn.h>
  26 #include <linux/poison.h>
  27 #include <linux/initrd.h>
  28 #include <linux/export.h>
  29 #include <linux/cma.h>
  30 #include <linux/gfp.h>
  31 #include <linux/memblock.h>
  32 #include <asm/processor.h>
  33 #include <linux/uaccess.h>
  34 #include <asm/pgtable.h>
  35 #include <asm/pgalloc.h>
  36 #include <asm/dma.h>
  37 #include <asm/lowcore.h>
  38 #include <asm/tlb.h>
  39 #include <asm/tlbflush.h>
  40 #include <asm/sections.h>
  41 #include <asm/ctl_reg.h>
  42 #include <asm/sclp.h>
  43 #include <asm/set_memory.h>
  44
  45 pgd_t swapper_pg_dir[PTRS_PER_PGD] __section(.bss..swapper_pg_dir);
  46
  47 unsigned long empty_zero_page, zero_page_mask;
  48 EXPORT_SYMBOL(empty_zero_page);
  49 EXPORT_SYMBOL(zero_page_mask);
  50
  51 static void __init setup_zero_pages(void)
  52 {
  53         unsigned int order;
  54         struct page *page;
  55         int i;
  56
  57         /* Latest machines require a mapping granularity of 512KB */
  58         order = 7;
  59
  60         /* Limit number of empty zero pages for small memory sizes */
  61         while (order > 2 && (totalram_pages >> 10) < (1UL << order))
  62                 order--;
  63
  64         empty_zero_page = __get_free_pages(GFP_KERNEL | __GFP_ZERO, order);
  65         if (!empty_zero_page)
  66                 panic("Out of memory in setup_zero_pages");
  67
  68         page = virt_to_page((void *) empty_zero_page);
  69         split_page(page, order);
  70         for (i = 1 << order; i > 0; i--) {
  71                 mark_page_reserved(page);
  72                 page++;
  73         }
  74
  75         zero_page_mask = ((PAGE_SIZE << order) - 1) & PAGE_MASK;
  76 }
  77
  78 /*
  79  * paging_init() sets up the page tables
  80  */
  81 void __init paging_init(void)
  82 {
  83         unsigned long max_zone_pfns[MAX_NR_ZONES];
  84         unsigned long pgd_type, asce_bits;
  85         psw_t psw;
  86
  87         init_mm.pgd = swapper_pg_dir;
  88         if (VMALLOC_END > _REGION2_SIZE) {
  89                 asce_bits = _ASCE_TYPE_REGION2 | _ASCE_TABLE_LENGTH;
  90                 pgd_type = _REGION2_ENTRY_EMPTY;
  91         } else {
  92                 asce_bits = _ASCE_TYPE_REGION3 | _ASCE_TABLE_LENGTH;
  93                 pgd_type = _REGION3_ENTRY_EMPTY;
  94         }
  95         init_mm.context.asce = (__pa(init_mm.pgd) & PAGE_MASK) | asce_bits;
  96         S390_lowcore.kernel_asce = init_mm.context.asce;
  97         crst_table_init((unsigned long *) init_mm.pgd, pgd_type);
  98         vmem_map_init();
  99
 100         /* enable virtual mapping in kernel mode */
 101         __ctl_load(S390_lowcore.kernel_asce, 1, 1);
 102         __ctl_load(S390_lowcore.kernel_asce, 7, 7);
 103         __ctl_load(S390_lowcore.kernel_asce, 13, 13);
 104         psw.mask = __extract_psw();
 105         psw_bits(psw).dat = 1;
 106         psw_bits(psw).as = PSW_BITS_AS_HOME;
 107         __load_psw_mask(psw.mask);
 108
 109         sparse_memory_present_with_active_regions(MAX_NUMNODES);
 110         sparse_init();
 111         memset(max_zone_pfns, 0, sizeof(max_zone_pfns));
 112         max_zone_pfns[ZONE_DMA] = PFN_DOWN(MAX_DMA_ADDRESS);
 113         max_zone_pfns[ZONE_NORMAL] = max_low_pfn;
 114         free_area_init_nodes(max_zone_pfns);
 115 }
 116
 117 void mark_rodata_ro(void)
 118 {
 119         unsigned long size = __end_ro_after_init - __start_ro_after_init;
 120
 121         set_memory_ro((unsigned long)__start_ro_after_init, size >> PAGE_SHIFT);
 122         pr_info("Write protected read-only-after-init data: %luk\n", size >> 10);
 123 }
 124
 125 void __init mem_init(void)
 126 {
 127         cpumask_set_cpu(0, &init_mm.context.cpu_attach_mask);
 128         cpumask_set_cpu(0, mm_cpumask(&init_mm));
 129
 130         set_max_mapnr(max_low_pfn);
 131         high_memory = (void *) __va(max_low_pfn * PAGE_SIZE);
 132
 133         /* Setup guest page hinting */
 134         cmma_init();
 135
 136         /* this will put all low memory onto the freelists */
 137         free_all_bootmem();
 138         setup_zero_pages();     /* Setup zeroed pages. */
 139
 140         cmma_init_nodat();
 141
 142         mem_init_print_info(NULL);
 143 }
 144
 145 void free_initmem(void)
 146 {
 147         __set_memory((unsigned long) _sinittext,
 148                      (_einittext - _sinittext) >> PAGE_SHIFT,
 149                      SET_MEMORY_RW | SET_MEMORY_NX);
 150         free_initmem_default(POISON_FREE_INITMEM);
 151 }
 152
 153 #ifdef CONFIG_BLK_DEV_INITRD
 154 void __init free_initrd_mem(unsigned long start, unsigned long end)
 155 {
 156         free_reserved_area((void *)start, (void *)end, POISON_FREE_INITMEM,
 157                            "initrd");
 158 }
 159 #endif
 160
 161 unsigned long memory_block_size_bytes(void)
 162 {
 163         /*
 164          * Make sure the memory block size is always greater
 165          * or equal than the memory increment size.
 166          */
 167         return max_t(unsigned long, MIN_MEMORY_BLOCK_SIZE, sclp.rzm);
 168 }
 169
 170 #ifdef CONFIG_MEMORY_HOTPLUG
 171
 172 #ifdef CONFIG_CMA
 173
 174 /* Prevent memory blocks which contain cma regions from going offline */
 175
 176 struct s390_cma_mem_data {
 177         unsigned long start;
 178         unsigned long end;
 179 };
 180
 181 static int s390_cma_check_range(struct cma *cma, void *data)
 182 {
 183         struct s390_cma_mem_data *mem_data;
 184         unsigned long start, end;
 185
 186         mem_data = data;
 187         start = cma_get_base(cma);
 188         end = start + cma_get_size(cma);
 189         if (end < mem_data->start)
 190                 return 0;
 191         if (start >= mem_data->end)
 192                 return 0;
 193         return -EBUSY;
 194 }
 195
 196 static int s390_cma_mem_notifier(struct notifier_block *nb,
 197                                  unsigned long action, void *data)
 198 {
 199         struct s390_cma_mem_data mem_data;
 200         struct memory_notify *arg;
 201         int rc = 0;
 202
 203         arg = data;
 204         mem_data.start = arg->start_pfn << PAGE_SHIFT;
 205         mem_data.end = mem_data.start + (arg->nr_pages << PAGE_SHIFT);
 206         if (action == MEM_GOING_OFFLINE)
 207                 rc = cma_for_each_area(s390_cma_check_range, &mem_data);
 208         return notifier_from_errno(rc);
 209 }
 210
 211 static struct notifier_block s390_cma_mem_nb = {
 212         .notifier_call = s390_cma_mem_notifier,
 213 };
 214
 215 static int __init s390_cma_mem_init(void)
 216 {
 217         return register_memory_notifier(&s390_cma_mem_nb);
 218 }
 219 device_initcall(s390_cma_mem_init);
 220
 221 #endif /* CONFIG_CMA */
 222
 223 int arch_add_memory(int nid, u64 start, u64 size, bool want_memblock)
 224 {
 225         unsigned long start_pfn = PFN_DOWN(start);
 226         unsigned long size_pages = PFN_DOWN(size);
 227         int rc;
 228
 229         rc = vmem_add_mapping(start, size);
 230         if (rc)
 231                 return rc;
 232
 233         rc = __add_pages(nid, start_pfn, size_pages, want_memblock);
 234         if (rc)
 235                 vmem_remove_mapping(start, size);
 236         return rc;
 237 }
 238
 239 #ifdef CONFIG_MEMORY_HOTREMOVE
 240 int arch_remove_memory(u64 start, u64 size)
 241 {
 242         /*
 243          * There is no hardware or firmware interface which could trigger a
 244          * hot memory remove on s390. So there is nothing that needs to be
 245          * implemented.
 246          */
 247         return -EBUSY;
 248 }
 249 #endif
 250 #endif /* CONFIG_MEMORY_HOTPLUG */