Merge branch 'x86-urgent-for-linus' of git://git.kernel.org/pub/scm/linux/kernel...
[sfrench/cifs-2.6.git] / arch / x86 / kernel / vsyscall_64.c
1 /*
2  *  Copyright (C) 2001 Andrea Arcangeli <andrea@suse.de> SuSE
3  *  Copyright 2003 Andi Kleen, SuSE Labs.
4  *
5  *  Thanks to hpa@transmeta.com for some useful hint.
6  *  Special thanks to Ingo Molnar for his early experience with
7  *  a different vsyscall implementation for Linux/IA32 and for the name.
8  *
9  *  vsyscall 1 is located at -10Mbyte, vsyscall 2 is located
10  *  at virtual address -10Mbyte+1024bytes etc... There are at max 4
11  *  vsyscalls. One vsyscall can reserve more than 1 slot to avoid
12  *  jumping out of line if necessary. We cannot add more with this
13  *  mechanism because older kernels won't return -ENOSYS.
14  *  If we want more than four we need a vDSO.
15  *
16  *  Note: the concept clashes with user mode linux. If you use UML and
17  *  want per guest time just set the kernel.vsyscall64 sysctl to 0.
18  */
19
20 /* Disable profiling for userspace code: */
21 #define DISABLE_BRANCH_PROFILING
22
23 #include <linux/time.h>
24 #include <linux/init.h>
25 #include <linux/kernel.h>
26 #include <linux/timer.h>
27 #include <linux/seqlock.h>
28 #include <linux/jiffies.h>
29 #include <linux/sysctl.h>
30 #include <linux/clocksource.h>
31 #include <linux/getcpu.h>
32 #include <linux/cpu.h>
33 #include <linux/smp.h>
34 #include <linux/notifier.h>
35
36 #include <asm/vsyscall.h>
37 #include <asm/pgtable.h>
38 #include <asm/page.h>
39 #include <asm/unistd.h>
40 #include <asm/fixmap.h>
41 #include <asm/errno.h>
42 #include <asm/io.h>
43 #include <asm/segment.h>
44 #include <asm/desc.h>
45 #include <asm/topology.h>
46 #include <asm/vgtod.h>
47
48 #define __vsyscall(nr) \
49                 __attribute__ ((unused, __section__(".vsyscall_" #nr))) notrace
50 #define __syscall_clobber "r11","cx","memory"
51
52 /*
53  * vsyscall_gtod_data contains data that is :
54  * - readonly from vsyscalls
55  * - written by timer interrupt or systcl (/proc/sys/kernel/vsyscall64)
56  * Try to keep this structure as small as possible to avoid cache line ping pongs
57  */
58 int __vgetcpu_mode __section_vgetcpu_mode;
59
60 struct vsyscall_gtod_data __vsyscall_gtod_data __section_vsyscall_gtod_data =
61 {
62         .lock = SEQLOCK_UNLOCKED,
63         .sysctl_enabled = 1,
64 };
65
66 void update_vsyscall_tz(void)
67 {
68         unsigned long flags;
69
70         write_seqlock_irqsave(&vsyscall_gtod_data.lock, flags);
71         /* sys_tz has changed */
72         vsyscall_gtod_data.sys_tz = sys_tz;
73         write_sequnlock_irqrestore(&vsyscall_gtod_data.lock, flags);
74 }
75
76 void update_vsyscall(struct timespec *wall_time, struct clocksource *clock)
77 {
78         unsigned long flags;
79
80         write_seqlock_irqsave(&vsyscall_gtod_data.lock, flags);
81         /* copy vsyscall data */
82         vsyscall_gtod_data.clock.vread = clock->vread;
83         vsyscall_gtod_data.clock.cycle_last = clock->cycle_last;
84         vsyscall_gtod_data.clock.mask = clock->mask;
85         vsyscall_gtod_data.clock.mult = clock->mult;
86         vsyscall_gtod_data.clock.shift = clock->shift;
87         vsyscall_gtod_data.wall_time_sec = wall_time->tv_sec;
88         vsyscall_gtod_data.wall_time_nsec = wall_time->tv_nsec;
89         vsyscall_gtod_data.wall_to_monotonic = wall_to_monotonic;
90         write_sequnlock_irqrestore(&vsyscall_gtod_data.lock, flags);
91 }
92
93 /* RED-PEN may want to readd seq locking, but then the variable should be
94  * write-once.
95  */
96 static __always_inline void do_get_tz(struct timezone * tz)
97 {
98         *tz = __vsyscall_gtod_data.sys_tz;
99 }
100
101 static __always_inline int gettimeofday(struct timeval *tv, struct timezone *tz)
102 {
103         int ret;
104         asm volatile("syscall"
105                 : "=a" (ret)
106                 : "0" (__NR_gettimeofday),"D" (tv),"S" (tz)
107                 : __syscall_clobber );
108         return ret;
109 }
110
111 static __always_inline long time_syscall(long *t)
112 {
113         long secs;
114         asm volatile("syscall"
115                 : "=a" (secs)
116                 : "0" (__NR_time),"D" (t) : __syscall_clobber);
117         return secs;
118 }
119
120 static __always_inline void do_vgettimeofday(struct timeval * tv)
121 {
122         cycle_t now, base, mask, cycle_delta;
123         unsigned seq;
124         unsigned long mult, shift, nsec;
125         cycle_t (*vread)(void);
126         do {
127                 seq = read_seqbegin(&__vsyscall_gtod_data.lock);
128
129                 vread = __vsyscall_gtod_data.clock.vread;
130                 if (unlikely(!__vsyscall_gtod_data.sysctl_enabled || !vread)) {
131                         gettimeofday(tv,NULL);
132                         return;
133                 }
134
135                 /*
136                  * Surround the RDTSC by barriers, to make sure it's not
137                  * speculated to outside the seqlock critical section and
138                  * does not cause time warps:
139                  */
140                 rdtsc_barrier();
141                 now = vread();
142                 rdtsc_barrier();
143
144                 base = __vsyscall_gtod_data.clock.cycle_last;
145                 mask = __vsyscall_gtod_data.clock.mask;
146                 mult = __vsyscall_gtod_data.clock.mult;
147                 shift = __vsyscall_gtod_data.clock.shift;
148
149                 tv->tv_sec = __vsyscall_gtod_data.wall_time_sec;
150                 nsec = __vsyscall_gtod_data.wall_time_nsec;
151         } while (read_seqretry(&__vsyscall_gtod_data.lock, seq));
152
153         /* calculate interval: */
154         cycle_delta = (now - base) & mask;
155         /* convert to nsecs: */
156         nsec += (cycle_delta * mult) >> shift;
157
158         while (nsec >= NSEC_PER_SEC) {
159                 tv->tv_sec += 1;
160                 nsec -= NSEC_PER_SEC;
161         }
162         tv->tv_usec = nsec / NSEC_PER_USEC;
163 }
164
165 int __vsyscall(0) vgettimeofday(struct timeval * tv, struct timezone * tz)
166 {
167         if (tv)
168                 do_vgettimeofday(tv);
169         if (tz)
170                 do_get_tz(tz);
171         return 0;
172 }
173
174 /* This will break when the xtime seconds get inaccurate, but that is
175  * unlikely */
176 time_t __vsyscall(1) vtime(time_t *t)
177 {
178         struct timeval tv;
179         time_t result;
180         if (unlikely(!__vsyscall_gtod_data.sysctl_enabled))
181                 return time_syscall(t);
182
183         vgettimeofday(&tv, NULL);
184         result = tv.tv_sec;
185         if (t)
186                 *t = result;
187         return result;
188 }
189
190 /* Fast way to get current CPU and node.
191    This helps to do per node and per CPU caches in user space.
192    The result is not guaranteed without CPU affinity, but usually
193    works out because the scheduler tries to keep a thread on the same
194    CPU.
195
196    tcache must point to a two element sized long array.
197    All arguments can be NULL. */
198 long __vsyscall(2)
199 vgetcpu(unsigned *cpu, unsigned *node, struct getcpu_cache *tcache)
200 {
201         unsigned int p;
202         unsigned long j = 0;
203
204         /* Fast cache - only recompute value once per jiffies and avoid
205            relatively costly rdtscp/cpuid otherwise.
206            This works because the scheduler usually keeps the process
207            on the same CPU and this syscall doesn't guarantee its
208            results anyways.
209            We do this here because otherwise user space would do it on
210            its own in a likely inferior way (no access to jiffies).
211            If you don't like it pass NULL. */
212         if (tcache && tcache->blob[0] == (j = __jiffies)) {
213                 p = tcache->blob[1];
214         } else if (__vgetcpu_mode == VGETCPU_RDTSCP) {
215                 /* Load per CPU data from RDTSCP */
216                 native_read_tscp(&p);
217         } else {
218                 /* Load per CPU data from GDT */
219                 asm("lsl %1,%0" : "=r" (p) : "r" (__PER_CPU_SEG));
220         }
221         if (tcache) {
222                 tcache->blob[0] = j;
223                 tcache->blob[1] = p;
224         }
225         if (cpu)
226                 *cpu = p & 0xfff;
227         if (node)
228                 *node = p >> 12;
229         return 0;
230 }
231
232 static long __vsyscall(3) venosys_1(void)
233 {
234         return -ENOSYS;
235 }
236
237 #ifdef CONFIG_SYSCTL
238
239 static int
240 vsyscall_sysctl_change(ctl_table *ctl, int write, struct file * filp,
241                        void __user *buffer, size_t *lenp, loff_t *ppos)
242 {
243         return proc_dointvec(ctl, write, filp, buffer, lenp, ppos);
244 }
245
246 static ctl_table kernel_table2[] = {
247         { .procname = "vsyscall64",
248           .data = &vsyscall_gtod_data.sysctl_enabled, .maxlen = sizeof(int),
249           .mode = 0644,
250           .proc_handler = vsyscall_sysctl_change },
251         {}
252 };
253
254 static ctl_table kernel_root_table2[] = {
255         { .ctl_name = CTL_KERN, .procname = "kernel", .mode = 0555,
256           .child = kernel_table2 },
257         {}
258 };
259 #endif
260
261 /* Assume __initcall executes before all user space. Hopefully kmod
262    doesn't violate that. We'll find out if it does. */
263 static void __cpuinit vsyscall_set_cpu(int cpu)
264 {
265         unsigned long d;
266         unsigned long node = 0;
267 #ifdef CONFIG_NUMA
268         node = cpu_to_node(cpu);
269 #endif
270         if (cpu_has(&cpu_data(cpu), X86_FEATURE_RDTSCP))
271                 write_rdtscp_aux((node << 12) | cpu);
272
273         /* Store cpu number in limit so that it can be loaded quickly
274            in user space in vgetcpu.
275            12 bits for the CPU and 8 bits for the node. */
276         d = 0x0f40000000000ULL;
277         d |= cpu;
278         d |= (node & 0xf) << 12;
279         d |= (node >> 4) << 48;
280         write_gdt_entry(get_cpu_gdt_table(cpu), GDT_ENTRY_PER_CPU, &d, DESCTYPE_S);
281 }
282
283 static void __cpuinit cpu_vsyscall_init(void *arg)
284 {
285         /* preemption should be already off */
286         vsyscall_set_cpu(raw_smp_processor_id());
287 }
288
289 static int __cpuinit
290 cpu_vsyscall_notifier(struct notifier_block *n, unsigned long action, void *arg)
291 {
292         long cpu = (long)arg;
293         if (action == CPU_ONLINE || action == CPU_ONLINE_FROZEN)
294                 smp_call_function_single(cpu, cpu_vsyscall_init, NULL, 1);
295         return NOTIFY_DONE;
296 }
297
298 void __init map_vsyscall(void)
299 {
300         extern char __vsyscall_0;
301         unsigned long physaddr_page0 = __pa_symbol(&__vsyscall_0);
302
303         /* Note that VSYSCALL_MAPPED_PAGES must agree with the code below. */
304         __set_fixmap(VSYSCALL_FIRST_PAGE, physaddr_page0, PAGE_KERNEL_VSYSCALL);
305 }
306
307 static int __init vsyscall_init(void)
308 {
309         BUG_ON(((unsigned long) &vgettimeofday !=
310                         VSYSCALL_ADDR(__NR_vgettimeofday)));
311         BUG_ON((unsigned long) &vtime != VSYSCALL_ADDR(__NR_vtime));
312         BUG_ON((VSYSCALL_ADDR(0) != __fix_to_virt(VSYSCALL_FIRST_PAGE)));
313         BUG_ON((unsigned long) &vgetcpu != VSYSCALL_ADDR(__NR_vgetcpu));
314 #ifdef CONFIG_SYSCTL
315         register_sysctl_table(kernel_root_table2);
316 #endif
317         on_each_cpu(cpu_vsyscall_init, NULL, 1);
318         hotcpu_notifier(cpu_vsyscall_notifier, 0);
319         return 0;
320 }
321
322 __initcall(vsyscall_init);