locking/rtmutex: replace top-waiter and pi_waiters leftmost caching
[sfrench/cifs-2.6.git] / kernel / acct.c
1 /*
2  *  linux/kernel/acct.c
3  *
4  *  BSD Process Accounting for Linux
5  *
6  *  Author: Marco van Wieringen <mvw@planets.elm.net>
7  *
8  *  Some code based on ideas and code from:
9  *  Thomas K. Dyas <tdyas@eden.rutgers.edu>
10  *
11  *  This file implements BSD-style process accounting. Whenever any
12  *  process exits, an accounting record of type "struct acct" is
13  *  written to the file specified with the acct() system call. It is
14  *  up to user-level programs to do useful things with the accounting
15  *  log. The kernel just provides the raw accounting information.
16  *
17  * (C) Copyright 1995 - 1997 Marco van Wieringen - ELM Consultancy B.V.
18  *
19  *  Plugged two leaks. 1) It didn't return acct_file into the free_filps if
20  *  the file happened to be read-only. 2) If the accounting was suspended
21  *  due to the lack of space it happily allowed to reopen it and completely
22  *  lost the old acct_file. 3/10/98, Al Viro.
23  *
24  *  Now we silently close acct_file on attempt to reopen. Cleaned sys_acct().
25  *  XTerms and EMACS are manifestations of pure evil. 21/10/98, AV.
26  *
27  *  Fixed a nasty interaction with with sys_umount(). If the accointing
28  *  was suspeneded we failed to stop it on umount(). Messy.
29  *  Another one: remount to readonly didn't stop accounting.
30  *      Question: what should we do if we have CAP_SYS_ADMIN but not
31  *  CAP_SYS_PACCT? Current code does the following: umount returns -EBUSY
32  *  unless we are messing with the root. In that case we are getting a
33  *  real mess with do_remount_sb(). 9/11/98, AV.
34  *
35  *  Fixed a bunch of races (and pair of leaks). Probably not the best way,
36  *  but this one obviously doesn't introduce deadlocks. Later. BTW, found
37  *  one race (and leak) in BSD implementation.
38  *  OK, that's better. ANOTHER race and leak in BSD variant. There always
39  *  is one more bug... 10/11/98, AV.
40  *
41  *      Oh, fsck... Oopsable SMP race in do_process_acct() - we must hold
42  * ->mmap_sem to walk the vma list of current->mm. Nasty, since it leaks
43  * a struct file opened for write. Fixed. 2/6/2000, AV.
44  */
45
46 #include <linux/mm.h>
47 #include <linux/slab.h>
48 #include <linux/acct.h>
49 #include <linux/capability.h>
50 #include <linux/file.h>
51 #include <linux/tty.h>
52 #include <linux/security.h>
53 #include <linux/vfs.h>
54 #include <linux/jiffies.h>
55 #include <linux/times.h>
56 #include <linux/syscalls.h>
57 #include <linux/mount.h>
58 #include <linux/uaccess.h>
59 #include <linux/sched/cputime.h>
60
61 #include <asm/div64.h>
62 #include <linux/blkdev.h> /* sector_div */
63 #include <linux/pid_namespace.h>
64 #include <linux/fs_pin.h>
65
66 /*
67  * These constants control the amount of freespace that suspend and
68  * resume the process accounting system, and the time delay between
69  * each check.
70  * Turned into sysctl-controllable parameters. AV, 12/11/98
71  */
72
73 int acct_parm[3] = {4, 2, 30};
74 #define RESUME          (acct_parm[0])  /* >foo% free space - resume */
75 #define SUSPEND         (acct_parm[1])  /* <foo% free space - suspend */
76 #define ACCT_TIMEOUT    (acct_parm[2])  /* foo second timeout between checks */
77
78 /*
79  * External references and all of the globals.
80  */
81
82 struct bsd_acct_struct {
83         struct fs_pin           pin;
84         atomic_long_t           count;
85         struct rcu_head         rcu;
86         struct mutex            lock;
87         int                     active;
88         unsigned long           needcheck;
89         struct file             *file;
90         struct pid_namespace    *ns;
91         struct work_struct      work;
92         struct completion       done;
93 };
94
95 static void do_acct_process(struct bsd_acct_struct *acct);
96
97 /*
98  * Check the amount of free space and suspend/resume accordingly.
99  */
100 static int check_free_space(struct bsd_acct_struct *acct)
101 {
102         struct kstatfs sbuf;
103
104         if (time_is_before_jiffies(acct->needcheck))
105                 goto out;
106
107         /* May block */
108         if (vfs_statfs(&acct->file->f_path, &sbuf))
109                 goto out;
110
111         if (acct->active) {
112                 u64 suspend = sbuf.f_blocks * SUSPEND;
113                 do_div(suspend, 100);
114                 if (sbuf.f_bavail <= suspend) {
115                         acct->active = 0;
116                         pr_info("Process accounting paused\n");
117                 }
118         } else {
119                 u64 resume = sbuf.f_blocks * RESUME;
120                 do_div(resume, 100);
121                 if (sbuf.f_bavail >= resume) {
122                         acct->active = 1;
123                         pr_info("Process accounting resumed\n");
124                 }
125         }
126
127         acct->needcheck = jiffies + ACCT_TIMEOUT*HZ;
128 out:
129         return acct->active;
130 }
131
132 static void acct_put(struct bsd_acct_struct *p)
133 {
134         if (atomic_long_dec_and_test(&p->count))
135                 kfree_rcu(p, rcu);
136 }
137
138 static inline struct bsd_acct_struct *to_acct(struct fs_pin *p)
139 {
140         return p ? container_of(p, struct bsd_acct_struct, pin) : NULL;
141 }
142
143 static struct bsd_acct_struct *acct_get(struct pid_namespace *ns)
144 {
145         struct bsd_acct_struct *res;
146 again:
147         smp_rmb();
148         rcu_read_lock();
149         res = to_acct(ACCESS_ONCE(ns->bacct));
150         if (!res) {
151                 rcu_read_unlock();
152                 return NULL;
153         }
154         if (!atomic_long_inc_not_zero(&res->count)) {
155                 rcu_read_unlock();
156                 cpu_relax();
157                 goto again;
158         }
159         rcu_read_unlock();
160         mutex_lock(&res->lock);
161         if (res != to_acct(ACCESS_ONCE(ns->bacct))) {
162                 mutex_unlock(&res->lock);
163                 acct_put(res);
164                 goto again;
165         }
166         return res;
167 }
168
169 static void acct_pin_kill(struct fs_pin *pin)
170 {
171         struct bsd_acct_struct *acct = to_acct(pin);
172         mutex_lock(&acct->lock);
173         do_acct_process(acct);
174         schedule_work(&acct->work);
175         wait_for_completion(&acct->done);
176         cmpxchg(&acct->ns->bacct, pin, NULL);
177         mutex_unlock(&acct->lock);
178         pin_remove(pin);
179         acct_put(acct);
180 }
181
182 static void close_work(struct work_struct *work)
183 {
184         struct bsd_acct_struct *acct = container_of(work, struct bsd_acct_struct, work);
185         struct file *file = acct->file;
186         if (file->f_op->flush)
187                 file->f_op->flush(file, NULL);
188         __fput_sync(file);
189         complete(&acct->done);
190 }
191
192 static int acct_on(struct filename *pathname)
193 {
194         struct file *file;
195         struct vfsmount *mnt, *internal;
196         struct pid_namespace *ns = task_active_pid_ns(current);
197         struct bsd_acct_struct *acct;
198         struct fs_pin *old;
199         int err;
200
201         acct = kzalloc(sizeof(struct bsd_acct_struct), GFP_KERNEL);
202         if (!acct)
203                 return -ENOMEM;
204
205         /* Difference from BSD - they don't do O_APPEND */
206         file = file_open_name(pathname, O_WRONLY|O_APPEND|O_LARGEFILE, 0);
207         if (IS_ERR(file)) {
208                 kfree(acct);
209                 return PTR_ERR(file);
210         }
211
212         if (!S_ISREG(file_inode(file)->i_mode)) {
213                 kfree(acct);
214                 filp_close(file, NULL);
215                 return -EACCES;
216         }
217
218         if (!(file->f_mode & FMODE_CAN_WRITE)) {
219                 kfree(acct);
220                 filp_close(file, NULL);
221                 return -EIO;
222         }
223         internal = mnt_clone_internal(&file->f_path);
224         if (IS_ERR(internal)) {
225                 kfree(acct);
226                 filp_close(file, NULL);
227                 return PTR_ERR(internal);
228         }
229         err = mnt_want_write(internal);
230         if (err) {
231                 mntput(internal);
232                 kfree(acct);
233                 filp_close(file, NULL);
234                 return err;
235         }
236         mnt = file->f_path.mnt;
237         file->f_path.mnt = internal;
238
239         atomic_long_set(&acct->count, 1);
240         init_fs_pin(&acct->pin, acct_pin_kill);
241         acct->file = file;
242         acct->needcheck = jiffies;
243         acct->ns = ns;
244         mutex_init(&acct->lock);
245         INIT_WORK(&acct->work, close_work);
246         init_completion(&acct->done);
247         mutex_lock_nested(&acct->lock, 1);      /* nobody has seen it yet */
248         pin_insert(&acct->pin, mnt);
249
250         rcu_read_lock();
251         old = xchg(&ns->bacct, &acct->pin);
252         mutex_unlock(&acct->lock);
253         pin_kill(old);
254         mnt_drop_write(mnt);
255         mntput(mnt);
256         return 0;
257 }
258
259 static DEFINE_MUTEX(acct_on_mutex);
260
261 /**
262  * sys_acct - enable/disable process accounting
263  * @name: file name for accounting records or NULL to shutdown accounting
264  *
265  * Returns 0 for success or negative errno values for failure.
266  *
267  * sys_acct() is the only system call needed to implement process
268  * accounting. It takes the name of the file where accounting records
269  * should be written. If the filename is NULL, accounting will be
270  * shutdown.
271  */
272 SYSCALL_DEFINE1(acct, const char __user *, name)
273 {
274         int error = 0;
275
276         if (!capable(CAP_SYS_PACCT))
277                 return -EPERM;
278
279         if (name) {
280                 struct filename *tmp = getname(name);
281
282                 if (IS_ERR(tmp))
283                         return PTR_ERR(tmp);
284                 mutex_lock(&acct_on_mutex);
285                 error = acct_on(tmp);
286                 mutex_unlock(&acct_on_mutex);
287                 putname(tmp);
288         } else {
289                 rcu_read_lock();
290                 pin_kill(task_active_pid_ns(current)->bacct);
291         }
292
293         return error;
294 }
295
296 void acct_exit_ns(struct pid_namespace *ns)
297 {
298         rcu_read_lock();
299         pin_kill(ns->bacct);
300 }
301
302 /*
303  *  encode an unsigned long into a comp_t
304  *
305  *  This routine has been adopted from the encode_comp_t() function in
306  *  the kern_acct.c file of the FreeBSD operating system. The encoding
307  *  is a 13-bit fraction with a 3-bit (base 8) exponent.
308  */
309
310 #define MANTSIZE        13                      /* 13 bit mantissa. */
311 #define EXPSIZE         3                       /* Base 8 (3 bit) exponent. */
312 #define MAXFRACT        ((1 << MANTSIZE) - 1)   /* Maximum fractional value. */
313
314 static comp_t encode_comp_t(unsigned long value)
315 {
316         int exp, rnd;
317
318         exp = rnd = 0;
319         while (value > MAXFRACT) {
320                 rnd = value & (1 << (EXPSIZE - 1));     /* Round up? */
321                 value >>= EXPSIZE;      /* Base 8 exponent == 3 bit shift. */
322                 exp++;
323         }
324
325         /*
326          * If we need to round up, do it (and handle overflow correctly).
327          */
328         if (rnd && (++value > MAXFRACT)) {
329                 value >>= EXPSIZE;
330                 exp++;
331         }
332
333         /*
334          * Clean it up and polish it off.
335          */
336         exp <<= MANTSIZE;               /* Shift the exponent into place */
337         exp += value;                   /* and add on the mantissa. */
338         return exp;
339 }
340
341 #if ACCT_VERSION == 1 || ACCT_VERSION == 2
342 /*
343  * encode an u64 into a comp2_t (24 bits)
344  *
345  * Format: 5 bit base 2 exponent, 20 bits mantissa.
346  * The leading bit of the mantissa is not stored, but implied for
347  * non-zero exponents.
348  * Largest encodable value is 50 bits.
349  */
350
351 #define MANTSIZE2       20                      /* 20 bit mantissa. */
352 #define EXPSIZE2        5                       /* 5 bit base 2 exponent. */
353 #define MAXFRACT2       ((1ul << MANTSIZE2) - 1) /* Maximum fractional value. */
354 #define MAXEXP2         ((1 << EXPSIZE2) - 1)    /* Maximum exponent. */
355
356 static comp2_t encode_comp2_t(u64 value)
357 {
358         int exp, rnd;
359
360         exp = (value > (MAXFRACT2>>1));
361         rnd = 0;
362         while (value > MAXFRACT2) {
363                 rnd = value & 1;
364                 value >>= 1;
365                 exp++;
366         }
367
368         /*
369          * If we need to round up, do it (and handle overflow correctly).
370          */
371         if (rnd && (++value > MAXFRACT2)) {
372                 value >>= 1;
373                 exp++;
374         }
375
376         if (exp > MAXEXP2) {
377                 /* Overflow. Return largest representable number instead. */
378                 return (1ul << (MANTSIZE2+EXPSIZE2-1)) - 1;
379         } else {
380                 return (value & (MAXFRACT2>>1)) | (exp << (MANTSIZE2-1));
381         }
382 }
383 #endif
384
385 #if ACCT_VERSION == 3
386 /*
387  * encode an u64 into a 32 bit IEEE float
388  */
389 static u32 encode_float(u64 value)
390 {
391         unsigned exp = 190;
392         unsigned u;
393
394         if (value == 0)
395                 return 0;
396         while ((s64)value > 0) {
397                 value <<= 1;
398                 exp--;
399         }
400         u = (u32)(value >> 40) & 0x7fffffu;
401         return u | (exp << 23);
402 }
403 #endif
404
405 /*
406  *  Write an accounting entry for an exiting process
407  *
408  *  The acct_process() call is the workhorse of the process
409  *  accounting system. The struct acct is built here and then written
410  *  into the accounting file. This function should only be called from
411  *  do_exit() or when switching to a different output file.
412  */
413
414 static void fill_ac(acct_t *ac)
415 {
416         struct pacct_struct *pacct = &current->signal->pacct;
417         u64 elapsed, run_time;
418         struct tty_struct *tty;
419
420         /*
421          * Fill the accounting struct with the needed info as recorded
422          * by the different kernel functions.
423          */
424         memset(ac, 0, sizeof(acct_t));
425
426         ac->ac_version = ACCT_VERSION | ACCT_BYTEORDER;
427         strlcpy(ac->ac_comm, current->comm, sizeof(ac->ac_comm));
428
429         /* calculate run_time in nsec*/
430         run_time = ktime_get_ns();
431         run_time -= current->group_leader->start_time;
432         /* convert nsec -> AHZ */
433         elapsed = nsec_to_AHZ(run_time);
434 #if ACCT_VERSION == 3
435         ac->ac_etime = encode_float(elapsed);
436 #else
437         ac->ac_etime = encode_comp_t(elapsed < (unsigned long) -1l ?
438                                 (unsigned long) elapsed : (unsigned long) -1l);
439 #endif
440 #if ACCT_VERSION == 1 || ACCT_VERSION == 2
441         {
442                 /* new enlarged etime field */
443                 comp2_t etime = encode_comp2_t(elapsed);
444
445                 ac->ac_etime_hi = etime >> 16;
446                 ac->ac_etime_lo = (u16) etime;
447         }
448 #endif
449         do_div(elapsed, AHZ);
450         ac->ac_btime = get_seconds() - elapsed;
451 #if ACCT_VERSION==2
452         ac->ac_ahz = AHZ;
453 #endif
454
455         spin_lock_irq(&current->sighand->siglock);
456         tty = current->signal->tty;     /* Safe as we hold the siglock */
457         ac->ac_tty = tty ? old_encode_dev(tty_devnum(tty)) : 0;
458         ac->ac_utime = encode_comp_t(nsec_to_AHZ(pacct->ac_utime));
459         ac->ac_stime = encode_comp_t(nsec_to_AHZ(pacct->ac_stime));
460         ac->ac_flag = pacct->ac_flag;
461         ac->ac_mem = encode_comp_t(pacct->ac_mem);
462         ac->ac_minflt = encode_comp_t(pacct->ac_minflt);
463         ac->ac_majflt = encode_comp_t(pacct->ac_majflt);
464         ac->ac_exitcode = pacct->ac_exitcode;
465         spin_unlock_irq(&current->sighand->siglock);
466 }
467 /*
468  *  do_acct_process does all actual work. Caller holds the reference to file.
469  */
470 static void do_acct_process(struct bsd_acct_struct *acct)
471 {
472         acct_t ac;
473         unsigned long flim;
474         const struct cred *orig_cred;
475         struct file *file = acct->file;
476
477         /*
478          * Accounting records are not subject to resource limits.
479          */
480         flim = current->signal->rlim[RLIMIT_FSIZE].rlim_cur;
481         current->signal->rlim[RLIMIT_FSIZE].rlim_cur = RLIM_INFINITY;
482         /* Perform file operations on behalf of whoever enabled accounting */
483         orig_cred = override_creds(file->f_cred);
484
485         /*
486          * First check to see if there is enough free_space to continue
487          * the process accounting system.
488          */
489         if (!check_free_space(acct))
490                 goto out;
491
492         fill_ac(&ac);
493         /* we really need to bite the bullet and change layout */
494         ac.ac_uid = from_kuid_munged(file->f_cred->user_ns, orig_cred->uid);
495         ac.ac_gid = from_kgid_munged(file->f_cred->user_ns, orig_cred->gid);
496 #if ACCT_VERSION == 1 || ACCT_VERSION == 2
497         /* backward-compatible 16 bit fields */
498         ac.ac_uid16 = ac.ac_uid;
499         ac.ac_gid16 = ac.ac_gid;
500 #endif
501 #if ACCT_VERSION == 3
502         {
503                 struct pid_namespace *ns = acct->ns;
504
505                 ac.ac_pid = task_tgid_nr_ns(current, ns);
506                 rcu_read_lock();
507                 ac.ac_ppid = task_tgid_nr_ns(rcu_dereference(current->real_parent),
508                                              ns);
509                 rcu_read_unlock();
510         }
511 #endif
512         /*
513          * Get freeze protection. If the fs is frozen, just skip the write
514          * as we could deadlock the system otherwise.
515          */
516         if (file_start_write_trylock(file)) {
517                 /* it's been opened O_APPEND, so position is irrelevant */
518                 loff_t pos = 0;
519                 __kernel_write(file, (char *)&ac, sizeof(acct_t), &pos);
520                 file_end_write(file);
521         }
522 out:
523         current->signal->rlim[RLIMIT_FSIZE].rlim_cur = flim;
524         revert_creds(orig_cred);
525 }
526
527 /**
528  * acct_collect - collect accounting information into pacct_struct
529  * @exitcode: task exit code
530  * @group_dead: not 0, if this thread is the last one in the process.
531  */
532 void acct_collect(long exitcode, int group_dead)
533 {
534         struct pacct_struct *pacct = &current->signal->pacct;
535         u64 utime, stime;
536         unsigned long vsize = 0;
537
538         if (group_dead && current->mm) {
539                 struct vm_area_struct *vma;
540
541                 down_read(&current->mm->mmap_sem);
542                 vma = current->mm->mmap;
543                 while (vma) {
544                         vsize += vma->vm_end - vma->vm_start;
545                         vma = vma->vm_next;
546                 }
547                 up_read(&current->mm->mmap_sem);
548         }
549
550         spin_lock_irq(&current->sighand->siglock);
551         if (group_dead)
552                 pacct->ac_mem = vsize / 1024;
553         if (thread_group_leader(current)) {
554                 pacct->ac_exitcode = exitcode;
555                 if (current->flags & PF_FORKNOEXEC)
556                         pacct->ac_flag |= AFORK;
557         }
558         if (current->flags & PF_SUPERPRIV)
559                 pacct->ac_flag |= ASU;
560         if (current->flags & PF_DUMPCORE)
561                 pacct->ac_flag |= ACORE;
562         if (current->flags & PF_SIGNALED)
563                 pacct->ac_flag |= AXSIG;
564
565         task_cputime(current, &utime, &stime);
566         pacct->ac_utime += utime;
567         pacct->ac_stime += stime;
568         pacct->ac_minflt += current->min_flt;
569         pacct->ac_majflt += current->maj_flt;
570         spin_unlock_irq(&current->sighand->siglock);
571 }
572
573 static void slow_acct_process(struct pid_namespace *ns)
574 {
575         for ( ; ns; ns = ns->parent) {
576                 struct bsd_acct_struct *acct = acct_get(ns);
577                 if (acct) {
578                         do_acct_process(acct);
579                         mutex_unlock(&acct->lock);
580                         acct_put(acct);
581                 }
582         }
583 }
584
585 /**
586  * acct_process
587  *
588  * handles process accounting for an exiting task
589  */
590 void acct_process(void)
591 {
592         struct pid_namespace *ns;
593
594         /*
595          * This loop is safe lockless, since current is still
596          * alive and holds its namespace, which in turn holds
597          * its parent.
598          */
599         for (ns = task_active_pid_ns(current); ns != NULL; ns = ns->parent) {
600                 if (ns->bacct)
601                         break;
602         }
603         if (unlikely(ns))
604                 slow_acct_process(ns);
605 }