Merge tag 'iommu-updates-v6.4' of git://git.kernel.org/pub/scm/linux/kernel/git/joro...
[sfrench/cifs-2.6.git] / fs / lockd / svc.c
1 // SPDX-License-Identifier: GPL-2.0-only
2 /*
3  * linux/fs/lockd/svc.c
4  *
5  * This is the central lockd service.
6  *
7  * FIXME: Separate the lockd NFS server functionality from the lockd NFS
8  *        client functionality. Oh why didn't Sun create two separate
9  *        services in the first place?
10  *
11  * Authors:     Olaf Kirch (okir@monad.swb.de)
12  *
13  * Copyright (C) 1995, 1996 Olaf Kirch <okir@monad.swb.de>
14  */
15
16 #include <linux/module.h>
17 #include <linux/init.h>
18 #include <linux/sysctl.h>
19 #include <linux/moduleparam.h>
20
21 #include <linux/sched/signal.h>
22 #include <linux/errno.h>
23 #include <linux/in.h>
24 #include <linux/uio.h>
25 #include <linux/smp.h>
26 #include <linux/mutex.h>
27 #include <linux/kthread.h>
28 #include <linux/freezer.h>
29 #include <linux/inetdevice.h>
30
31 #include <linux/sunrpc/types.h>
32 #include <linux/sunrpc/stats.h>
33 #include <linux/sunrpc/clnt.h>
34 #include <linux/sunrpc/svc.h>
35 #include <linux/sunrpc/svcsock.h>
36 #include <linux/sunrpc/svc_xprt.h>
37 #include <net/ip.h>
38 #include <net/addrconf.h>
39 #include <net/ipv6.h>
40 #include <linux/lockd/lockd.h>
41 #include <linux/nfs.h>
42
43 #include "netns.h"
44 #include "procfs.h"
45
46 #define NLMDBG_FACILITY         NLMDBG_SVC
47 #define LOCKD_BUFSIZE           (1024 + NLMSVC_XDRSIZE)
48 #define ALLOWED_SIGS            (sigmask(SIGKILL))
49
50 static struct svc_program       nlmsvc_program;
51
52 const struct nlmsvc_binding     *nlmsvc_ops;
53 EXPORT_SYMBOL_GPL(nlmsvc_ops);
54
55 static DEFINE_MUTEX(nlmsvc_mutex);
56 static unsigned int             nlmsvc_users;
57 static struct svc_serv          *nlmsvc_serv;
58 unsigned long                   nlmsvc_timeout;
59
60 unsigned int lockd_net_id;
61
62 /*
63  * These can be set at insmod time (useful for NFS as root filesystem),
64  * and also changed through the sysctl interface.  -- Jamie Lokier, Aug 2003
65  */
66 static unsigned long            nlm_grace_period;
67 static unsigned long            nlm_timeout = LOCKD_DFLT_TIMEO;
68 static int                      nlm_udpport, nlm_tcpport;
69
70 /* RLIM_NOFILE defaults to 1024. That seems like a reasonable default here. */
71 static unsigned int             nlm_max_connections = 1024;
72
73 /*
74  * Constants needed for the sysctl interface.
75  */
76 static const unsigned long      nlm_grace_period_min = 0;
77 static const unsigned long      nlm_grace_period_max = 240;
78 static const unsigned long      nlm_timeout_min = 3;
79 static const unsigned long      nlm_timeout_max = 20;
80 static const int                nlm_port_min = 0, nlm_port_max = 65535;
81
82 #ifdef CONFIG_SYSCTL
83 static struct ctl_table_header * nlm_sysctl_table;
84 #endif
85
86 static unsigned long get_lockd_grace_period(void)
87 {
88         /* Note: nlm_timeout should always be nonzero */
89         if (nlm_grace_period)
90                 return roundup(nlm_grace_period, nlm_timeout) * HZ;
91         else
92                 return nlm_timeout * 5 * HZ;
93 }
94
95 static void grace_ender(struct work_struct *grace)
96 {
97         struct delayed_work *dwork = to_delayed_work(grace);
98         struct lockd_net *ln = container_of(dwork, struct lockd_net,
99                                             grace_period_end);
100
101         locks_end_grace(&ln->lockd_manager);
102 }
103
104 static void set_grace_period(struct net *net)
105 {
106         unsigned long grace_period = get_lockd_grace_period();
107         struct lockd_net *ln = net_generic(net, lockd_net_id);
108
109         locks_start_grace(net, &ln->lockd_manager);
110         cancel_delayed_work_sync(&ln->grace_period_end);
111         schedule_delayed_work(&ln->grace_period_end, grace_period);
112 }
113
114 static void restart_grace(void)
115 {
116         if (nlmsvc_ops) {
117                 struct net *net = &init_net;
118                 struct lockd_net *ln = net_generic(net, lockd_net_id);
119
120                 cancel_delayed_work_sync(&ln->grace_period_end);
121                 locks_end_grace(&ln->lockd_manager);
122                 nlmsvc_invalidate_all();
123                 set_grace_period(net);
124         }
125 }
126
127 /*
128  * This is the lockd kernel thread
129  */
130 static int
131 lockd(void *vrqstp)
132 {
133         int             err = 0;
134         struct svc_rqst *rqstp = vrqstp;
135         struct net *net = &init_net;
136         struct lockd_net *ln = net_generic(net, lockd_net_id);
137
138         /* try_to_freeze() is called from svc_recv() */
139         set_freezable();
140
141         /* Allow SIGKILL to tell lockd to drop all of its locks */
142         allow_signal(SIGKILL);
143
144         dprintk("NFS locking service started (ver " LOCKD_VERSION ").\n");
145
146         /*
147          * The main request loop. We don't terminate until the last
148          * NFS mount or NFS daemon has gone away.
149          */
150         while (!kthread_should_stop()) {
151                 long timeout = MAX_SCHEDULE_TIMEOUT;
152                 RPC_IFDEBUG(char buf[RPC_MAX_ADDRBUFLEN]);
153
154                 /* update sv_maxconn if it has changed */
155                 rqstp->rq_server->sv_maxconn = nlm_max_connections;
156
157                 if (signalled()) {
158                         flush_signals(current);
159                         restart_grace();
160                         continue;
161                 }
162
163                 timeout = nlmsvc_retry_blocked();
164
165                 /*
166                  * Find a socket with data available and call its
167                  * recvfrom routine.
168                  */
169                 err = svc_recv(rqstp, timeout);
170                 if (err == -EAGAIN || err == -EINTR)
171                         continue;
172                 dprintk("lockd: request from %s\n",
173                                 svc_print_addr(rqstp, buf, sizeof(buf)));
174
175                 svc_process(rqstp);
176         }
177         flush_signals(current);
178         if (nlmsvc_ops)
179                 nlmsvc_invalidate_all();
180         nlm_shutdown_hosts();
181         cancel_delayed_work_sync(&ln->grace_period_end);
182         locks_end_grace(&ln->lockd_manager);
183
184         dprintk("lockd_down: service stopped\n");
185
186         svc_exit_thread(rqstp);
187         return 0;
188 }
189
190 static int create_lockd_listener(struct svc_serv *serv, const char *name,
191                                  struct net *net, const int family,
192                                  const unsigned short port,
193                                  const struct cred *cred)
194 {
195         struct svc_xprt *xprt;
196
197         xprt = svc_find_xprt(serv, name, net, family, 0);
198         if (xprt == NULL)
199                 return svc_xprt_create(serv, name, net, family, port,
200                                        SVC_SOCK_DEFAULTS, cred);
201         svc_xprt_put(xprt);
202         return 0;
203 }
204
205 static int create_lockd_family(struct svc_serv *serv, struct net *net,
206                                const int family, const struct cred *cred)
207 {
208         int err;
209
210         err = create_lockd_listener(serv, "udp", net, family, nlm_udpport,
211                         cred);
212         if (err < 0)
213                 return err;
214
215         return create_lockd_listener(serv, "tcp", net, family, nlm_tcpport,
216                         cred);
217 }
218
219 /*
220  * Ensure there are active UDP and TCP listeners for lockd.
221  *
222  * Even if we have only TCP NFS mounts and/or TCP NFSDs, some
223  * local services (such as rpc.statd) still require UDP, and
224  * some NFS servers do not yet support NLM over TCP.
225  *
226  * Returns zero if all listeners are available; otherwise a
227  * negative errno value is returned.
228  */
229 static int make_socks(struct svc_serv *serv, struct net *net,
230                 const struct cred *cred)
231 {
232         static int warned;
233         int err;
234
235         err = create_lockd_family(serv, net, PF_INET, cred);
236         if (err < 0)
237                 goto out_err;
238
239         err = create_lockd_family(serv, net, PF_INET6, cred);
240         if (err < 0 && err != -EAFNOSUPPORT)
241                 goto out_err;
242
243         warned = 0;
244         return 0;
245
246 out_err:
247         if (warned++ == 0)
248                 printk(KERN_WARNING
249                         "lockd_up: makesock failed, error=%d\n", err);
250         svc_xprt_destroy_all(serv, net);
251         svc_rpcb_cleanup(serv, net);
252         return err;
253 }
254
255 static int lockd_up_net(struct svc_serv *serv, struct net *net,
256                 const struct cred *cred)
257 {
258         struct lockd_net *ln = net_generic(net, lockd_net_id);
259         int error;
260
261         if (ln->nlmsvc_users++)
262                 return 0;
263
264         error = svc_bind(serv, net);
265         if (error)
266                 goto err_bind;
267
268         error = make_socks(serv, net, cred);
269         if (error < 0)
270                 goto err_bind;
271         set_grace_period(net);
272         dprintk("%s: per-net data created; net=%x\n", __func__, net->ns.inum);
273         return 0;
274
275 err_bind:
276         ln->nlmsvc_users--;
277         return error;
278 }
279
280 static void lockd_down_net(struct svc_serv *serv, struct net *net)
281 {
282         struct lockd_net *ln = net_generic(net, lockd_net_id);
283
284         if (ln->nlmsvc_users) {
285                 if (--ln->nlmsvc_users == 0) {
286                         nlm_shutdown_hosts_net(net);
287                         cancel_delayed_work_sync(&ln->grace_period_end);
288                         locks_end_grace(&ln->lockd_manager);
289                         svc_xprt_destroy_all(serv, net);
290                         svc_rpcb_cleanup(serv, net);
291                 }
292         } else {
293                 pr_err("%s: no users! net=%x\n",
294                         __func__, net->ns.inum);
295                 BUG();
296         }
297 }
298
299 static int lockd_inetaddr_event(struct notifier_block *this,
300         unsigned long event, void *ptr)
301 {
302         struct in_ifaddr *ifa = (struct in_ifaddr *)ptr;
303         struct sockaddr_in sin;
304
305         if (event != NETDEV_DOWN)
306                 goto out;
307
308         if (nlmsvc_serv) {
309                 dprintk("lockd_inetaddr_event: removed %pI4\n",
310                         &ifa->ifa_local);
311                 sin.sin_family = AF_INET;
312                 sin.sin_addr.s_addr = ifa->ifa_local;
313                 svc_age_temp_xprts_now(nlmsvc_serv, (struct sockaddr *)&sin);
314         }
315
316 out:
317         return NOTIFY_DONE;
318 }
319
320 static struct notifier_block lockd_inetaddr_notifier = {
321         .notifier_call = lockd_inetaddr_event,
322 };
323
324 #if IS_ENABLED(CONFIG_IPV6)
325 static int lockd_inet6addr_event(struct notifier_block *this,
326         unsigned long event, void *ptr)
327 {
328         struct inet6_ifaddr *ifa = (struct inet6_ifaddr *)ptr;
329         struct sockaddr_in6 sin6;
330
331         if (event != NETDEV_DOWN)
332                 goto out;
333
334         if (nlmsvc_serv) {
335                 dprintk("lockd_inet6addr_event: removed %pI6\n", &ifa->addr);
336                 sin6.sin6_family = AF_INET6;
337                 sin6.sin6_addr = ifa->addr;
338                 if (ipv6_addr_type(&sin6.sin6_addr) & IPV6_ADDR_LINKLOCAL)
339                         sin6.sin6_scope_id = ifa->idev->dev->ifindex;
340                 svc_age_temp_xprts_now(nlmsvc_serv, (struct sockaddr *)&sin6);
341         }
342
343 out:
344         return NOTIFY_DONE;
345 }
346
347 static struct notifier_block lockd_inet6addr_notifier = {
348         .notifier_call = lockd_inet6addr_event,
349 };
350 #endif
351
352 static int lockd_get(void)
353 {
354         struct svc_serv *serv;
355         int error;
356
357         if (nlmsvc_serv) {
358                 svc_get(nlmsvc_serv);
359                 nlmsvc_users++;
360                 return 0;
361         }
362
363         /*
364          * Sanity check: if there's no pid,
365          * we should be the first user ...
366          */
367         if (nlmsvc_users)
368                 printk(KERN_WARNING
369                         "lockd_up: no pid, %d users??\n", nlmsvc_users);
370
371         if (!nlm_timeout)
372                 nlm_timeout = LOCKD_DFLT_TIMEO;
373         nlmsvc_timeout = nlm_timeout * HZ;
374
375         serv = svc_create(&nlmsvc_program, LOCKD_BUFSIZE, lockd);
376         if (!serv) {
377                 printk(KERN_WARNING "lockd_up: create service failed\n");
378                 return -ENOMEM;
379         }
380
381         serv->sv_maxconn = nlm_max_connections;
382         error = svc_set_num_threads(serv, NULL, 1);
383         /* The thread now holds the only reference */
384         svc_put(serv);
385         if (error < 0)
386                 return error;
387
388         nlmsvc_serv = serv;
389         register_inetaddr_notifier(&lockd_inetaddr_notifier);
390 #if IS_ENABLED(CONFIG_IPV6)
391         register_inet6addr_notifier(&lockd_inet6addr_notifier);
392 #endif
393         dprintk("lockd_up: service created\n");
394         nlmsvc_users++;
395         return 0;
396 }
397
398 static void lockd_put(void)
399 {
400         if (WARN(nlmsvc_users <= 0, "lockd_down: no users!\n"))
401                 return;
402         if (--nlmsvc_users)
403                 return;
404
405         unregister_inetaddr_notifier(&lockd_inetaddr_notifier);
406 #if IS_ENABLED(CONFIG_IPV6)
407         unregister_inet6addr_notifier(&lockd_inet6addr_notifier);
408 #endif
409
410         svc_set_num_threads(nlmsvc_serv, NULL, 0);
411         nlmsvc_serv = NULL;
412         dprintk("lockd_down: service destroyed\n");
413 }
414
415 /*
416  * Bring up the lockd process if it's not already up.
417  */
418 int lockd_up(struct net *net, const struct cred *cred)
419 {
420         int error;
421
422         mutex_lock(&nlmsvc_mutex);
423
424         error = lockd_get();
425         if (error)
426                 goto err;
427
428         error = lockd_up_net(nlmsvc_serv, net, cred);
429         if (error < 0) {
430                 lockd_put();
431                 goto err;
432         }
433
434 err:
435         mutex_unlock(&nlmsvc_mutex);
436         return error;
437 }
438 EXPORT_SYMBOL_GPL(lockd_up);
439
440 /*
441  * Decrement the user count and bring down lockd if we're the last.
442  */
443 void
444 lockd_down(struct net *net)
445 {
446         mutex_lock(&nlmsvc_mutex);
447         lockd_down_net(nlmsvc_serv, net);
448         lockd_put();
449         mutex_unlock(&nlmsvc_mutex);
450 }
451 EXPORT_SYMBOL_GPL(lockd_down);
452
453 #ifdef CONFIG_SYSCTL
454
455 /*
456  * Sysctl parameters (same as module parameters, different interface).
457  */
458
459 static struct ctl_table nlm_sysctls[] = {
460         {
461                 .procname       = "nlm_grace_period",
462                 .data           = &nlm_grace_period,
463                 .maxlen         = sizeof(unsigned long),
464                 .mode           = 0644,
465                 .proc_handler   = proc_doulongvec_minmax,
466                 .extra1         = (unsigned long *) &nlm_grace_period_min,
467                 .extra2         = (unsigned long *) &nlm_grace_period_max,
468         },
469         {
470                 .procname       = "nlm_timeout",
471                 .data           = &nlm_timeout,
472                 .maxlen         = sizeof(unsigned long),
473                 .mode           = 0644,
474                 .proc_handler   = proc_doulongvec_minmax,
475                 .extra1         = (unsigned long *) &nlm_timeout_min,
476                 .extra2         = (unsigned long *) &nlm_timeout_max,
477         },
478         {
479                 .procname       = "nlm_udpport",
480                 .data           = &nlm_udpport,
481                 .maxlen         = sizeof(int),
482                 .mode           = 0644,
483                 .proc_handler   = proc_dointvec_minmax,
484                 .extra1         = (int *) &nlm_port_min,
485                 .extra2         = (int *) &nlm_port_max,
486         },
487         {
488                 .procname       = "nlm_tcpport",
489                 .data           = &nlm_tcpport,
490                 .maxlen         = sizeof(int),
491                 .mode           = 0644,
492                 .proc_handler   = proc_dointvec_minmax,
493                 .extra1         = (int *) &nlm_port_min,
494                 .extra2         = (int *) &nlm_port_max,
495         },
496         {
497                 .procname       = "nsm_use_hostnames",
498                 .data           = &nsm_use_hostnames,
499                 .maxlen         = sizeof(bool),
500                 .mode           = 0644,
501                 .proc_handler   = proc_dobool,
502         },
503         {
504                 .procname       = "nsm_local_state",
505                 .data           = &nsm_local_state,
506                 .maxlen         = sizeof(int),
507                 .mode           = 0644,
508                 .proc_handler   = proc_dointvec,
509         },
510         { }
511 };
512
513 #endif  /* CONFIG_SYSCTL */
514
515 /*
516  * Module (and sysfs) parameters.
517  */
518
519 #define param_set_min_max(name, type, which_strtol, min, max)           \
520 static int param_set_##name(const char *val, const struct kernel_param *kp) \
521 {                                                                       \
522         char *endp;                                                     \
523         __typeof__(type) num = which_strtol(val, &endp, 0);             \
524         if (endp == val || *endp || num < (min) || num > (max))         \
525                 return -EINVAL;                                         \
526         *((type *) kp->arg) = num;                                      \
527         return 0;                                                       \
528 }
529
530 static inline int is_callback(u32 proc)
531 {
532         return proc == NLMPROC_GRANTED
533                 || proc == NLMPROC_GRANTED_MSG
534                 || proc == NLMPROC_TEST_RES
535                 || proc == NLMPROC_LOCK_RES
536                 || proc == NLMPROC_CANCEL_RES
537                 || proc == NLMPROC_UNLOCK_RES
538                 || proc == NLMPROC_NSM_NOTIFY;
539 }
540
541
542 static int lockd_authenticate(struct svc_rqst *rqstp)
543 {
544         rqstp->rq_client = NULL;
545         switch (rqstp->rq_authop->flavour) {
546                 case RPC_AUTH_NULL:
547                 case RPC_AUTH_UNIX:
548                         rqstp->rq_auth_stat = rpc_auth_ok;
549                         if (rqstp->rq_proc == 0)
550                                 return SVC_OK;
551                         if (is_callback(rqstp->rq_proc)) {
552                                 /* Leave it to individual procedures to
553                                  * call nlmsvc_lookup_host(rqstp)
554                                  */
555                                 return SVC_OK;
556                         }
557                         return svc_set_client(rqstp);
558         }
559         rqstp->rq_auth_stat = rpc_autherr_badcred;
560         return SVC_DENIED;
561 }
562
563
564 param_set_min_max(port, int, simple_strtol, 0, 65535)
565 param_set_min_max(grace_period, unsigned long, simple_strtoul,
566                   nlm_grace_period_min, nlm_grace_period_max)
567 param_set_min_max(timeout, unsigned long, simple_strtoul,
568                   nlm_timeout_min, nlm_timeout_max)
569
570 MODULE_AUTHOR("Olaf Kirch <okir@monad.swb.de>");
571 MODULE_DESCRIPTION("NFS file locking service version " LOCKD_VERSION ".");
572 MODULE_LICENSE("GPL");
573
574 module_param_call(nlm_grace_period, param_set_grace_period, param_get_ulong,
575                   &nlm_grace_period, 0644);
576 module_param_call(nlm_timeout, param_set_timeout, param_get_ulong,
577                   &nlm_timeout, 0644);
578 module_param_call(nlm_udpport, param_set_port, param_get_int,
579                   &nlm_udpport, 0644);
580 module_param_call(nlm_tcpport, param_set_port, param_get_int,
581                   &nlm_tcpport, 0644);
582 module_param(nsm_use_hostnames, bool, 0644);
583 module_param(nlm_max_connections, uint, 0644);
584
585 static int lockd_init_net(struct net *net)
586 {
587         struct lockd_net *ln = net_generic(net, lockd_net_id);
588
589         INIT_DELAYED_WORK(&ln->grace_period_end, grace_ender);
590         INIT_LIST_HEAD(&ln->lockd_manager.list);
591         ln->lockd_manager.block_opens = false;
592         INIT_LIST_HEAD(&ln->nsm_handles);
593         return 0;
594 }
595
596 static void lockd_exit_net(struct net *net)
597 {
598         struct lockd_net *ln = net_generic(net, lockd_net_id);
599
600         WARN_ONCE(!list_empty(&ln->lockd_manager.list),
601                   "net %x %s: lockd_manager.list is not empty\n",
602                   net->ns.inum, __func__);
603         WARN_ONCE(!list_empty(&ln->nsm_handles),
604                   "net %x %s: nsm_handles list is not empty\n",
605                   net->ns.inum, __func__);
606         WARN_ONCE(delayed_work_pending(&ln->grace_period_end),
607                   "net %x %s: grace_period_end was not cancelled\n",
608                   net->ns.inum, __func__);
609 }
610
611 static struct pernet_operations lockd_net_ops = {
612         .init = lockd_init_net,
613         .exit = lockd_exit_net,
614         .id = &lockd_net_id,
615         .size = sizeof(struct lockd_net),
616 };
617
618
619 /*
620  * Initialising and terminating the module.
621  */
622
623 static int __init init_nlm(void)
624 {
625         int err;
626
627 #ifdef CONFIG_SYSCTL
628         err = -ENOMEM;
629         nlm_sysctl_table = register_sysctl("fs/nfs", nlm_sysctls);
630         if (nlm_sysctl_table == NULL)
631                 goto err_sysctl;
632 #endif
633         err = register_pernet_subsys(&lockd_net_ops);
634         if (err)
635                 goto err_pernet;
636
637         err = lockd_create_procfs();
638         if (err)
639                 goto err_procfs;
640
641         return 0;
642
643 err_procfs:
644         unregister_pernet_subsys(&lockd_net_ops);
645 err_pernet:
646 #ifdef CONFIG_SYSCTL
647         unregister_sysctl_table(nlm_sysctl_table);
648 err_sysctl:
649 #endif
650         return err;
651 }
652
653 static void __exit exit_nlm(void)
654 {
655         /* FIXME: delete all NLM clients */
656         nlm_shutdown_hosts();
657         lockd_remove_procfs();
658         unregister_pernet_subsys(&lockd_net_ops);
659 #ifdef CONFIG_SYSCTL
660         unregister_sysctl_table(nlm_sysctl_table);
661 #endif
662 }
663
664 module_init(init_nlm);
665 module_exit(exit_nlm);
666
667 /**
668  * nlmsvc_dispatch - Process an NLM Request
669  * @rqstp: incoming request
670  *
671  * Return values:
672  *  %0: Processing complete; do not send a Reply
673  *  %1: Processing complete; send Reply in rqstp->rq_res
674  */
675 static int nlmsvc_dispatch(struct svc_rqst *rqstp)
676 {
677         const struct svc_procedure *procp = rqstp->rq_procinfo;
678         __be32 *statp = rqstp->rq_accept_statp;
679
680         if (!procp->pc_decode(rqstp, &rqstp->rq_arg_stream))
681                 goto out_decode_err;
682
683         *statp = procp->pc_func(rqstp);
684         if (*statp == rpc_drop_reply)
685                 return 0;
686         if (*statp != rpc_success)
687                 return 1;
688
689         if (!procp->pc_encode(rqstp, &rqstp->rq_res_stream))
690                 goto out_encode_err;
691
692         return 1;
693
694 out_decode_err:
695         *statp = rpc_garbage_args;
696         return 1;
697
698 out_encode_err:
699         *statp = rpc_system_err;
700         return 1;
701 }
702
703 /*
704  * Define NLM program and procedures
705  */
706 static DEFINE_PER_CPU_ALIGNED(unsigned long, nlmsvc_version1_count[17]);
707 static const struct svc_version nlmsvc_version1 = {
708         .vs_vers        = 1,
709         .vs_nproc       = 17,
710         .vs_proc        = nlmsvc_procedures,
711         .vs_count       = nlmsvc_version1_count,
712         .vs_dispatch    = nlmsvc_dispatch,
713         .vs_xdrsize     = NLMSVC_XDRSIZE,
714 };
715
716 static DEFINE_PER_CPU_ALIGNED(unsigned long,
717                               nlmsvc_version3_count[ARRAY_SIZE(nlmsvc_procedures)]);
718 static const struct svc_version nlmsvc_version3 = {
719         .vs_vers        = 3,
720         .vs_nproc       = ARRAY_SIZE(nlmsvc_procedures),
721         .vs_proc        = nlmsvc_procedures,
722         .vs_count       = nlmsvc_version3_count,
723         .vs_dispatch    = nlmsvc_dispatch,
724         .vs_xdrsize     = NLMSVC_XDRSIZE,
725 };
726
727 #ifdef CONFIG_LOCKD_V4
728 static DEFINE_PER_CPU_ALIGNED(unsigned long,
729                               nlmsvc_version4_count[ARRAY_SIZE(nlmsvc_procedures4)]);
730 static const struct svc_version nlmsvc_version4 = {
731         .vs_vers        = 4,
732         .vs_nproc       = ARRAY_SIZE(nlmsvc_procedures4),
733         .vs_proc        = nlmsvc_procedures4,
734         .vs_count       = nlmsvc_version4_count,
735         .vs_dispatch    = nlmsvc_dispatch,
736         .vs_xdrsize     = NLMSVC_XDRSIZE,
737 };
738 #endif
739
740 static const struct svc_version *nlmsvc_version[] = {
741         [1] = &nlmsvc_version1,
742         [3] = &nlmsvc_version3,
743 #ifdef CONFIG_LOCKD_V4
744         [4] = &nlmsvc_version4,
745 #endif
746 };
747
748 static struct svc_stat          nlmsvc_stats;
749
750 #define NLM_NRVERS      ARRAY_SIZE(nlmsvc_version)
751 static struct svc_program       nlmsvc_program = {
752         .pg_prog                = NLM_PROGRAM,          /* program number */
753         .pg_nvers               = NLM_NRVERS,           /* number of entries in nlmsvc_version */
754         .pg_vers                = nlmsvc_version,       /* version table */
755         .pg_name                = "lockd",              /* service name */
756         .pg_class               = "nfsd",               /* share authentication with nfsd */
757         .pg_stats               = &nlmsvc_stats,        /* stats table */
758         .pg_authenticate        = &lockd_authenticate,  /* export authentication */
759         .pg_init_request        = svc_generic_init_request,
760         .pg_rpcbind_set         = svc_generic_rpcbind_set,
761 };