arm64: instrument smp_{load_acquire,store_release}
[sfrench/cifs-2.6.git] / net / tipc / bcast.c
1 /*
2  * net/tipc/bcast.c: TIPC broadcast code
3  *
4  * Copyright (c) 2004-2006, 2014-2017, Ericsson AB
5  * Copyright (c) 2004, Intel Corporation.
6  * Copyright (c) 2005, 2010-2011, Wind River Systems
7  * All rights reserved.
8  *
9  * Redistribution and use in source and binary forms, with or without
10  * modification, are permitted provided that the following conditions are met:
11  *
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in the
16  *    documentation and/or other materials provided with the distribution.
17  * 3. Neither the names of the copyright holders nor the names of its
18  *    contributors may be used to endorse or promote products derived from
19  *    this software without specific prior written permission.
20  *
21  * Alternatively, this software may be distributed under the terms of the
22  * GNU General Public License ("GPL") version 2 as published by the Free
23  * Software Foundation.
24  *
25  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
26  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
27  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
28  * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
29  * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
30  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
31  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
32  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
33  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
34  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
35  * POSSIBILITY OF SUCH DAMAGE.
36  */
37
38 #include <linux/tipc_config.h>
39 #include "socket.h"
40 #include "msg.h"
41 #include "bcast.h"
42 #include "link.h"
43 #include "name_table.h"
44
45 #define BCLINK_WIN_DEFAULT  50  /* bcast link window size (default) */
46 #define BCLINK_WIN_MIN      32  /* bcast minimum link window size */
47
48 const char tipc_bclink_name[] = "broadcast-link";
49
50 /**
51  * struct tipc_bc_base - base structure for keeping broadcast send state
52  * @link: broadcast send link structure
53  * @inputq: data input queue; will only carry SOCK_WAKEUP messages
54  * @dests: array keeping number of reachable destinations per bearer
55  * @primary_bearer: a bearer having links to all broadcast destinations, if any
56  * @bcast_support: indicates if primary bearer, if any, supports broadcast
57  * @rcast_support: indicates if all peer nodes support replicast
58  * @rc_ratio: dest count as percentage of cluster size where send method changes
59  * @bc_threshold: calculated from rc_ratio; if dests > threshold use broadcast
60  */
61 struct tipc_bc_base {
62         struct tipc_link *link;
63         struct sk_buff_head inputq;
64         int dests[MAX_BEARERS];
65         int primary_bearer;
66         bool bcast_support;
67         bool rcast_support;
68         int rc_ratio;
69         int bc_threshold;
70 };
71
72 static struct tipc_bc_base *tipc_bc_base(struct net *net)
73 {
74         return tipc_net(net)->bcbase;
75 }
76
77 /* tipc_bcast_get_mtu(): -get the MTU currently used by broadcast link
78  * Note: the MTU is decremented to give room for a tunnel header, in
79  * case the message needs to be sent as replicast
80  */
81 int tipc_bcast_get_mtu(struct net *net)
82 {
83         return tipc_link_mtu(tipc_bc_sndlink(net)) - INT_H_SIZE;
84 }
85
86 void tipc_bcast_disable_rcast(struct net *net)
87 {
88         tipc_bc_base(net)->rcast_support = false;
89 }
90
91 static void tipc_bcbase_calc_bc_threshold(struct net *net)
92 {
93         struct tipc_bc_base *bb = tipc_bc_base(net);
94         int cluster_size = tipc_link_bc_peers(tipc_bc_sndlink(net));
95
96         bb->bc_threshold = 1 + (cluster_size * bb->rc_ratio / 100);
97 }
98
99 /* tipc_bcbase_select_primary(): find a bearer with links to all destinations,
100  *                               if any, and make it primary bearer
101  */
102 static void tipc_bcbase_select_primary(struct net *net)
103 {
104         struct tipc_bc_base *bb = tipc_bc_base(net);
105         int all_dests =  tipc_link_bc_peers(bb->link);
106         int i, mtu, prim;
107
108         bb->primary_bearer = INVALID_BEARER_ID;
109         bb->bcast_support = true;
110
111         if (!all_dests)
112                 return;
113
114         for (i = 0; i < MAX_BEARERS; i++) {
115                 if (!bb->dests[i])
116                         continue;
117
118                 mtu = tipc_bearer_mtu(net, i);
119                 if (mtu < tipc_link_mtu(bb->link))
120                         tipc_link_set_mtu(bb->link, mtu);
121                 bb->bcast_support &= tipc_bearer_bcast_support(net, i);
122                 if (bb->dests[i] < all_dests)
123                         continue;
124
125                 bb->primary_bearer = i;
126
127                 /* Reduce risk that all nodes select same primary */
128                 if ((i ^ tipc_own_addr(net)) & 1)
129                         break;
130         }
131         prim = bb->primary_bearer;
132         if (prim != INVALID_BEARER_ID)
133                 bb->bcast_support = tipc_bearer_bcast_support(net, prim);
134 }
135
136 void tipc_bcast_inc_bearer_dst_cnt(struct net *net, int bearer_id)
137 {
138         struct tipc_bc_base *bb = tipc_bc_base(net);
139
140         tipc_bcast_lock(net);
141         bb->dests[bearer_id]++;
142         tipc_bcbase_select_primary(net);
143         tipc_bcast_unlock(net);
144 }
145
146 void tipc_bcast_dec_bearer_dst_cnt(struct net *net, int bearer_id)
147 {
148         struct tipc_bc_base *bb = tipc_bc_base(net);
149
150         tipc_bcast_lock(net);
151         bb->dests[bearer_id]--;
152         tipc_bcbase_select_primary(net);
153         tipc_bcast_unlock(net);
154 }
155
156 /* tipc_bcbase_xmit - broadcast a packet queue across one or more bearers
157  *
158  * Note that number of reachable destinations, as indicated in the dests[]
159  * array, may transitionally differ from the number of destinations indicated
160  * in each sent buffer. We can sustain this. Excess destination nodes will
161  * drop and never acknowledge the unexpected packets, and missing destinations
162  * will either require retransmission (if they are just about to be added to
163  * the bearer), or be removed from the buffer's 'ackers' counter (if they
164  * just went down)
165  */
166 static void tipc_bcbase_xmit(struct net *net, struct sk_buff_head *xmitq)
167 {
168         int bearer_id;
169         struct tipc_bc_base *bb = tipc_bc_base(net);
170         struct sk_buff *skb, *_skb;
171         struct sk_buff_head _xmitq;
172
173         if (skb_queue_empty(xmitq))
174                 return;
175
176         /* The typical case: at least one bearer has links to all nodes */
177         bearer_id = bb->primary_bearer;
178         if (bearer_id >= 0) {
179                 tipc_bearer_bc_xmit(net, bearer_id, xmitq);
180                 return;
181         }
182
183         /* We have to transmit across all bearers */
184         skb_queue_head_init(&_xmitq);
185         for (bearer_id = 0; bearer_id < MAX_BEARERS; bearer_id++) {
186                 if (!bb->dests[bearer_id])
187                         continue;
188
189                 skb_queue_walk(xmitq, skb) {
190                         _skb = pskb_copy_for_clone(skb, GFP_ATOMIC);
191                         if (!_skb)
192                                 break;
193                         __skb_queue_tail(&_xmitq, _skb);
194                 }
195                 tipc_bearer_bc_xmit(net, bearer_id, &_xmitq);
196         }
197         __skb_queue_purge(xmitq);
198         __skb_queue_purge(&_xmitq);
199 }
200
201 static void tipc_bcast_select_xmit_method(struct net *net, int dests,
202                                           struct tipc_mc_method *method)
203 {
204         struct tipc_bc_base *bb = tipc_bc_base(net);
205         unsigned long exp = method->expires;
206
207         /* Broadcast supported by used bearer/bearers? */
208         if (!bb->bcast_support) {
209                 method->rcast = true;
210                 return;
211         }
212         /* Any destinations which don't support replicast ? */
213         if (!bb->rcast_support) {
214                 method->rcast = false;
215                 return;
216         }
217         /* Can current method be changed ? */
218         method->expires = jiffies + TIPC_METHOD_EXPIRE;
219         if (method->mandatory || time_before(jiffies, exp))
220                 return;
221
222         /* Determine method to use now */
223         method->rcast = dests <= bb->bc_threshold;
224 }
225
226 /* tipc_bcast_xmit - broadcast the buffer chain to all external nodes
227  * @net: the applicable net namespace
228  * @pkts: chain of buffers containing message
229  * @cong_link_cnt: set to 1 if broadcast link is congested, otherwise 0
230  * Consumes the buffer chain.
231  * Returns 0 if success, otherwise errno: -EHOSTUNREACH,-EMSGSIZE
232  */
233 static int tipc_bcast_xmit(struct net *net, struct sk_buff_head *pkts,
234                            u16 *cong_link_cnt)
235 {
236         struct tipc_link *l = tipc_bc_sndlink(net);
237         struct sk_buff_head xmitq;
238         int rc = 0;
239
240         skb_queue_head_init(&xmitq);
241         tipc_bcast_lock(net);
242         if (tipc_link_bc_peers(l))
243                 rc = tipc_link_xmit(l, pkts, &xmitq);
244         tipc_bcast_unlock(net);
245         tipc_bcbase_xmit(net, &xmitq);
246         __skb_queue_purge(pkts);
247         if (rc == -ELINKCONG) {
248                 *cong_link_cnt = 1;
249                 rc = 0;
250         }
251         return rc;
252 }
253
254 /* tipc_rcast_xmit - replicate and send a message to given destination nodes
255  * @net: the applicable net namespace
256  * @pkts: chain of buffers containing message
257  * @dests: list of destination nodes
258  * @cong_link_cnt: returns number of congested links
259  * @cong_links: returns identities of congested links
260  * Returns 0 if success, otherwise errno
261  */
262 static int tipc_rcast_xmit(struct net *net, struct sk_buff_head *pkts,
263                            struct tipc_nlist *dests, u16 *cong_link_cnt)
264 {
265         struct tipc_dest *dst, *tmp;
266         struct sk_buff_head _pkts;
267         u32 dnode, selector;
268
269         selector = msg_link_selector(buf_msg(skb_peek(pkts)));
270         skb_queue_head_init(&_pkts);
271
272         list_for_each_entry_safe(dst, tmp, &dests->list, list) {
273                 dnode = dst->node;
274                 if (!tipc_msg_pskb_copy(dnode, pkts, &_pkts))
275                         return -ENOMEM;
276
277                 /* Any other return value than -ELINKCONG is ignored */
278                 if (tipc_node_xmit(net, &_pkts, dnode, selector) == -ELINKCONG)
279                         (*cong_link_cnt)++;
280         }
281         return 0;
282 }
283
284 /* tipc_mcast_xmit - deliver message to indicated destination nodes
285  *                   and to identified node local sockets
286  * @net: the applicable net namespace
287  * @pkts: chain of buffers containing message
288  * @method: send method to be used
289  * @dests: destination nodes for message.
290  * @cong_link_cnt: returns number of encountered congested destination links
291  * Consumes buffer chain.
292  * Returns 0 if success, otherwise errno
293  */
294 int tipc_mcast_xmit(struct net *net, struct sk_buff_head *pkts,
295                     struct tipc_mc_method *method, struct tipc_nlist *dests,
296                     u16 *cong_link_cnt)
297 {
298         struct sk_buff_head inputq, localq;
299         int rc = 0;
300
301         skb_queue_head_init(&inputq);
302         skb_queue_head_init(&localq);
303
304         /* Clone packets before they are consumed by next call */
305         if (dests->local && !tipc_msg_reassemble(pkts, &localq)) {
306                 rc = -ENOMEM;
307                 goto exit;
308         }
309         /* Send according to determined transmit method */
310         if (dests->remote) {
311                 tipc_bcast_select_xmit_method(net, dests->remote, method);
312                 if (method->rcast)
313                         rc = tipc_rcast_xmit(net, pkts, dests, cong_link_cnt);
314                 else
315                         rc = tipc_bcast_xmit(net, pkts, cong_link_cnt);
316         }
317
318         if (dests->local)
319                 tipc_sk_mcast_rcv(net, &localq, &inputq);
320 exit:
321         /* This queue should normally be empty by now */
322         __skb_queue_purge(pkts);
323         return rc;
324 }
325
326 /* tipc_bcast_rcv - receive a broadcast packet, and deliver to rcv link
327  *
328  * RCU is locked, no other locks set
329  */
330 int tipc_bcast_rcv(struct net *net, struct tipc_link *l, struct sk_buff *skb)
331 {
332         struct tipc_msg *hdr = buf_msg(skb);
333         struct sk_buff_head *inputq = &tipc_bc_base(net)->inputq;
334         struct sk_buff_head xmitq;
335         int rc;
336
337         __skb_queue_head_init(&xmitq);
338
339         if (msg_mc_netid(hdr) != tipc_netid(net) || !tipc_link_is_up(l)) {
340                 kfree_skb(skb);
341                 return 0;
342         }
343
344         tipc_bcast_lock(net);
345         if (msg_user(hdr) == BCAST_PROTOCOL)
346                 rc = tipc_link_bc_nack_rcv(l, skb, &xmitq);
347         else
348                 rc = tipc_link_rcv(l, skb, NULL);
349         tipc_bcast_unlock(net);
350
351         tipc_bcbase_xmit(net, &xmitq);
352
353         /* Any socket wakeup messages ? */
354         if (!skb_queue_empty(inputq))
355                 tipc_sk_rcv(net, inputq);
356
357         return rc;
358 }
359
360 /* tipc_bcast_ack_rcv - receive and handle a broadcast acknowledge
361  *
362  * RCU is locked, no other locks set
363  */
364 void tipc_bcast_ack_rcv(struct net *net, struct tipc_link *l,
365                         struct tipc_msg *hdr)
366 {
367         struct sk_buff_head *inputq = &tipc_bc_base(net)->inputq;
368         u16 acked = msg_bcast_ack(hdr);
369         struct sk_buff_head xmitq;
370
371         /* Ignore bc acks sent by peer before bcast synch point was received */
372         if (msg_bc_ack_invalid(hdr))
373                 return;
374
375         __skb_queue_head_init(&xmitq);
376
377         tipc_bcast_lock(net);
378         tipc_link_bc_ack_rcv(l, acked, &xmitq);
379         tipc_bcast_unlock(net);
380
381         tipc_bcbase_xmit(net, &xmitq);
382
383         /* Any socket wakeup messages ? */
384         if (!skb_queue_empty(inputq))
385                 tipc_sk_rcv(net, inputq);
386 }
387
388 /* tipc_bcast_synch_rcv -  check and update rcv link with peer's send state
389  *
390  * RCU is locked, no other locks set
391  */
392 int tipc_bcast_sync_rcv(struct net *net, struct tipc_link *l,
393                         struct tipc_msg *hdr)
394 {
395         struct sk_buff_head *inputq = &tipc_bc_base(net)->inputq;
396         struct sk_buff_head xmitq;
397         int rc = 0;
398
399         __skb_queue_head_init(&xmitq);
400
401         tipc_bcast_lock(net);
402         if (msg_type(hdr) != STATE_MSG) {
403                 tipc_link_bc_init_rcv(l, hdr);
404         } else if (!msg_bc_ack_invalid(hdr)) {
405                 tipc_link_bc_ack_rcv(l, msg_bcast_ack(hdr), &xmitq);
406                 rc = tipc_link_bc_sync_rcv(l, hdr, &xmitq);
407         }
408         tipc_bcast_unlock(net);
409
410         tipc_bcbase_xmit(net, &xmitq);
411
412         /* Any socket wakeup messages ? */
413         if (!skb_queue_empty(inputq))
414                 tipc_sk_rcv(net, inputq);
415         return rc;
416 }
417
418 /* tipc_bcast_add_peer - add a peer node to broadcast link and bearer
419  *
420  * RCU is locked, node lock is set
421  */
422 void tipc_bcast_add_peer(struct net *net, struct tipc_link *uc_l,
423                          struct sk_buff_head *xmitq)
424 {
425         struct tipc_link *snd_l = tipc_bc_sndlink(net);
426
427         tipc_bcast_lock(net);
428         tipc_link_add_bc_peer(snd_l, uc_l, xmitq);
429         tipc_bcbase_select_primary(net);
430         tipc_bcbase_calc_bc_threshold(net);
431         tipc_bcast_unlock(net);
432 }
433
434 /* tipc_bcast_remove_peer - remove a peer node from broadcast link and bearer
435  *
436  * RCU is locked, node lock is set
437  */
438 void tipc_bcast_remove_peer(struct net *net, struct tipc_link *rcv_l)
439 {
440         struct tipc_link *snd_l = tipc_bc_sndlink(net);
441         struct sk_buff_head *inputq = &tipc_bc_base(net)->inputq;
442         struct sk_buff_head xmitq;
443
444         __skb_queue_head_init(&xmitq);
445
446         tipc_bcast_lock(net);
447         tipc_link_remove_bc_peer(snd_l, rcv_l, &xmitq);
448         tipc_bcbase_select_primary(net);
449         tipc_bcbase_calc_bc_threshold(net);
450         tipc_bcast_unlock(net);
451
452         tipc_bcbase_xmit(net, &xmitq);
453
454         /* Any socket wakeup messages ? */
455         if (!skb_queue_empty(inputq))
456                 tipc_sk_rcv(net, inputq);
457 }
458
459 int tipc_bclink_reset_stats(struct net *net)
460 {
461         struct tipc_link *l = tipc_bc_sndlink(net);
462
463         if (!l)
464                 return -ENOPROTOOPT;
465
466         tipc_bcast_lock(net);
467         tipc_link_reset_stats(l);
468         tipc_bcast_unlock(net);
469         return 0;
470 }
471
472 static int tipc_bc_link_set_queue_limits(struct net *net, u32 limit)
473 {
474         struct tipc_link *l = tipc_bc_sndlink(net);
475
476         if (!l)
477                 return -ENOPROTOOPT;
478         if (limit < BCLINK_WIN_MIN)
479                 limit = BCLINK_WIN_MIN;
480         if (limit > TIPC_MAX_LINK_WIN)
481                 return -EINVAL;
482         tipc_bcast_lock(net);
483         tipc_link_set_queue_limits(l, limit);
484         tipc_bcast_unlock(net);
485         return 0;
486 }
487
488 int tipc_nl_bc_link_set(struct net *net, struct nlattr *attrs[])
489 {
490         int err;
491         u32 win;
492         struct nlattr *props[TIPC_NLA_PROP_MAX + 1];
493
494         if (!attrs[TIPC_NLA_LINK_PROP])
495                 return -EINVAL;
496
497         err = tipc_nl_parse_link_prop(attrs[TIPC_NLA_LINK_PROP], props);
498         if (err)
499                 return err;
500
501         if (!props[TIPC_NLA_PROP_WIN])
502                 return -EOPNOTSUPP;
503
504         win = nla_get_u32(props[TIPC_NLA_PROP_WIN]);
505
506         return tipc_bc_link_set_queue_limits(net, win);
507 }
508
509 int tipc_bcast_init(struct net *net)
510 {
511         struct tipc_net *tn = tipc_net(net);
512         struct tipc_bc_base *bb = NULL;
513         struct tipc_link *l = NULL;
514
515         bb = kzalloc(sizeof(*bb), GFP_KERNEL);
516         if (!bb)
517                 goto enomem;
518         tn->bcbase = bb;
519         spin_lock_init(&tipc_net(net)->bclock);
520
521         if (!tipc_link_bc_create(net, 0, 0,
522                                  FB_MTU,
523                                  BCLINK_WIN_DEFAULT,
524                                  0,
525                                  &bb->inputq,
526                                  NULL,
527                                  NULL,
528                                  &l))
529                 goto enomem;
530         bb->link = l;
531         tn->bcl = l;
532         bb->rc_ratio = 25;
533         bb->rcast_support = true;
534         return 0;
535 enomem:
536         kfree(bb);
537         kfree(l);
538         return -ENOMEM;
539 }
540
541 void tipc_bcast_stop(struct net *net)
542 {
543         struct tipc_net *tn = net_generic(net, tipc_net_id);
544
545         synchronize_net();
546         kfree(tn->bcbase);
547         kfree(tn->bcl);
548 }
549
550 void tipc_nlist_init(struct tipc_nlist *nl, u32 self)
551 {
552         memset(nl, 0, sizeof(*nl));
553         INIT_LIST_HEAD(&nl->list);
554         nl->self = self;
555 }
556
557 void tipc_nlist_add(struct tipc_nlist *nl, u32 node)
558 {
559         if (node == nl->self)
560                 nl->local = true;
561         else if (tipc_dest_push(&nl->list, node, 0))
562                 nl->remote++;
563 }
564
565 void tipc_nlist_del(struct tipc_nlist *nl, u32 node)
566 {
567         if (node == nl->self)
568                 nl->local = false;
569         else if (tipc_dest_del(&nl->list, node, 0))
570                 nl->remote--;
571 }
572
573 void tipc_nlist_purge(struct tipc_nlist *nl)
574 {
575         tipc_dest_list_purge(&nl->list);
576         nl->remote = 0;
577         nl->local = false;
578 }