Merge tag 'perf-urgent-for-mingo-5.3-20190723' of git://git.kernel.org/pub/scm/linux...
[sfrench/cifs-2.6.git] / net / dsa / tag_sja1105.c
1 // SPDX-License-Identifier: GPL-2.0
2 /* Copyright (c) 2019, Vladimir Oltean <olteanv@gmail.com>
3  */
4 #include <linux/if_vlan.h>
5 #include <linux/dsa/sja1105.h>
6 #include <linux/dsa/8021q.h>
7 #include <linux/packing.h>
8 #include "dsa_priv.h"
9
10 /* Similar to is_link_local_ether_addr(hdr->h_dest) but also covers PTP */
11 static inline bool sja1105_is_link_local(const struct sk_buff *skb)
12 {
13         const struct ethhdr *hdr = eth_hdr(skb);
14         u64 dmac = ether_addr_to_u64(hdr->h_dest);
15
16         if (ntohs(hdr->h_proto) == ETH_P_SJA1105_META)
17                 return false;
18         if ((dmac & SJA1105_LINKLOCAL_FILTER_A_MASK) ==
19                     SJA1105_LINKLOCAL_FILTER_A)
20                 return true;
21         if ((dmac & SJA1105_LINKLOCAL_FILTER_B_MASK) ==
22                     SJA1105_LINKLOCAL_FILTER_B)
23                 return true;
24         return false;
25 }
26
27 struct sja1105_meta {
28         u64 tstamp;
29         u64 dmac_byte_4;
30         u64 dmac_byte_3;
31         u64 source_port;
32         u64 switch_id;
33 };
34
35 static void sja1105_meta_unpack(const struct sk_buff *skb,
36                                 struct sja1105_meta *meta)
37 {
38         u8 *buf = skb_mac_header(skb) + ETH_HLEN;
39
40         /* UM10944.pdf section 4.2.17 AVB Parameters:
41          * Structure of the meta-data follow-up frame.
42          * It is in network byte order, so there are no quirks
43          * while unpacking the meta frame.
44          *
45          * Also SJA1105 E/T only populates bits 23:0 of the timestamp
46          * whereas P/Q/R/S does 32 bits. Since the structure is the
47          * same and the E/T puts zeroes in the high-order byte, use
48          * a unified unpacking command for both device series.
49          */
50         packing(buf,     &meta->tstamp,     31, 0, 4, UNPACK, 0);
51         packing(buf + 4, &meta->dmac_byte_4, 7, 0, 1, UNPACK, 0);
52         packing(buf + 5, &meta->dmac_byte_3, 7, 0, 1, UNPACK, 0);
53         packing(buf + 6, &meta->source_port, 7, 0, 1, UNPACK, 0);
54         packing(buf + 7, &meta->switch_id,   7, 0, 1, UNPACK, 0);
55 }
56
57 static inline bool sja1105_is_meta_frame(const struct sk_buff *skb)
58 {
59         const struct ethhdr *hdr = eth_hdr(skb);
60         u64 smac = ether_addr_to_u64(hdr->h_source);
61         u64 dmac = ether_addr_to_u64(hdr->h_dest);
62
63         if (smac != SJA1105_META_SMAC)
64                 return false;
65         if (dmac != SJA1105_META_DMAC)
66                 return false;
67         if (ntohs(hdr->h_proto) != ETH_P_SJA1105_META)
68                 return false;
69         return true;
70 }
71
72 /* This is the first time the tagger sees the frame on RX.
73  * Figure out if we can decode it.
74  */
75 static bool sja1105_filter(const struct sk_buff *skb, struct net_device *dev)
76 {
77         if (!dsa_port_is_vlan_filtering(dev->dsa_ptr))
78                 return true;
79         if (sja1105_is_link_local(skb))
80                 return true;
81         if (sja1105_is_meta_frame(skb))
82                 return true;
83         return false;
84 }
85
86 static struct sk_buff *sja1105_xmit(struct sk_buff *skb,
87                                     struct net_device *netdev)
88 {
89         struct dsa_port *dp = dsa_slave_to_port(netdev);
90         struct dsa_switch *ds = dp->ds;
91         u16 tx_vid = dsa_8021q_tx_vid(ds, dp->index);
92         u8 pcp = skb->priority;
93
94         /* Transmitting management traffic does not rely upon switch tagging,
95          * but instead SPI-installed management routes. Part 2 of this
96          * is the .port_deferred_xmit driver callback.
97          */
98         if (unlikely(sja1105_is_link_local(skb)))
99                 return dsa_defer_xmit(skb, netdev);
100
101         /* If we are under a vlan_filtering bridge, IP termination on
102          * switch ports based on 802.1Q tags is simply too brittle to
103          * be passable. So just defer to the dsa_slave_notag_xmit
104          * implementation.
105          */
106         if (dsa_port_is_vlan_filtering(dp))
107                 return skb;
108
109         return dsa_8021q_xmit(skb, netdev, ETH_P_SJA1105,
110                              ((pcp << VLAN_PRIO_SHIFT) | tx_vid));
111 }
112
113 static void sja1105_transfer_meta(struct sk_buff *skb,
114                                   const struct sja1105_meta *meta)
115 {
116         struct ethhdr *hdr = eth_hdr(skb);
117
118         hdr->h_dest[3] = meta->dmac_byte_3;
119         hdr->h_dest[4] = meta->dmac_byte_4;
120         SJA1105_SKB_CB(skb)->meta_tstamp = meta->tstamp;
121 }
122
123 /* This is a simple state machine which follows the hardware mechanism of
124  * generating RX timestamps:
125  *
126  * After each timestampable skb (all traffic for which send_meta1 and
127  * send_meta0 is true, aka all MAC-filtered link-local traffic) a meta frame
128  * containing a partial timestamp is immediately generated by the switch and
129  * sent as a follow-up to the link-local frame on the CPU port.
130  *
131  * The meta frames have no unique identifier (such as sequence number) by which
132  * one may pair them to the correct timestampable frame.
133  * Instead, the switch has internal logic that ensures no frames are sent on
134  * the CPU port between a link-local timestampable frame and its corresponding
135  * meta follow-up. It also ensures strict ordering between ports (lower ports
136  * have higher priority towards the CPU port). For this reason, a per-port
137  * data structure is not needed/desirable.
138  *
139  * This function pairs the link-local frame with its partial timestamp from the
140  * meta follow-up frame. The full timestamp will be reconstructed later in a
141  * work queue.
142  */
143 static struct sk_buff
144 *sja1105_rcv_meta_state_machine(struct sk_buff *skb,
145                                 struct sja1105_meta *meta,
146                                 bool is_link_local,
147                                 bool is_meta)
148 {
149         struct sja1105_port *sp;
150         struct dsa_port *dp;
151
152         dp = dsa_slave_to_port(skb->dev);
153         sp = dp->priv;
154
155         /* Step 1: A timestampable frame was received.
156          * Buffer it until we get its meta frame.
157          */
158         if (is_link_local && sp->data->hwts_rx_en) {
159                 spin_lock(&sp->data->meta_lock);
160                 /* Was this a link-local frame instead of the meta
161                  * that we were expecting?
162                  */
163                 if (sp->data->stampable_skb) {
164                         dev_err_ratelimited(dp->ds->dev,
165                                             "Expected meta frame, is %12llx "
166                                             "in the DSA master multicast filter?\n",
167                                             SJA1105_META_DMAC);
168                 }
169
170                 /* Hold a reference to avoid dsa_switch_rcv
171                  * from freeing the skb.
172                  */
173                 sp->data->stampable_skb = skb_get(skb);
174                 spin_unlock(&sp->data->meta_lock);
175
176                 /* Tell DSA we got nothing */
177                 return NULL;
178
179         /* Step 2: The meta frame arrived.
180          * Time to take the stampable skb out of the closet, annotate it
181          * with the partial timestamp, and pretend that we received it
182          * just now (basically masquerade the buffered frame as the meta
183          * frame, which serves no further purpose).
184          */
185         } else if (is_meta) {
186                 struct sk_buff *stampable_skb;
187
188                 spin_lock(&sp->data->meta_lock);
189
190                 stampable_skb = sp->data->stampable_skb;
191                 sp->data->stampable_skb = NULL;
192
193                 /* Was this a meta frame instead of the link-local
194                  * that we were expecting?
195                  */
196                 if (!stampable_skb) {
197                         dev_err_ratelimited(dp->ds->dev,
198                                             "Unexpected meta frame\n");
199                         spin_unlock(&sp->data->meta_lock);
200                         return NULL;
201                 }
202
203                 if (stampable_skb->dev != skb->dev) {
204                         dev_err_ratelimited(dp->ds->dev,
205                                             "Meta frame on wrong port\n");
206                         spin_unlock(&sp->data->meta_lock);
207                         return NULL;
208                 }
209
210                 /* Free the meta frame and give DSA the buffered stampable_skb
211                  * for further processing up the network stack.
212                  */
213                 kfree_skb(skb);
214
215                 skb = skb_copy(stampable_skb, GFP_ATOMIC);
216                 if (!skb) {
217                         dev_err_ratelimited(dp->ds->dev,
218                                             "Failed to copy stampable skb\n");
219                         spin_unlock(&sp->data->meta_lock);
220                         return NULL;
221                 }
222                 sja1105_transfer_meta(skb, meta);
223                 /* The cached copy will be freed now */
224                 skb_unref(stampable_skb);
225
226                 spin_unlock(&sp->data->meta_lock);
227         }
228
229         return skb;
230 }
231
232 static struct sk_buff *sja1105_rcv(struct sk_buff *skb,
233                                    struct net_device *netdev,
234                                    struct packet_type *pt)
235 {
236         struct sja1105_meta meta = {0};
237         int source_port, switch_id;
238         struct vlan_ethhdr *hdr;
239         u16 tpid, vid, tci;
240         bool is_link_local;
241         bool is_tagged;
242         bool is_meta;
243
244         hdr = vlan_eth_hdr(skb);
245         tpid = ntohs(hdr->h_vlan_proto);
246         is_tagged = (tpid == ETH_P_SJA1105);
247         is_link_local = sja1105_is_link_local(skb);
248         is_meta = sja1105_is_meta_frame(skb);
249
250         skb->offload_fwd_mark = 1;
251
252         if (is_tagged) {
253                 /* Normal traffic path. */
254                 tci = ntohs(hdr->h_vlan_TCI);
255                 vid = tci & VLAN_VID_MASK;
256                 source_port = dsa_8021q_rx_source_port(vid);
257                 switch_id = dsa_8021q_rx_switch_id(vid);
258                 skb->priority = (tci & VLAN_PRIO_MASK) >> VLAN_PRIO_SHIFT;
259         } else if (is_link_local) {
260                 /* Management traffic path. Switch embeds the switch ID and
261                  * port ID into bytes of the destination MAC, courtesy of
262                  * the incl_srcpt options.
263                  */
264                 source_port = hdr->h_dest[3];
265                 switch_id = hdr->h_dest[4];
266                 /* Clear the DMAC bytes that were mangled by the switch */
267                 hdr->h_dest[3] = 0;
268                 hdr->h_dest[4] = 0;
269         } else if (is_meta) {
270                 sja1105_meta_unpack(skb, &meta);
271                 source_port = meta.source_port;
272                 switch_id = meta.switch_id;
273         } else {
274                 return NULL;
275         }
276
277         skb->dev = dsa_master_find_slave(netdev, switch_id, source_port);
278         if (!skb->dev) {
279                 netdev_warn(netdev, "Couldn't decode source port\n");
280                 return NULL;
281         }
282
283         /* Delete/overwrite fake VLAN header, DSA expects to not find
284          * it there, see dsa_switch_rcv: skb_push(skb, ETH_HLEN).
285          */
286         if (is_tagged)
287                 skb = dsa_8021q_remove_header(skb);
288
289         return sja1105_rcv_meta_state_machine(skb, &meta, is_link_local,
290                                               is_meta);
291 }
292
293 static struct dsa_device_ops sja1105_netdev_ops = {
294         .name = "sja1105",
295         .proto = DSA_TAG_PROTO_SJA1105,
296         .xmit = sja1105_xmit,
297         .rcv = sja1105_rcv,
298         .filter = sja1105_filter,
299         .overhead = VLAN_HLEN,
300 };
301
302 MODULE_LICENSE("GPL v2");
303 MODULE_ALIAS_DSA_TAG_DRIVER(DSA_TAG_PROTO_SJA1105);
304
305 module_dsa_tag_driver(sja1105_netdev_ops);