6c83eef5141a94b8d10cb9e21e435f209ff7f9c0
[sfrench/cifs-2.6.git] / drivers / net / ethernet / mellanox / mlx5 / core / eswitch_offloads.c
1 /*
2  * Copyright (c) 2016, Mellanox Technologies. All rights reserved.
3  *
4  * This software is available to you under a choice of one of two
5  * licenses.  You may choose to be licensed under the terms of the GNU
6  * General Public License (GPL) Version 2, available from the file
7  * COPYING in the main directory of this source tree, or the
8  * OpenIB.org BSD license below:
9  *
10  *     Redistribution and use in source and binary forms, with or
11  *     without modification, are permitted provided that the following
12  *     conditions are met:
13  *
14  *      - Redistributions of source code must retain the above
15  *        copyright notice, this list of conditions and the following
16  *        disclaimer.
17  *
18  *      - Redistributions in binary form must reproduce the above
19  *        copyright notice, this list of conditions and the following
20  *        disclaimer in the documentation and/or other materials
21  *        provided with the distribution.
22  *
23  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
24  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
25  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
26  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
27  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
28  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
29  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
30  * SOFTWARE.
31  */
32
33 #include <linux/etherdevice.h>
34 #include <linux/mlx5/driver.h>
35 #include <linux/mlx5/mlx5_ifc.h>
36 #include <linux/mlx5/vport.h>
37 #include <linux/mlx5/fs.h>
38 #include "mlx5_core.h"
39 #include "eswitch.h"
40
41 enum {
42         FDB_FAST_PATH = 0,
43         FDB_SLOW_PATH
44 };
45
46 struct mlx5_flow_handle *
47 mlx5_eswitch_add_offloaded_rule(struct mlx5_eswitch *esw,
48                                 struct mlx5_flow_spec *spec,
49                                 struct mlx5_esw_flow_attr *attr)
50 {
51         struct mlx5_flow_destination dest[2] = {};
52         struct mlx5_flow_act flow_act = {0};
53         struct mlx5_fc *counter = NULL;
54         struct mlx5_flow_handle *rule;
55         void *misc;
56         int i = 0;
57
58         if (esw->mode != SRIOV_OFFLOADS)
59                 return ERR_PTR(-EOPNOTSUPP);
60
61         flow_act.action = attr->action;
62         /* if per flow vlan pop/push is emulated, don't set that into the firmware */
63         if (!mlx5_eswitch_vlan_actions_supported(esw->dev))
64                 flow_act.action &= ~(MLX5_FLOW_CONTEXT_ACTION_VLAN_PUSH |
65                                      MLX5_FLOW_CONTEXT_ACTION_VLAN_POP);
66         else if (flow_act.action & MLX5_FLOW_CONTEXT_ACTION_VLAN_PUSH) {
67                 flow_act.vlan.ethtype = ntohs(attr->vlan_proto);
68                 flow_act.vlan.vid = attr->vlan_vid;
69                 flow_act.vlan.prio = attr->vlan_prio;
70         }
71
72         if (flow_act.action & MLX5_FLOW_CONTEXT_ACTION_FWD_DEST) {
73                 dest[i].type = MLX5_FLOW_DESTINATION_TYPE_VPORT;
74                 dest[i].vport.num = attr->out_rep->vport;
75                 if (MLX5_CAP_ESW(esw->dev, merged_eswitch)) {
76                         dest[i].vport.vhca_id =
77                                 MLX5_CAP_GEN(attr->out_mdev, vhca_id);
78                         dest[i].vport.vhca_id_valid = 1;
79                 }
80                 i++;
81         }
82         if (flow_act.action & MLX5_FLOW_CONTEXT_ACTION_COUNT) {
83                 counter = mlx5_fc_create(esw->dev, true);
84                 if (IS_ERR(counter)) {
85                         rule = ERR_CAST(counter);
86                         goto err_counter_alloc;
87                 }
88                 dest[i].type = MLX5_FLOW_DESTINATION_TYPE_COUNTER;
89                 dest[i].counter = counter;
90                 i++;
91         }
92
93         misc = MLX5_ADDR_OF(fte_match_param, spec->match_value, misc_parameters);
94         MLX5_SET(fte_match_set_misc, misc, source_port, attr->in_rep->vport);
95
96         if (MLX5_CAP_ESW(esw->dev, merged_eswitch))
97                 MLX5_SET(fte_match_set_misc, misc,
98                          source_eswitch_owner_vhca_id,
99                          MLX5_CAP_GEN(attr->in_mdev, vhca_id));
100
101         misc = MLX5_ADDR_OF(fte_match_param, spec->match_criteria, misc_parameters);
102         MLX5_SET_TO_ONES(fte_match_set_misc, misc, source_port);
103         if (MLX5_CAP_ESW(esw->dev, merged_eswitch))
104                 MLX5_SET_TO_ONES(fte_match_set_misc, misc,
105                                  source_eswitch_owner_vhca_id);
106
107         spec->match_criteria_enable = MLX5_MATCH_OUTER_HEADERS |
108                                       MLX5_MATCH_MISC_PARAMETERS;
109         if (flow_act.action & MLX5_FLOW_CONTEXT_ACTION_DECAP)
110                 spec->match_criteria_enable |= MLX5_MATCH_INNER_HEADERS;
111
112         if (flow_act.action & MLX5_FLOW_CONTEXT_ACTION_MOD_HDR)
113                 flow_act.modify_id = attr->mod_hdr_id;
114
115         if (flow_act.action & MLX5_FLOW_CONTEXT_ACTION_ENCAP)
116                 flow_act.encap_id = attr->encap_id;
117
118         rule = mlx5_add_flow_rules((struct mlx5_flow_table *)esw->fdb_table.fdb,
119                                    spec, &flow_act, dest, i);
120         if (IS_ERR(rule))
121                 goto err_add_rule;
122         else
123                 esw->offloads.num_flows++;
124
125         return rule;
126
127 err_add_rule:
128         mlx5_fc_destroy(esw->dev, counter);
129 err_counter_alloc:
130         return rule;
131 }
132
133 void
134 mlx5_eswitch_del_offloaded_rule(struct mlx5_eswitch *esw,
135                                 struct mlx5_flow_handle *rule,
136                                 struct mlx5_esw_flow_attr *attr)
137 {
138         struct mlx5_fc *counter = NULL;
139
140         counter = mlx5_flow_rule_counter(rule);
141         mlx5_del_flow_rules(rule);
142         mlx5_fc_destroy(esw->dev, counter);
143         esw->offloads.num_flows--;
144 }
145
146 static int esw_set_global_vlan_pop(struct mlx5_eswitch *esw, u8 val)
147 {
148         struct mlx5_eswitch_rep *rep;
149         int vf_vport, err = 0;
150
151         esw_debug(esw->dev, "%s applying global %s policy\n", __func__, val ? "pop" : "none");
152         for (vf_vport = 1; vf_vport < esw->enabled_vports; vf_vport++) {
153                 rep = &esw->offloads.vport_reps[vf_vport];
154                 if (!rep->rep_if[REP_ETH].valid)
155                         continue;
156
157                 err = __mlx5_eswitch_set_vport_vlan(esw, rep->vport, 0, 0, val);
158                 if (err)
159                         goto out;
160         }
161
162 out:
163         return err;
164 }
165
166 static struct mlx5_eswitch_rep *
167 esw_vlan_action_get_vport(struct mlx5_esw_flow_attr *attr, bool push, bool pop)
168 {
169         struct mlx5_eswitch_rep *in_rep, *out_rep, *vport = NULL;
170
171         in_rep  = attr->in_rep;
172         out_rep = attr->out_rep;
173
174         if (push)
175                 vport = in_rep;
176         else if (pop)
177                 vport = out_rep;
178         else
179                 vport = in_rep;
180
181         return vport;
182 }
183
184 static int esw_add_vlan_action_check(struct mlx5_esw_flow_attr *attr,
185                                      bool push, bool pop, bool fwd)
186 {
187         struct mlx5_eswitch_rep *in_rep, *out_rep;
188
189         if ((push || pop) && !fwd)
190                 goto out_notsupp;
191
192         in_rep  = attr->in_rep;
193         out_rep = attr->out_rep;
194
195         if (push && in_rep->vport == FDB_UPLINK_VPORT)
196                 goto out_notsupp;
197
198         if (pop && out_rep->vport == FDB_UPLINK_VPORT)
199                 goto out_notsupp;
200
201         /* vport has vlan push configured, can't offload VF --> wire rules w.o it */
202         if (!push && !pop && fwd)
203                 if (in_rep->vlan && out_rep->vport == FDB_UPLINK_VPORT)
204                         goto out_notsupp;
205
206         /* protects against (1) setting rules with different vlans to push and
207          * (2) setting rules w.o vlans (attr->vlan = 0) && w. vlans to push (!= 0)
208          */
209         if (push && in_rep->vlan_refcount && (in_rep->vlan != attr->vlan_vid))
210                 goto out_notsupp;
211
212         return 0;
213
214 out_notsupp:
215         return -EOPNOTSUPP;
216 }
217
218 int mlx5_eswitch_add_vlan_action(struct mlx5_eswitch *esw,
219                                  struct mlx5_esw_flow_attr *attr)
220 {
221         struct offloads_fdb *offloads = &esw->fdb_table.offloads;
222         struct mlx5_eswitch_rep *vport = NULL;
223         bool push, pop, fwd;
224         int err = 0;
225
226         /* nop if we're on the vlan push/pop non emulation mode */
227         if (mlx5_eswitch_vlan_actions_supported(esw->dev))
228                 return 0;
229
230         push = !!(attr->action & MLX5_FLOW_CONTEXT_ACTION_VLAN_PUSH);
231         pop  = !!(attr->action & MLX5_FLOW_CONTEXT_ACTION_VLAN_POP);
232         fwd  = !!(attr->action & MLX5_FLOW_CONTEXT_ACTION_FWD_DEST);
233
234         err = esw_add_vlan_action_check(attr, push, pop, fwd);
235         if (err)
236                 return err;
237
238         attr->vlan_handled = false;
239
240         vport = esw_vlan_action_get_vport(attr, push, pop);
241
242         if (!push && !pop && fwd) {
243                 /* tracks VF --> wire rules without vlan push action */
244                 if (attr->out_rep->vport == FDB_UPLINK_VPORT) {
245                         vport->vlan_refcount++;
246                         attr->vlan_handled = true;
247                 }
248
249                 return 0;
250         }
251
252         if (!push && !pop)
253                 return 0;
254
255         if (!(offloads->vlan_push_pop_refcount)) {
256                 /* it's the 1st vlan rule, apply global vlan pop policy */
257                 err = esw_set_global_vlan_pop(esw, SET_VLAN_STRIP);
258                 if (err)
259                         goto out;
260         }
261         offloads->vlan_push_pop_refcount++;
262
263         if (push) {
264                 if (vport->vlan_refcount)
265                         goto skip_set_push;
266
267                 err = __mlx5_eswitch_set_vport_vlan(esw, vport->vport, attr->vlan_vid, 0,
268                                                     SET_VLAN_INSERT | SET_VLAN_STRIP);
269                 if (err)
270                         goto out;
271                 vport->vlan = attr->vlan_vid;
272 skip_set_push:
273                 vport->vlan_refcount++;
274         }
275 out:
276         if (!err)
277                 attr->vlan_handled = true;
278         return err;
279 }
280
281 int mlx5_eswitch_del_vlan_action(struct mlx5_eswitch *esw,
282                                  struct mlx5_esw_flow_attr *attr)
283 {
284         struct offloads_fdb *offloads = &esw->fdb_table.offloads;
285         struct mlx5_eswitch_rep *vport = NULL;
286         bool push, pop, fwd;
287         int err = 0;
288
289         /* nop if we're on the vlan push/pop non emulation mode */
290         if (mlx5_eswitch_vlan_actions_supported(esw->dev))
291                 return 0;
292
293         if (!attr->vlan_handled)
294                 return 0;
295
296         push = !!(attr->action & MLX5_FLOW_CONTEXT_ACTION_VLAN_PUSH);
297         pop  = !!(attr->action & MLX5_FLOW_CONTEXT_ACTION_VLAN_POP);
298         fwd  = !!(attr->action & MLX5_FLOW_CONTEXT_ACTION_FWD_DEST);
299
300         vport = esw_vlan_action_get_vport(attr, push, pop);
301
302         if (!push && !pop && fwd) {
303                 /* tracks VF --> wire rules without vlan push action */
304                 if (attr->out_rep->vport == FDB_UPLINK_VPORT)
305                         vport->vlan_refcount--;
306
307                 return 0;
308         }
309
310         if (push) {
311                 vport->vlan_refcount--;
312                 if (vport->vlan_refcount)
313                         goto skip_unset_push;
314
315                 vport->vlan = 0;
316                 err = __mlx5_eswitch_set_vport_vlan(esw, vport->vport,
317                                                     0, 0, SET_VLAN_STRIP);
318                 if (err)
319                         goto out;
320         }
321
322 skip_unset_push:
323         offloads->vlan_push_pop_refcount--;
324         if (offloads->vlan_push_pop_refcount)
325                 return 0;
326
327         /* no more vlan rules, stop global vlan pop policy */
328         err = esw_set_global_vlan_pop(esw, 0);
329
330 out:
331         return err;
332 }
333
334 struct mlx5_flow_handle *
335 mlx5_eswitch_add_send_to_vport_rule(struct mlx5_eswitch *esw, int vport, u32 sqn)
336 {
337         struct mlx5_flow_act flow_act = {0};
338         struct mlx5_flow_destination dest = {};
339         struct mlx5_flow_handle *flow_rule;
340         struct mlx5_flow_spec *spec;
341         void *misc;
342
343         spec = kvzalloc(sizeof(*spec), GFP_KERNEL);
344         if (!spec) {
345                 flow_rule = ERR_PTR(-ENOMEM);
346                 goto out;
347         }
348
349         misc = MLX5_ADDR_OF(fte_match_param, spec->match_value, misc_parameters);
350         MLX5_SET(fte_match_set_misc, misc, source_sqn, sqn);
351         MLX5_SET(fte_match_set_misc, misc, source_port, 0x0); /* source vport is 0 */
352
353         misc = MLX5_ADDR_OF(fte_match_param, spec->match_criteria, misc_parameters);
354         MLX5_SET_TO_ONES(fte_match_set_misc, misc, source_sqn);
355         MLX5_SET_TO_ONES(fte_match_set_misc, misc, source_port);
356
357         spec->match_criteria_enable = MLX5_MATCH_MISC_PARAMETERS;
358         dest.type = MLX5_FLOW_DESTINATION_TYPE_VPORT;
359         dest.vport.num = vport;
360         flow_act.action = MLX5_FLOW_CONTEXT_ACTION_FWD_DEST;
361
362         flow_rule = mlx5_add_flow_rules(esw->fdb_table.offloads.fdb, spec,
363                                         &flow_act, &dest, 1);
364         if (IS_ERR(flow_rule))
365                 esw_warn(esw->dev, "FDB: Failed to add send to vport rule err %ld\n", PTR_ERR(flow_rule));
366 out:
367         kvfree(spec);
368         return flow_rule;
369 }
370 EXPORT_SYMBOL(mlx5_eswitch_add_send_to_vport_rule);
371
372 void mlx5_eswitch_del_send_to_vport_rule(struct mlx5_flow_handle *rule)
373 {
374         mlx5_del_flow_rules(rule);
375 }
376
377 static int esw_add_fdb_miss_rule(struct mlx5_eswitch *esw)
378 {
379         struct mlx5_flow_act flow_act = {0};
380         struct mlx5_flow_destination dest = {};
381         struct mlx5_flow_handle *flow_rule = NULL;
382         struct mlx5_flow_spec *spec;
383         void *headers_c;
384         void *headers_v;
385         int err = 0;
386         u8 *dmac_c;
387         u8 *dmac_v;
388
389         spec = kvzalloc(sizeof(*spec), GFP_KERNEL);
390         if (!spec) {
391                 err = -ENOMEM;
392                 goto out;
393         }
394
395         spec->match_criteria_enable = MLX5_MATCH_OUTER_HEADERS;
396         headers_c = MLX5_ADDR_OF(fte_match_param, spec->match_criteria,
397                                  outer_headers);
398         dmac_c = MLX5_ADDR_OF(fte_match_param, headers_c,
399                               outer_headers.dmac_47_16);
400         dmac_c[0] = 0x01;
401
402         dest.type = MLX5_FLOW_DESTINATION_TYPE_VPORT;
403         dest.vport.num = 0;
404         flow_act.action = MLX5_FLOW_CONTEXT_ACTION_FWD_DEST;
405
406         flow_rule = mlx5_add_flow_rules(esw->fdb_table.offloads.fdb, spec,
407                                         &flow_act, &dest, 1);
408         if (IS_ERR(flow_rule)) {
409                 err = PTR_ERR(flow_rule);
410                 esw_warn(esw->dev,  "FDB: Failed to add unicast miss flow rule err %d\n", err);
411                 goto out;
412         }
413
414         esw->fdb_table.offloads.miss_rule_uni = flow_rule;
415
416         headers_v = MLX5_ADDR_OF(fte_match_param, spec->match_value,
417                                  outer_headers);
418         dmac_v = MLX5_ADDR_OF(fte_match_param, headers_v,
419                               outer_headers.dmac_47_16);
420         dmac_v[0] = 0x01;
421         flow_rule = mlx5_add_flow_rules(esw->fdb_table.offloads.fdb, spec,
422                                         &flow_act, &dest, 1);
423         if (IS_ERR(flow_rule)) {
424                 err = PTR_ERR(flow_rule);
425                 esw_warn(esw->dev, "FDB: Failed to add multicast miss flow rule err %d\n", err);
426                 mlx5_del_flow_rules(esw->fdb_table.offloads.miss_rule_uni);
427                 goto out;
428         }
429
430         esw->fdb_table.offloads.miss_rule_multi = flow_rule;
431
432 out:
433         kvfree(spec);
434         return err;
435 }
436
437 #define ESW_OFFLOADS_NUM_GROUPS  4
438
439 static int esw_create_offloads_fast_fdb_table(struct mlx5_eswitch *esw)
440 {
441         struct mlx5_core_dev *dev = esw->dev;
442         struct mlx5_flow_namespace *root_ns;
443         struct mlx5_flow_table *fdb = NULL;
444         int esw_size, err = 0;
445         u32 flags = 0;
446         u32 max_flow_counter = (MLX5_CAP_GEN(dev, max_flow_counter_31_16) << 16) |
447                                 MLX5_CAP_GEN(dev, max_flow_counter_15_0);
448
449         root_ns = mlx5_get_flow_namespace(dev, MLX5_FLOW_NAMESPACE_FDB);
450         if (!root_ns) {
451                 esw_warn(dev, "Failed to get FDB flow namespace\n");
452                 err = -EOPNOTSUPP;
453                 goto out;
454         }
455
456         esw_debug(dev, "Create offloads FDB table, min (max esw size(2^%d), max counters(%d)*groups(%d))\n",
457                   MLX5_CAP_ESW_FLOWTABLE_FDB(dev, log_max_ft_size),
458                   max_flow_counter, ESW_OFFLOADS_NUM_GROUPS);
459
460         esw_size = min_t(int, max_flow_counter * ESW_OFFLOADS_NUM_GROUPS,
461                          1 << MLX5_CAP_ESW_FLOWTABLE_FDB(dev, log_max_ft_size));
462
463         if (esw->offloads.encap != DEVLINK_ESWITCH_ENCAP_MODE_NONE)
464                 flags |= MLX5_FLOW_TABLE_TUNNEL_EN;
465
466         fdb = mlx5_create_auto_grouped_flow_table(root_ns, FDB_FAST_PATH,
467                                                   esw_size,
468                                                   ESW_OFFLOADS_NUM_GROUPS, 0,
469                                                   flags);
470         if (IS_ERR(fdb)) {
471                 err = PTR_ERR(fdb);
472                 esw_warn(dev, "Failed to create Fast path FDB Table err %d\n", err);
473                 goto out;
474         }
475         esw->fdb_table.fdb = fdb;
476
477 out:
478         return err;
479 }
480
481 static void esw_destroy_offloads_fast_fdb_table(struct mlx5_eswitch *esw)
482 {
483         mlx5_destroy_flow_table(esw->fdb_table.fdb);
484 }
485
486 #define MAX_PF_SQ 256
487 #define MAX_SQ_NVPORTS 32
488
489 static int esw_create_offloads_fdb_tables(struct mlx5_eswitch *esw, int nvports)
490 {
491         int inlen = MLX5_ST_SZ_BYTES(create_flow_group_in);
492         struct mlx5_flow_table_attr ft_attr = {};
493         struct mlx5_core_dev *dev = esw->dev;
494         struct mlx5_flow_namespace *root_ns;
495         struct mlx5_flow_table *fdb = NULL;
496         int table_size, ix, err = 0;
497         struct mlx5_flow_group *g;
498         void *match_criteria;
499         u32 *flow_group_in;
500         u8 *dmac;
501
502         esw_debug(esw->dev, "Create offloads FDB Tables\n");
503         flow_group_in = kvzalloc(inlen, GFP_KERNEL);
504         if (!flow_group_in)
505                 return -ENOMEM;
506
507         root_ns = mlx5_get_flow_namespace(dev, MLX5_FLOW_NAMESPACE_FDB);
508         if (!root_ns) {
509                 esw_warn(dev, "Failed to get FDB flow namespace\n");
510                 err = -EOPNOTSUPP;
511                 goto ns_err;
512         }
513
514         err = esw_create_offloads_fast_fdb_table(esw);
515         if (err)
516                 goto fast_fdb_err;
517
518         table_size = nvports * MAX_SQ_NVPORTS + MAX_PF_SQ + 2;
519
520         ft_attr.max_fte = table_size;
521         ft_attr.prio = FDB_SLOW_PATH;
522
523         fdb = mlx5_create_flow_table(root_ns, &ft_attr);
524         if (IS_ERR(fdb)) {
525                 err = PTR_ERR(fdb);
526                 esw_warn(dev, "Failed to create slow path FDB Table err %d\n", err);
527                 goto slow_fdb_err;
528         }
529         esw->fdb_table.offloads.fdb = fdb;
530
531         /* create send-to-vport group */
532         memset(flow_group_in, 0, inlen);
533         MLX5_SET(create_flow_group_in, flow_group_in, match_criteria_enable,
534                  MLX5_MATCH_MISC_PARAMETERS);
535
536         match_criteria = MLX5_ADDR_OF(create_flow_group_in, flow_group_in, match_criteria);
537
538         MLX5_SET_TO_ONES(fte_match_param, match_criteria, misc_parameters.source_sqn);
539         MLX5_SET_TO_ONES(fte_match_param, match_criteria, misc_parameters.source_port);
540
541         ix = nvports * MAX_SQ_NVPORTS + MAX_PF_SQ;
542         MLX5_SET(create_flow_group_in, flow_group_in, start_flow_index, 0);
543         MLX5_SET(create_flow_group_in, flow_group_in, end_flow_index, ix - 1);
544
545         g = mlx5_create_flow_group(fdb, flow_group_in);
546         if (IS_ERR(g)) {
547                 err = PTR_ERR(g);
548                 esw_warn(dev, "Failed to create send-to-vport flow group err(%d)\n", err);
549                 goto send_vport_err;
550         }
551         esw->fdb_table.offloads.send_to_vport_grp = g;
552
553         /* create miss group */
554         memset(flow_group_in, 0, inlen);
555         MLX5_SET(create_flow_group_in, flow_group_in, match_criteria_enable,
556                  MLX5_MATCH_OUTER_HEADERS);
557         match_criteria = MLX5_ADDR_OF(create_flow_group_in, flow_group_in,
558                                       match_criteria);
559         dmac = MLX5_ADDR_OF(fte_match_param, match_criteria,
560                             outer_headers.dmac_47_16);
561         dmac[0] = 0x01;
562
563         MLX5_SET(create_flow_group_in, flow_group_in, start_flow_index, ix);
564         MLX5_SET(create_flow_group_in, flow_group_in, end_flow_index, ix + 2);
565
566         g = mlx5_create_flow_group(fdb, flow_group_in);
567         if (IS_ERR(g)) {
568                 err = PTR_ERR(g);
569                 esw_warn(dev, "Failed to create miss flow group err(%d)\n", err);
570                 goto miss_err;
571         }
572         esw->fdb_table.offloads.miss_grp = g;
573
574         err = esw_add_fdb_miss_rule(esw);
575         if (err)
576                 goto miss_rule_err;
577
578         return 0;
579
580 miss_rule_err:
581         mlx5_destroy_flow_group(esw->fdb_table.offloads.miss_grp);
582 miss_err:
583         mlx5_destroy_flow_group(esw->fdb_table.offloads.send_to_vport_grp);
584 send_vport_err:
585         mlx5_destroy_flow_table(esw->fdb_table.offloads.fdb);
586 slow_fdb_err:
587         mlx5_destroy_flow_table(esw->fdb_table.fdb);
588 fast_fdb_err:
589 ns_err:
590         kvfree(flow_group_in);
591         return err;
592 }
593
594 static void esw_destroy_offloads_fdb_tables(struct mlx5_eswitch *esw)
595 {
596         if (!esw->fdb_table.fdb)
597                 return;
598
599         esw_debug(esw->dev, "Destroy offloads FDB Tables\n");
600         mlx5_del_flow_rules(esw->fdb_table.offloads.miss_rule_multi);
601         mlx5_del_flow_rules(esw->fdb_table.offloads.miss_rule_uni);
602         mlx5_destroy_flow_group(esw->fdb_table.offloads.send_to_vport_grp);
603         mlx5_destroy_flow_group(esw->fdb_table.offloads.miss_grp);
604
605         mlx5_destroy_flow_table(esw->fdb_table.offloads.fdb);
606         esw_destroy_offloads_fast_fdb_table(esw);
607 }
608
609 static int esw_create_offloads_table(struct mlx5_eswitch *esw)
610 {
611         struct mlx5_flow_table_attr ft_attr = {};
612         struct mlx5_core_dev *dev = esw->dev;
613         struct mlx5_flow_table *ft_offloads;
614         struct mlx5_flow_namespace *ns;
615         int err = 0;
616
617         ns = mlx5_get_flow_namespace(dev, MLX5_FLOW_NAMESPACE_OFFLOADS);
618         if (!ns) {
619                 esw_warn(esw->dev, "Failed to get offloads flow namespace\n");
620                 return -EOPNOTSUPP;
621         }
622
623         ft_attr.max_fte = dev->priv.sriov.num_vfs + 2;
624
625         ft_offloads = mlx5_create_flow_table(ns, &ft_attr);
626         if (IS_ERR(ft_offloads)) {
627                 err = PTR_ERR(ft_offloads);
628                 esw_warn(esw->dev, "Failed to create offloads table, err %d\n", err);
629                 return err;
630         }
631
632         esw->offloads.ft_offloads = ft_offloads;
633         return 0;
634 }
635
636 static void esw_destroy_offloads_table(struct mlx5_eswitch *esw)
637 {
638         struct mlx5_esw_offload *offloads = &esw->offloads;
639
640         mlx5_destroy_flow_table(offloads->ft_offloads);
641 }
642
643 static int esw_create_vport_rx_group(struct mlx5_eswitch *esw)
644 {
645         int inlen = MLX5_ST_SZ_BYTES(create_flow_group_in);
646         struct mlx5_flow_group *g;
647         struct mlx5_priv *priv = &esw->dev->priv;
648         u32 *flow_group_in;
649         void *match_criteria, *misc;
650         int err = 0;
651         int nvports = priv->sriov.num_vfs + 2;
652
653         flow_group_in = kvzalloc(inlen, GFP_KERNEL);
654         if (!flow_group_in)
655                 return -ENOMEM;
656
657         /* create vport rx group */
658         memset(flow_group_in, 0, inlen);
659         MLX5_SET(create_flow_group_in, flow_group_in, match_criteria_enable,
660                  MLX5_MATCH_MISC_PARAMETERS);
661
662         match_criteria = MLX5_ADDR_OF(create_flow_group_in, flow_group_in, match_criteria);
663         misc = MLX5_ADDR_OF(fte_match_param, match_criteria, misc_parameters);
664         MLX5_SET_TO_ONES(fte_match_set_misc, misc, source_port);
665
666         MLX5_SET(create_flow_group_in, flow_group_in, start_flow_index, 0);
667         MLX5_SET(create_flow_group_in, flow_group_in, end_flow_index, nvports - 1);
668
669         g = mlx5_create_flow_group(esw->offloads.ft_offloads, flow_group_in);
670
671         if (IS_ERR(g)) {
672                 err = PTR_ERR(g);
673                 mlx5_core_warn(esw->dev, "Failed to create vport rx group err %d\n", err);
674                 goto out;
675         }
676
677         esw->offloads.vport_rx_group = g;
678 out:
679         kvfree(flow_group_in);
680         return err;
681 }
682
683 static void esw_destroy_vport_rx_group(struct mlx5_eswitch *esw)
684 {
685         mlx5_destroy_flow_group(esw->offloads.vport_rx_group);
686 }
687
688 struct mlx5_flow_handle *
689 mlx5_eswitch_create_vport_rx_rule(struct mlx5_eswitch *esw, int vport, u32 tirn)
690 {
691         struct mlx5_flow_act flow_act = {0};
692         struct mlx5_flow_destination dest = {};
693         struct mlx5_flow_handle *flow_rule;
694         struct mlx5_flow_spec *spec;
695         void *misc;
696
697         spec = kvzalloc(sizeof(*spec), GFP_KERNEL);
698         if (!spec) {
699                 flow_rule = ERR_PTR(-ENOMEM);
700                 goto out;
701         }
702
703         misc = MLX5_ADDR_OF(fte_match_param, spec->match_value, misc_parameters);
704         MLX5_SET(fte_match_set_misc, misc, source_port, vport);
705
706         misc = MLX5_ADDR_OF(fte_match_param, spec->match_criteria, misc_parameters);
707         MLX5_SET_TO_ONES(fte_match_set_misc, misc, source_port);
708
709         spec->match_criteria_enable = MLX5_MATCH_MISC_PARAMETERS;
710         dest.type = MLX5_FLOW_DESTINATION_TYPE_TIR;
711         dest.tir_num = tirn;
712
713         flow_act.action = MLX5_FLOW_CONTEXT_ACTION_FWD_DEST;
714         flow_rule = mlx5_add_flow_rules(esw->offloads.ft_offloads, spec,
715                                         &flow_act, &dest, 1);
716         if (IS_ERR(flow_rule)) {
717                 esw_warn(esw->dev, "fs offloads: Failed to add vport rx rule err %ld\n", PTR_ERR(flow_rule));
718                 goto out;
719         }
720
721 out:
722         kvfree(spec);
723         return flow_rule;
724 }
725
726 static int esw_offloads_start(struct mlx5_eswitch *esw)
727 {
728         int err, err1, num_vfs = esw->dev->priv.sriov.num_vfs;
729
730         if (esw->mode != SRIOV_LEGACY) {
731                 esw_warn(esw->dev, "Can't set offloads mode, SRIOV legacy not enabled\n");
732                 return -EINVAL;
733         }
734
735         mlx5_eswitch_disable_sriov(esw);
736         err = mlx5_eswitch_enable_sriov(esw, num_vfs, SRIOV_OFFLOADS);
737         if (err) {
738                 esw_warn(esw->dev, "Failed setting eswitch to offloads, err %d\n", err);
739                 err1 = mlx5_eswitch_enable_sriov(esw, num_vfs, SRIOV_LEGACY);
740                 if (err1)
741                         esw_warn(esw->dev, "Failed setting eswitch back to legacy, err %d\n", err1);
742         }
743         if (esw->offloads.inline_mode == MLX5_INLINE_MODE_NONE) {
744                 if (mlx5_eswitch_inline_mode_get(esw,
745                                                  num_vfs,
746                                                  &esw->offloads.inline_mode)) {
747                         esw->offloads.inline_mode = MLX5_INLINE_MODE_L2;
748                         esw_warn(esw->dev, "Inline mode is different between vports\n");
749                 }
750         }
751         return err;
752 }
753
754 void esw_offloads_cleanup_reps(struct mlx5_eswitch *esw)
755 {
756         kfree(esw->offloads.vport_reps);
757 }
758
759 int esw_offloads_init_reps(struct mlx5_eswitch *esw)
760 {
761         int total_vfs = MLX5_TOTAL_VPORTS(esw->dev);
762         struct mlx5_core_dev *dev = esw->dev;
763         struct mlx5_esw_offload *offloads;
764         struct mlx5_eswitch_rep *rep;
765         u8 hw_id[ETH_ALEN];
766         int vport;
767
768         esw->offloads.vport_reps = kcalloc(total_vfs,
769                                            sizeof(struct mlx5_eswitch_rep),
770                                            GFP_KERNEL);
771         if (!esw->offloads.vport_reps)
772                 return -ENOMEM;
773
774         offloads = &esw->offloads;
775         mlx5_query_nic_vport_mac_address(dev, 0, hw_id);
776
777         for (vport = 0; vport < total_vfs; vport++) {
778                 rep = &offloads->vport_reps[vport];
779
780                 rep->vport = vport;
781                 ether_addr_copy(rep->hw_id, hw_id);
782         }
783
784         offloads->vport_reps[0].vport = FDB_UPLINK_VPORT;
785
786         return 0;
787 }
788
789 static void esw_offloads_unload_reps_type(struct mlx5_eswitch *esw, int nvports,
790                                           u8 rep_type)
791 {
792         struct mlx5_eswitch_rep *rep;
793         int vport;
794
795         for (vport = nvports - 1; vport >= 0; vport--) {
796                 rep = &esw->offloads.vport_reps[vport];
797                 if (!rep->rep_if[rep_type].valid)
798                         continue;
799
800                 rep->rep_if[rep_type].unload(rep);
801         }
802 }
803
804 static void esw_offloads_unload_reps(struct mlx5_eswitch *esw, int nvports)
805 {
806         u8 rep_type = NUM_REP_TYPES;
807
808         while (rep_type-- > 0)
809                 esw_offloads_unload_reps_type(esw, nvports, rep_type);
810 }
811
812 static int esw_offloads_load_reps_type(struct mlx5_eswitch *esw, int nvports,
813                                        u8 rep_type)
814 {
815         struct mlx5_eswitch_rep *rep;
816         int vport;
817         int err;
818
819         for (vport = 0; vport < nvports; vport++) {
820                 rep = &esw->offloads.vport_reps[vport];
821                 if (!rep->rep_if[rep_type].valid)
822                         continue;
823
824                 err = rep->rep_if[rep_type].load(esw->dev, rep);
825                 if (err)
826                         goto err_reps;
827         }
828
829         return 0;
830
831 err_reps:
832         esw_offloads_unload_reps_type(esw, vport, rep_type);
833         return err;
834 }
835
836 static int esw_offloads_load_reps(struct mlx5_eswitch *esw, int nvports)
837 {
838         u8 rep_type = 0;
839         int err;
840
841         for (rep_type = 0; rep_type < NUM_REP_TYPES; rep_type++) {
842                 err = esw_offloads_load_reps_type(esw, nvports, rep_type);
843                 if (err)
844                         goto err_reps;
845         }
846
847         return err;
848
849 err_reps:
850         while (rep_type-- > 0)
851                 esw_offloads_unload_reps_type(esw, nvports, rep_type);
852         return err;
853 }
854
855 int esw_offloads_init(struct mlx5_eswitch *esw, int nvports)
856 {
857         int err;
858
859         err = esw_create_offloads_fdb_tables(esw, nvports);
860         if (err)
861                 return err;
862
863         err = esw_create_offloads_table(esw);
864         if (err)
865                 goto create_ft_err;
866
867         err = esw_create_vport_rx_group(esw);
868         if (err)
869                 goto create_fg_err;
870
871         err = esw_offloads_load_reps(esw, nvports);
872         if (err)
873                 goto err_reps;
874
875         return 0;
876
877 err_reps:
878         esw_destroy_vport_rx_group(esw);
879
880 create_fg_err:
881         esw_destroy_offloads_table(esw);
882
883 create_ft_err:
884         esw_destroy_offloads_fdb_tables(esw);
885
886         return err;
887 }
888
889 static int esw_offloads_stop(struct mlx5_eswitch *esw)
890 {
891         int err, err1, num_vfs = esw->dev->priv.sriov.num_vfs;
892
893         mlx5_eswitch_disable_sriov(esw);
894         err = mlx5_eswitch_enable_sriov(esw, num_vfs, SRIOV_LEGACY);
895         if (err) {
896                 esw_warn(esw->dev, "Failed setting eswitch to legacy, err %d\n", err);
897                 err1 = mlx5_eswitch_enable_sriov(esw, num_vfs, SRIOV_OFFLOADS);
898                 if (err1)
899                         esw_warn(esw->dev, "Failed setting eswitch back to offloads, err %d\n", err);
900         }
901
902         /* enable back PF RoCE */
903         mlx5_reload_interface(esw->dev, MLX5_INTERFACE_PROTOCOL_IB);
904
905         return err;
906 }
907
908 void esw_offloads_cleanup(struct mlx5_eswitch *esw, int nvports)
909 {
910         esw_offloads_unload_reps(esw, nvports);
911         esw_destroy_vport_rx_group(esw);
912         esw_destroy_offloads_table(esw);
913         esw_destroy_offloads_fdb_tables(esw);
914 }
915
916 static int esw_mode_from_devlink(u16 mode, u16 *mlx5_mode)
917 {
918         switch (mode) {
919         case DEVLINK_ESWITCH_MODE_LEGACY:
920                 *mlx5_mode = SRIOV_LEGACY;
921                 break;
922         case DEVLINK_ESWITCH_MODE_SWITCHDEV:
923                 *mlx5_mode = SRIOV_OFFLOADS;
924                 break;
925         default:
926                 return -EINVAL;
927         }
928
929         return 0;
930 }
931
932 static int esw_mode_to_devlink(u16 mlx5_mode, u16 *mode)
933 {
934         switch (mlx5_mode) {
935         case SRIOV_LEGACY:
936                 *mode = DEVLINK_ESWITCH_MODE_LEGACY;
937                 break;
938         case SRIOV_OFFLOADS:
939                 *mode = DEVLINK_ESWITCH_MODE_SWITCHDEV;
940                 break;
941         default:
942                 return -EINVAL;
943         }
944
945         return 0;
946 }
947
948 static int esw_inline_mode_from_devlink(u8 mode, u8 *mlx5_mode)
949 {
950         switch (mode) {
951         case DEVLINK_ESWITCH_INLINE_MODE_NONE:
952                 *mlx5_mode = MLX5_INLINE_MODE_NONE;
953                 break;
954         case DEVLINK_ESWITCH_INLINE_MODE_LINK:
955                 *mlx5_mode = MLX5_INLINE_MODE_L2;
956                 break;
957         case DEVLINK_ESWITCH_INLINE_MODE_NETWORK:
958                 *mlx5_mode = MLX5_INLINE_MODE_IP;
959                 break;
960         case DEVLINK_ESWITCH_INLINE_MODE_TRANSPORT:
961                 *mlx5_mode = MLX5_INLINE_MODE_TCP_UDP;
962                 break;
963         default:
964                 return -EINVAL;
965         }
966
967         return 0;
968 }
969
970 static int esw_inline_mode_to_devlink(u8 mlx5_mode, u8 *mode)
971 {
972         switch (mlx5_mode) {
973         case MLX5_INLINE_MODE_NONE:
974                 *mode = DEVLINK_ESWITCH_INLINE_MODE_NONE;
975                 break;
976         case MLX5_INLINE_MODE_L2:
977                 *mode = DEVLINK_ESWITCH_INLINE_MODE_LINK;
978                 break;
979         case MLX5_INLINE_MODE_IP:
980                 *mode = DEVLINK_ESWITCH_INLINE_MODE_NETWORK;
981                 break;
982         case MLX5_INLINE_MODE_TCP_UDP:
983                 *mode = DEVLINK_ESWITCH_INLINE_MODE_TRANSPORT;
984                 break;
985         default:
986                 return -EINVAL;
987         }
988
989         return 0;
990 }
991
992 static int mlx5_devlink_eswitch_check(struct devlink *devlink)
993 {
994         struct mlx5_core_dev *dev = devlink_priv(devlink);
995
996         if (MLX5_CAP_GEN(dev, port_type) != MLX5_CAP_PORT_TYPE_ETH)
997                 return -EOPNOTSUPP;
998
999         if (!MLX5_CAP_GEN(dev, vport_group_manager))
1000                 return -EOPNOTSUPP;
1001
1002         if (dev->priv.eswitch->mode == SRIOV_NONE)
1003                 return -EOPNOTSUPP;
1004
1005         return 0;
1006 }
1007
1008 int mlx5_devlink_eswitch_mode_set(struct devlink *devlink, u16 mode)
1009 {
1010         struct mlx5_core_dev *dev = devlink_priv(devlink);
1011         u16 cur_mlx5_mode, mlx5_mode = 0;
1012         int err;
1013
1014         err = mlx5_devlink_eswitch_check(devlink);
1015         if (err)
1016                 return err;
1017
1018         cur_mlx5_mode = dev->priv.eswitch->mode;
1019
1020         if (esw_mode_from_devlink(mode, &mlx5_mode))
1021                 return -EINVAL;
1022
1023         if (cur_mlx5_mode == mlx5_mode)
1024                 return 0;
1025
1026         if (mode == DEVLINK_ESWITCH_MODE_SWITCHDEV)
1027                 return esw_offloads_start(dev->priv.eswitch);
1028         else if (mode == DEVLINK_ESWITCH_MODE_LEGACY)
1029                 return esw_offloads_stop(dev->priv.eswitch);
1030         else
1031                 return -EINVAL;
1032 }
1033
1034 int mlx5_devlink_eswitch_mode_get(struct devlink *devlink, u16 *mode)
1035 {
1036         struct mlx5_core_dev *dev = devlink_priv(devlink);
1037         int err;
1038
1039         err = mlx5_devlink_eswitch_check(devlink);
1040         if (err)
1041                 return err;
1042
1043         return esw_mode_to_devlink(dev->priv.eswitch->mode, mode);
1044 }
1045
1046 int mlx5_devlink_eswitch_inline_mode_set(struct devlink *devlink, u8 mode)
1047 {
1048         struct mlx5_core_dev *dev = devlink_priv(devlink);
1049         struct mlx5_eswitch *esw = dev->priv.eswitch;
1050         int err, vport;
1051         u8 mlx5_mode;
1052
1053         err = mlx5_devlink_eswitch_check(devlink);
1054         if (err)
1055                 return err;
1056
1057         switch (MLX5_CAP_ETH(dev, wqe_inline_mode)) {
1058         case MLX5_CAP_INLINE_MODE_NOT_REQUIRED:
1059                 if (mode == DEVLINK_ESWITCH_INLINE_MODE_NONE)
1060                         return 0;
1061                 /* fall through */
1062         case MLX5_CAP_INLINE_MODE_L2:
1063                 esw_warn(dev, "Inline mode can't be set\n");
1064                 return -EOPNOTSUPP;
1065         case MLX5_CAP_INLINE_MODE_VPORT_CONTEXT:
1066                 break;
1067         }
1068
1069         if (esw->offloads.num_flows > 0) {
1070                 esw_warn(dev, "Can't set inline mode when flows are configured\n");
1071                 return -EOPNOTSUPP;
1072         }
1073
1074         err = esw_inline_mode_from_devlink(mode, &mlx5_mode);
1075         if (err)
1076                 goto out;
1077
1078         for (vport = 1; vport < esw->enabled_vports; vport++) {
1079                 err = mlx5_modify_nic_vport_min_inline(dev, vport, mlx5_mode);
1080                 if (err) {
1081                         esw_warn(dev, "Failed to set min inline on vport %d\n",
1082                                  vport);
1083                         goto revert_inline_mode;
1084                 }
1085         }
1086
1087         esw->offloads.inline_mode = mlx5_mode;
1088         return 0;
1089
1090 revert_inline_mode:
1091         while (--vport > 0)
1092                 mlx5_modify_nic_vport_min_inline(dev,
1093                                                  vport,
1094                                                  esw->offloads.inline_mode);
1095 out:
1096         return err;
1097 }
1098
1099 int mlx5_devlink_eswitch_inline_mode_get(struct devlink *devlink, u8 *mode)
1100 {
1101         struct mlx5_core_dev *dev = devlink_priv(devlink);
1102         struct mlx5_eswitch *esw = dev->priv.eswitch;
1103         int err;
1104
1105         err = mlx5_devlink_eswitch_check(devlink);
1106         if (err)
1107                 return err;
1108
1109         return esw_inline_mode_to_devlink(esw->offloads.inline_mode, mode);
1110 }
1111
1112 int mlx5_eswitch_inline_mode_get(struct mlx5_eswitch *esw, int nvfs, u8 *mode)
1113 {
1114         u8 prev_mlx5_mode, mlx5_mode = MLX5_INLINE_MODE_L2;
1115         struct mlx5_core_dev *dev = esw->dev;
1116         int vport;
1117
1118         if (!MLX5_CAP_GEN(dev, vport_group_manager))
1119                 return -EOPNOTSUPP;
1120
1121         if (esw->mode == SRIOV_NONE)
1122                 return -EOPNOTSUPP;
1123
1124         switch (MLX5_CAP_ETH(dev, wqe_inline_mode)) {
1125         case MLX5_CAP_INLINE_MODE_NOT_REQUIRED:
1126                 mlx5_mode = MLX5_INLINE_MODE_NONE;
1127                 goto out;
1128         case MLX5_CAP_INLINE_MODE_L2:
1129                 mlx5_mode = MLX5_INLINE_MODE_L2;
1130                 goto out;
1131         case MLX5_CAP_INLINE_MODE_VPORT_CONTEXT:
1132                 goto query_vports;
1133         }
1134
1135 query_vports:
1136         for (vport = 1; vport <= nvfs; vport++) {
1137                 mlx5_query_nic_vport_min_inline(dev, vport, &mlx5_mode);
1138                 if (vport > 1 && prev_mlx5_mode != mlx5_mode)
1139                         return -EINVAL;
1140                 prev_mlx5_mode = mlx5_mode;
1141         }
1142
1143 out:
1144         *mode = mlx5_mode;
1145         return 0;
1146 }
1147
1148 int mlx5_devlink_eswitch_encap_mode_set(struct devlink *devlink, u8 encap)
1149 {
1150         struct mlx5_core_dev *dev = devlink_priv(devlink);
1151         struct mlx5_eswitch *esw = dev->priv.eswitch;
1152         int err;
1153
1154         err = mlx5_devlink_eswitch_check(devlink);
1155         if (err)
1156                 return err;
1157
1158         if (encap != DEVLINK_ESWITCH_ENCAP_MODE_NONE &&
1159             (!MLX5_CAP_ESW_FLOWTABLE_FDB(dev, encap) ||
1160              !MLX5_CAP_ESW_FLOWTABLE_FDB(dev, decap)))
1161                 return -EOPNOTSUPP;
1162
1163         if (encap && encap != DEVLINK_ESWITCH_ENCAP_MODE_BASIC)
1164                 return -EOPNOTSUPP;
1165
1166         if (esw->mode == SRIOV_LEGACY) {
1167                 esw->offloads.encap = encap;
1168                 return 0;
1169         }
1170
1171         if (esw->offloads.encap == encap)
1172                 return 0;
1173
1174         if (esw->offloads.num_flows > 0) {
1175                 esw_warn(dev, "Can't set encapsulation when flows are configured\n");
1176                 return -EOPNOTSUPP;
1177         }
1178
1179         esw_destroy_offloads_fast_fdb_table(esw);
1180
1181         esw->offloads.encap = encap;
1182         err = esw_create_offloads_fast_fdb_table(esw);
1183         if (err) {
1184                 esw_warn(esw->dev, "Failed re-creating fast FDB table, err %d\n", err);
1185                 esw->offloads.encap = !encap;
1186                 (void)esw_create_offloads_fast_fdb_table(esw);
1187         }
1188         return err;
1189 }
1190
1191 int mlx5_devlink_eswitch_encap_mode_get(struct devlink *devlink, u8 *encap)
1192 {
1193         struct mlx5_core_dev *dev = devlink_priv(devlink);
1194         struct mlx5_eswitch *esw = dev->priv.eswitch;
1195         int err;
1196
1197         err = mlx5_devlink_eswitch_check(devlink);
1198         if (err)
1199                 return err;
1200
1201         *encap = esw->offloads.encap;
1202         return 0;
1203 }
1204
1205 void mlx5_eswitch_register_vport_rep(struct mlx5_eswitch *esw,
1206                                      int vport_index,
1207                                      struct mlx5_eswitch_rep_if *__rep_if,
1208                                      u8 rep_type)
1209 {
1210         struct mlx5_esw_offload *offloads = &esw->offloads;
1211         struct mlx5_eswitch_rep_if *rep_if;
1212
1213         rep_if = &offloads->vport_reps[vport_index].rep_if[rep_type];
1214
1215         rep_if->load   = __rep_if->load;
1216         rep_if->unload = __rep_if->unload;
1217         rep_if->get_proto_dev = __rep_if->get_proto_dev;
1218         rep_if->priv = __rep_if->priv;
1219
1220         rep_if->valid = true;
1221 }
1222 EXPORT_SYMBOL(mlx5_eswitch_register_vport_rep);
1223
1224 void mlx5_eswitch_unregister_vport_rep(struct mlx5_eswitch *esw,
1225                                        int vport_index, u8 rep_type)
1226 {
1227         struct mlx5_esw_offload *offloads = &esw->offloads;
1228         struct mlx5_eswitch_rep *rep;
1229
1230         rep = &offloads->vport_reps[vport_index];
1231
1232         if (esw->mode == SRIOV_OFFLOADS && esw->vports[vport_index].enabled)
1233                 rep->rep_if[rep_type].unload(rep);
1234
1235         rep->rep_if[rep_type].valid = false;
1236 }
1237 EXPORT_SYMBOL(mlx5_eswitch_unregister_vport_rep);
1238
1239 void *mlx5_eswitch_get_uplink_priv(struct mlx5_eswitch *esw, u8 rep_type)
1240 {
1241 #define UPLINK_REP_INDEX 0
1242         struct mlx5_esw_offload *offloads = &esw->offloads;
1243         struct mlx5_eswitch_rep *rep;
1244
1245         rep = &offloads->vport_reps[UPLINK_REP_INDEX];
1246         return rep->rep_if[rep_type].priv;
1247 }
1248
1249 void *mlx5_eswitch_get_proto_dev(struct mlx5_eswitch *esw,
1250                                  int vport,
1251                                  u8 rep_type)
1252 {
1253         struct mlx5_esw_offload *offloads = &esw->offloads;
1254         struct mlx5_eswitch_rep *rep;
1255
1256         if (vport == FDB_UPLINK_VPORT)
1257                 vport = UPLINK_REP_INDEX;
1258
1259         rep = &offloads->vport_reps[vport];
1260
1261         if (rep->rep_if[rep_type].valid &&
1262             rep->rep_if[rep_type].get_proto_dev)
1263                 return rep->rep_if[rep_type].get_proto_dev(rep);
1264         return NULL;
1265 }
1266 EXPORT_SYMBOL(mlx5_eswitch_get_proto_dev);
1267
1268 void *mlx5_eswitch_uplink_get_proto_dev(struct mlx5_eswitch *esw, u8 rep_type)
1269 {
1270         return mlx5_eswitch_get_proto_dev(esw, UPLINK_REP_INDEX, rep_type);
1271 }
1272 EXPORT_SYMBOL(mlx5_eswitch_uplink_get_proto_dev);
1273
1274 struct mlx5_eswitch_rep *mlx5_eswitch_vport_rep(struct mlx5_eswitch *esw,
1275                                                 int vport)
1276 {
1277         return &esw->offloads.vport_reps[vport];
1278 }
1279 EXPORT_SYMBOL(mlx5_eswitch_vport_rep);