cxgb4: Replaced the backdoor mechanism to access the HW memory with PCIe Window method
[sfrench/cifs-2.6.git] / drivers / net / ethernet / chelsio / cxgb4 / cxgb4.h
1 /*
2  * This file is part of the Chelsio T4 Ethernet driver for Linux.
3  *
4  * Copyright (c) 2003-2014 Chelsio Communications, Inc. All rights reserved.
5  *
6  * This software is available to you under a choice of one of two
7  * licenses.  You may choose to be licensed under the terms of the GNU
8  * General Public License (GPL) Version 2, available from the file
9  * COPYING in the main directory of this source tree, or the
10  * OpenIB.org BSD license below:
11  *
12  *     Redistribution and use in source and binary forms, with or
13  *     without modification, are permitted provided that the following
14  *     conditions are met:
15  *
16  *      - Redistributions of source code must retain the above
17  *        copyright notice, this list of conditions and the following
18  *        disclaimer.
19  *
20  *      - Redistributions in binary form must reproduce the above
21  *        copyright notice, this list of conditions and the following
22  *        disclaimer in the documentation and/or other materials
23  *        provided with the distribution.
24  *
25  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
26  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
27  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
28  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
29  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
30  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
31  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
32  * SOFTWARE.
33  */
34
35 #ifndef __CXGB4_H__
36 #define __CXGB4_H__
37
38 #include "t4_hw.h"
39
40 #include <linux/bitops.h>
41 #include <linux/cache.h>
42 #include <linux/interrupt.h>
43 #include <linux/list.h>
44 #include <linux/netdevice.h>
45 #include <linux/pci.h>
46 #include <linux/spinlock.h>
47 #include <linux/timer.h>
48 #include <linux/vmalloc.h>
49 #include <asm/io.h>
50 #include "cxgb4_uld.h"
51
52 #define T4FW_VERSION_MAJOR 0x01
53 #define T4FW_VERSION_MINOR 0x09
54 #define T4FW_VERSION_MICRO 0x17
55 #define T4FW_VERSION_BUILD 0x00
56
57 #define T5FW_VERSION_MAJOR 0x01
58 #define T5FW_VERSION_MINOR 0x09
59 #define T5FW_VERSION_MICRO 0x17
60 #define T5FW_VERSION_BUILD 0x00
61
62 #define CH_WARN(adap, fmt, ...) dev_warn(adap->pdev_dev, fmt, ## __VA_ARGS__)
63
64 enum {
65         MAX_NPORTS = 4,     /* max # of ports */
66         SERNUM_LEN = 24,    /* Serial # length */
67         EC_LEN     = 16,    /* E/C length */
68         ID_LEN     = 16,    /* ID length */
69         PN_LEN     = 16,    /* Part Number length */
70 };
71
72 enum {
73         MEM_EDC0,
74         MEM_EDC1,
75         MEM_MC,
76         MEM_MC0 = MEM_MC,
77         MEM_MC1
78 };
79
80 enum {
81         MEMWIN0_APERTURE = 2048,
82         MEMWIN0_BASE     = 0x1b800,
83         MEMWIN1_APERTURE = 32768,
84         MEMWIN1_BASE     = 0x28000,
85         MEMWIN1_BASE_T5  = 0x52000,
86         MEMWIN2_APERTURE = 65536,
87         MEMWIN2_BASE     = 0x30000,
88         MEMWIN2_APERTURE_T5 = 131072,
89         MEMWIN2_BASE_T5  = 0x60000,
90 };
91
92 enum dev_master {
93         MASTER_CANT,
94         MASTER_MAY,
95         MASTER_MUST
96 };
97
98 enum dev_state {
99         DEV_STATE_UNINIT,
100         DEV_STATE_INIT,
101         DEV_STATE_ERR
102 };
103
104 enum {
105         PAUSE_RX      = 1 << 0,
106         PAUSE_TX      = 1 << 1,
107         PAUSE_AUTONEG = 1 << 2
108 };
109
110 struct port_stats {
111         u64 tx_octets;            /* total # of octets in good frames */
112         u64 tx_frames;            /* all good frames */
113         u64 tx_bcast_frames;      /* all broadcast frames */
114         u64 tx_mcast_frames;      /* all multicast frames */
115         u64 tx_ucast_frames;      /* all unicast frames */
116         u64 tx_error_frames;      /* all error frames */
117
118         u64 tx_frames_64;         /* # of Tx frames in a particular range */
119         u64 tx_frames_65_127;
120         u64 tx_frames_128_255;
121         u64 tx_frames_256_511;
122         u64 tx_frames_512_1023;
123         u64 tx_frames_1024_1518;
124         u64 tx_frames_1519_max;
125
126         u64 tx_drop;              /* # of dropped Tx frames */
127         u64 tx_pause;             /* # of transmitted pause frames */
128         u64 tx_ppp0;              /* # of transmitted PPP prio 0 frames */
129         u64 tx_ppp1;              /* # of transmitted PPP prio 1 frames */
130         u64 tx_ppp2;              /* # of transmitted PPP prio 2 frames */
131         u64 tx_ppp3;              /* # of transmitted PPP prio 3 frames */
132         u64 tx_ppp4;              /* # of transmitted PPP prio 4 frames */
133         u64 tx_ppp5;              /* # of transmitted PPP prio 5 frames */
134         u64 tx_ppp6;              /* # of transmitted PPP prio 6 frames */
135         u64 tx_ppp7;              /* # of transmitted PPP prio 7 frames */
136
137         u64 rx_octets;            /* total # of octets in good frames */
138         u64 rx_frames;            /* all good frames */
139         u64 rx_bcast_frames;      /* all broadcast frames */
140         u64 rx_mcast_frames;      /* all multicast frames */
141         u64 rx_ucast_frames;      /* all unicast frames */
142         u64 rx_too_long;          /* # of frames exceeding MTU */
143         u64 rx_jabber;            /* # of jabber frames */
144         u64 rx_fcs_err;           /* # of received frames with bad FCS */
145         u64 rx_len_err;           /* # of received frames with length error */
146         u64 rx_symbol_err;        /* symbol errors */
147         u64 rx_runt;              /* # of short frames */
148
149         u64 rx_frames_64;         /* # of Rx frames in a particular range */
150         u64 rx_frames_65_127;
151         u64 rx_frames_128_255;
152         u64 rx_frames_256_511;
153         u64 rx_frames_512_1023;
154         u64 rx_frames_1024_1518;
155         u64 rx_frames_1519_max;
156
157         u64 rx_pause;             /* # of received pause frames */
158         u64 rx_ppp0;              /* # of received PPP prio 0 frames */
159         u64 rx_ppp1;              /* # of received PPP prio 1 frames */
160         u64 rx_ppp2;              /* # of received PPP prio 2 frames */
161         u64 rx_ppp3;              /* # of received PPP prio 3 frames */
162         u64 rx_ppp4;              /* # of received PPP prio 4 frames */
163         u64 rx_ppp5;              /* # of received PPP prio 5 frames */
164         u64 rx_ppp6;              /* # of received PPP prio 6 frames */
165         u64 rx_ppp7;              /* # of received PPP prio 7 frames */
166
167         u64 rx_ovflow0;           /* drops due to buffer-group 0 overflows */
168         u64 rx_ovflow1;           /* drops due to buffer-group 1 overflows */
169         u64 rx_ovflow2;           /* drops due to buffer-group 2 overflows */
170         u64 rx_ovflow3;           /* drops due to buffer-group 3 overflows */
171         u64 rx_trunc0;            /* buffer-group 0 truncated packets */
172         u64 rx_trunc1;            /* buffer-group 1 truncated packets */
173         u64 rx_trunc2;            /* buffer-group 2 truncated packets */
174         u64 rx_trunc3;            /* buffer-group 3 truncated packets */
175 };
176
177 struct lb_port_stats {
178         u64 octets;
179         u64 frames;
180         u64 bcast_frames;
181         u64 mcast_frames;
182         u64 ucast_frames;
183         u64 error_frames;
184
185         u64 frames_64;
186         u64 frames_65_127;
187         u64 frames_128_255;
188         u64 frames_256_511;
189         u64 frames_512_1023;
190         u64 frames_1024_1518;
191         u64 frames_1519_max;
192
193         u64 drop;
194
195         u64 ovflow0;
196         u64 ovflow1;
197         u64 ovflow2;
198         u64 ovflow3;
199         u64 trunc0;
200         u64 trunc1;
201         u64 trunc2;
202         u64 trunc3;
203 };
204
205 struct tp_tcp_stats {
206         u32 tcpOutRsts;
207         u64 tcpInSegs;
208         u64 tcpOutSegs;
209         u64 tcpRetransSegs;
210 };
211
212 struct tp_err_stats {
213         u32 macInErrs[4];
214         u32 hdrInErrs[4];
215         u32 tcpInErrs[4];
216         u32 tnlCongDrops[4];
217         u32 ofldChanDrops[4];
218         u32 tnlTxDrops[4];
219         u32 ofldVlanDrops[4];
220         u32 tcp6InErrs[4];
221         u32 ofldNoNeigh;
222         u32 ofldCongDefer;
223 };
224
225 struct tp_params {
226         unsigned int ntxchan;        /* # of Tx channels */
227         unsigned int tre;            /* log2 of core clocks per TP tick */
228         unsigned short tx_modq_map;  /* TX modulation scheduler queue to */
229                                      /* channel map */
230
231         uint32_t dack_re;            /* DACK timer resolution */
232         unsigned short tx_modq[NCHAN];  /* channel to modulation queue map */
233
234         u32 vlan_pri_map;               /* cached TP_VLAN_PRI_MAP */
235         u32 ingress_config;             /* cached TP_INGRESS_CONFIG */
236
237         /* TP_VLAN_PRI_MAP Compressed Filter Tuple field offsets.  This is a
238          * subset of the set of fields which may be present in the Compressed
239          * Filter Tuple portion of filters and TCP TCB connections.  The
240          * fields which are present are controlled by the TP_VLAN_PRI_MAP.
241          * Since a variable number of fields may or may not be present, their
242          * shifted field positions within the Compressed Filter Tuple may
243          * vary, or not even be present if the field isn't selected in
244          * TP_VLAN_PRI_MAP.  Since some of these fields are needed in various
245          * places we store their offsets here, or a -1 if the field isn't
246          * present.
247          */
248         int vlan_shift;
249         int vnic_shift;
250         int port_shift;
251         int protocol_shift;
252 };
253
254 struct vpd_params {
255         unsigned int cclk;
256         u8 ec[EC_LEN + 1];
257         u8 sn[SERNUM_LEN + 1];
258         u8 id[ID_LEN + 1];
259         u8 pn[PN_LEN + 1];
260 };
261
262 struct pci_params {
263         unsigned char speed;
264         unsigned char width;
265 };
266
267 #define CHELSIO_CHIP_CODE(version, revision) (((version) << 4) | (revision))
268 #define CHELSIO_CHIP_FPGA          0x100
269 #define CHELSIO_CHIP_VERSION(code) (((code) >> 4) & 0xf)
270 #define CHELSIO_CHIP_RELEASE(code) ((code) & 0xf)
271
272 #define CHELSIO_T4              0x4
273 #define CHELSIO_T5              0x5
274
275 enum chip_type {
276         T4_A1 = CHELSIO_CHIP_CODE(CHELSIO_T4, 1),
277         T4_A2 = CHELSIO_CHIP_CODE(CHELSIO_T4, 2),
278         T4_FIRST_REV    = T4_A1,
279         T4_LAST_REV     = T4_A2,
280
281         T5_A0 = CHELSIO_CHIP_CODE(CHELSIO_T5, 0),
282         T5_A1 = CHELSIO_CHIP_CODE(CHELSIO_T5, 1),
283         T5_FIRST_REV    = T5_A0,
284         T5_LAST_REV     = T5_A1,
285 };
286
287 struct adapter_params {
288         struct tp_params  tp;
289         struct vpd_params vpd;
290         struct pci_params pci;
291
292         unsigned int sf_size;             /* serial flash size in bytes */
293         unsigned int sf_nsec;             /* # of flash sectors */
294         unsigned int sf_fw_start;         /* start of FW image in flash */
295
296         unsigned int fw_vers;
297         unsigned int tp_vers;
298         u8 api_vers[7];
299
300         unsigned short mtus[NMTUS];
301         unsigned short a_wnd[NCCTRL_WIN];
302         unsigned short b_wnd[NCCTRL_WIN];
303
304         unsigned char nports;             /* # of ethernet ports */
305         unsigned char portvec;
306         enum chip_type chip;               /* chip code */
307         unsigned char offload;
308
309         unsigned char bypass;
310
311         unsigned int ofldq_wr_cred;
312         bool ulptx_memwrite_dsgl;          /* use of T5 DSGL allowed */
313 };
314
315 #include "t4fw_api.h"
316
317 #define FW_VERSION(chip) ( \
318                 FW_HDR_FW_VER_MAJOR_GET(chip##FW_VERSION_MAJOR) | \
319                 FW_HDR_FW_VER_MINOR_GET(chip##FW_VERSION_MINOR) | \
320                 FW_HDR_FW_VER_MICRO_GET(chip##FW_VERSION_MICRO) | \
321                 FW_HDR_FW_VER_BUILD_GET(chip##FW_VERSION_BUILD))
322 #define FW_INTFVER(chip, intf) (FW_HDR_INTFVER_##intf)
323
324 struct fw_info {
325         u8 chip;
326         char *fs_name;
327         char *fw_mod_name;
328         struct fw_hdr fw_hdr;
329 };
330
331
332 struct trace_params {
333         u32 data[TRACE_LEN / 4];
334         u32 mask[TRACE_LEN / 4];
335         unsigned short snap_len;
336         unsigned short min_len;
337         unsigned char skip_ofst;
338         unsigned char skip_len;
339         unsigned char invert;
340         unsigned char port;
341 };
342
343 struct link_config {
344         unsigned short supported;        /* link capabilities */
345         unsigned short advertising;      /* advertised capabilities */
346         unsigned short requested_speed;  /* speed user has requested */
347         unsigned short speed;            /* actual link speed */
348         unsigned char  requested_fc;     /* flow control user has requested */
349         unsigned char  fc;               /* actual link flow control */
350         unsigned char  autoneg;          /* autonegotiating? */
351         unsigned char  link_ok;          /* link up? */
352 };
353
354 #define FW_LEN16(fw_struct) FW_CMD_LEN16(sizeof(fw_struct) / 16)
355
356 enum {
357         MAX_ETH_QSETS = 32,           /* # of Ethernet Tx/Rx queue sets */
358         MAX_OFLD_QSETS = 16,          /* # of offload Tx/Rx queue sets */
359         MAX_CTRL_QUEUES = NCHAN,      /* # of control Tx queues */
360         MAX_RDMA_QUEUES = NCHAN,      /* # of streaming RDMA Rx queues */
361         MAX_RDMA_CIQS = NCHAN,        /* # of  RDMA concentrator IQs */
362         MAX_ISCSI_QUEUES = NCHAN,     /* # of streaming iSCSI Rx queues */
363 };
364
365 enum {
366         INGQ_EXTRAS = 2,        /* firmware event queue and */
367                                 /*   forwarded interrupts */
368         MAX_EGRQ = MAX_ETH_QSETS*2 + MAX_OFLD_QSETS*2
369                    + MAX_CTRL_QUEUES + MAX_RDMA_QUEUES + MAX_ISCSI_QUEUES,
370         MAX_INGQ = MAX_ETH_QSETS + MAX_OFLD_QSETS + MAX_RDMA_QUEUES
371                    + MAX_RDMA_CIQS + MAX_ISCSI_QUEUES + INGQ_EXTRAS,
372 };
373
374 struct adapter;
375 struct sge_rspq;
376
377 #include "cxgb4_dcb.h"
378
379 struct port_info {
380         struct adapter *adapter;
381         u16    viid;
382         s16    xact_addr_filt;        /* index of exact MAC address filter */
383         u16    rss_size;              /* size of VI's RSS table slice */
384         s8     mdio_addr;
385         u8     port_type;
386         u8     mod_type;
387         u8     port_id;
388         u8     tx_chan;
389         u8     lport;                 /* associated offload logical port */
390         u8     nqsets;                /* # of qsets */
391         u8     first_qset;            /* index of first qset */
392         u8     rss_mode;
393         struct link_config link_cfg;
394         u16   *rss;
395 #ifdef CONFIG_CHELSIO_T4_DCB
396         struct port_dcb_info dcb;     /* Data Center Bridging support */
397 #endif
398 };
399
400 struct dentry;
401 struct work_struct;
402
403 enum {                                 /* adapter flags */
404         FULL_INIT_DONE     = (1 << 0),
405         DEV_ENABLED        = (1 << 1),
406         USING_MSI          = (1 << 2),
407         USING_MSIX         = (1 << 3),
408         FW_OK              = (1 << 4),
409         RSS_TNLALLLOOKUP   = (1 << 5),
410         USING_SOFT_PARAMS  = (1 << 6),
411         MASTER_PF          = (1 << 7),
412         FW_OFLD_CONN       = (1 << 9),
413 };
414
415 struct rx_sw_desc;
416
417 struct sge_fl {                     /* SGE free-buffer queue state */
418         unsigned int avail;         /* # of available Rx buffers */
419         unsigned int pend_cred;     /* new buffers since last FL DB ring */
420         unsigned int cidx;          /* consumer index */
421         unsigned int pidx;          /* producer index */
422         unsigned long alloc_failed; /* # of times buffer allocation failed */
423         unsigned long large_alloc_failed;
424         unsigned long starving;
425         /* RO fields */
426         unsigned int cntxt_id;      /* SGE context id for the free list */
427         unsigned int size;          /* capacity of free list */
428         struct rx_sw_desc *sdesc;   /* address of SW Rx descriptor ring */
429         __be64 *desc;               /* address of HW Rx descriptor ring */
430         dma_addr_t addr;            /* bus address of HW ring start */
431 };
432
433 /* A packet gather list */
434 struct pkt_gl {
435         struct page_frag frags[MAX_SKB_FRAGS];
436         void *va;                         /* virtual address of first byte */
437         unsigned int nfrags;              /* # of fragments */
438         unsigned int tot_len;             /* total length of fragments */
439 };
440
441 typedef int (*rspq_handler_t)(struct sge_rspq *q, const __be64 *rsp,
442                               const struct pkt_gl *gl);
443
444 struct sge_rspq {                   /* state for an SGE response queue */
445         struct napi_struct napi;
446         const __be64 *cur_desc;     /* current descriptor in queue */
447         unsigned int cidx;          /* consumer index */
448         u8 gen;                     /* current generation bit */
449         u8 intr_params;             /* interrupt holdoff parameters */
450         u8 next_intr_params;        /* holdoff params for next interrupt */
451         u8 pktcnt_idx;              /* interrupt packet threshold */
452         u8 uld;                     /* ULD handling this queue */
453         u8 idx;                     /* queue index within its group */
454         int offset;                 /* offset into current Rx buffer */
455         u16 cntxt_id;               /* SGE context id for the response q */
456         u16 abs_id;                 /* absolute SGE id for the response q */
457         __be64 *desc;               /* address of HW response ring */
458         dma_addr_t phys_addr;       /* physical address of the ring */
459         unsigned int iqe_len;       /* entry size */
460         unsigned int size;          /* capacity of response queue */
461         struct adapter *adap;
462         struct net_device *netdev;  /* associated net device */
463         rspq_handler_t handler;
464 };
465
466 struct sge_eth_stats {              /* Ethernet queue statistics */
467         unsigned long pkts;         /* # of ethernet packets */
468         unsigned long lro_pkts;     /* # of LRO super packets */
469         unsigned long lro_merged;   /* # of wire packets merged by LRO */
470         unsigned long rx_cso;       /* # of Rx checksum offloads */
471         unsigned long vlan_ex;      /* # of Rx VLAN extractions */
472         unsigned long rx_drops;     /* # of packets dropped due to no mem */
473 };
474
475 struct sge_eth_rxq {                /* SW Ethernet Rx queue */
476         struct sge_rspq rspq;
477         struct sge_fl fl;
478         struct sge_eth_stats stats;
479 } ____cacheline_aligned_in_smp;
480
481 struct sge_ofld_stats {             /* offload queue statistics */
482         unsigned long pkts;         /* # of packets */
483         unsigned long imm;          /* # of immediate-data packets */
484         unsigned long an;           /* # of asynchronous notifications */
485         unsigned long nomem;        /* # of responses deferred due to no mem */
486 };
487
488 struct sge_ofld_rxq {               /* SW offload Rx queue */
489         struct sge_rspq rspq;
490         struct sge_fl fl;
491         struct sge_ofld_stats stats;
492 } ____cacheline_aligned_in_smp;
493
494 struct tx_desc {
495         __be64 flit[8];
496 };
497
498 struct tx_sw_desc;
499
500 struct sge_txq {
501         unsigned int  in_use;       /* # of in-use Tx descriptors */
502         unsigned int  size;         /* # of descriptors */
503         unsigned int  cidx;         /* SW consumer index */
504         unsigned int  pidx;         /* producer index */
505         unsigned long stops;        /* # of times q has been stopped */
506         unsigned long restarts;     /* # of queue restarts */
507         unsigned int  cntxt_id;     /* SGE context id for the Tx q */
508         struct tx_desc *desc;       /* address of HW Tx descriptor ring */
509         struct tx_sw_desc *sdesc;   /* address of SW Tx descriptor ring */
510         struct sge_qstat *stat;     /* queue status entry */
511         dma_addr_t    phys_addr;    /* physical address of the ring */
512         spinlock_t db_lock;
513         int db_disabled;
514         unsigned short db_pidx;
515         unsigned short db_pidx_inc;
516         u64 udb;
517 };
518
519 struct sge_eth_txq {                /* state for an SGE Ethernet Tx queue */
520         struct sge_txq q;
521         struct netdev_queue *txq;   /* associated netdev TX queue */
522         unsigned long tso;          /* # of TSO requests */
523         unsigned long tx_cso;       /* # of Tx checksum offloads */
524         unsigned long vlan_ins;     /* # of Tx VLAN insertions */
525         unsigned long mapping_err;  /* # of I/O MMU packet mapping errors */
526 } ____cacheline_aligned_in_smp;
527
528 struct sge_ofld_txq {               /* state for an SGE offload Tx queue */
529         struct sge_txq q;
530         struct adapter *adap;
531         struct sk_buff_head sendq;  /* list of backpressured packets */
532         struct tasklet_struct qresume_tsk; /* restarts the queue */
533         u8 full;                    /* the Tx ring is full */
534         unsigned long mapping_err;  /* # of I/O MMU packet mapping errors */
535 } ____cacheline_aligned_in_smp;
536
537 struct sge_ctrl_txq {               /* state for an SGE control Tx queue */
538         struct sge_txq q;
539         struct adapter *adap;
540         struct sk_buff_head sendq;  /* list of backpressured packets */
541         struct tasklet_struct qresume_tsk; /* restarts the queue */
542         u8 full;                    /* the Tx ring is full */
543 } ____cacheline_aligned_in_smp;
544
545 struct sge {
546         struct sge_eth_txq ethtxq[MAX_ETH_QSETS];
547         struct sge_ofld_txq ofldtxq[MAX_OFLD_QSETS];
548         struct sge_ctrl_txq ctrlq[MAX_CTRL_QUEUES];
549
550         struct sge_eth_rxq ethrxq[MAX_ETH_QSETS];
551         struct sge_ofld_rxq ofldrxq[MAX_OFLD_QSETS];
552         struct sge_ofld_rxq rdmarxq[MAX_RDMA_QUEUES];
553         struct sge_ofld_rxq rdmaciq[MAX_RDMA_CIQS];
554         struct sge_rspq fw_evtq ____cacheline_aligned_in_smp;
555
556         struct sge_rspq intrq ____cacheline_aligned_in_smp;
557         spinlock_t intrq_lock;
558
559         u16 max_ethqsets;           /* # of available Ethernet queue sets */
560         u16 ethqsets;               /* # of active Ethernet queue sets */
561         u16 ethtxq_rover;           /* Tx queue to clean up next */
562         u16 ofldqsets;              /* # of active offload queue sets */
563         u16 rdmaqs;                 /* # of available RDMA Rx queues */
564         u16 rdmaciqs;               /* # of available RDMA concentrator IQs */
565         u16 ofld_rxq[MAX_OFLD_QSETS];
566         u16 rdma_rxq[NCHAN];
567         u16 rdma_ciq[NCHAN];
568         u16 timer_val[SGE_NTIMERS];
569         u8 counter_val[SGE_NCOUNTERS];
570         u32 fl_pg_order;            /* large page allocation size */
571         u32 stat_len;               /* length of status page at ring end */
572         u32 pktshift;               /* padding between CPL & packet data */
573         u32 fl_align;               /* response queue message alignment */
574         u32 fl_starve_thres;        /* Free List starvation threshold */
575
576         /* State variables for detecting an SGE Ingress DMA hang */
577         unsigned int idma_1s_thresh;/* SGE same State Counter 1s threshold */
578         unsigned int idma_stalled[2];/* SGE synthesized stalled timers in HZ */
579         unsigned int idma_state[2]; /* SGE IDMA Hang detect state */
580         unsigned int idma_qid[2];   /* SGE IDMA Hung Ingress Queue ID */
581
582         unsigned int egr_start;
583         unsigned int ingr_start;
584         void *egr_map[MAX_EGRQ];    /* qid->queue egress queue map */
585         struct sge_rspq *ingr_map[MAX_INGQ]; /* qid->queue ingress queue map */
586         DECLARE_BITMAP(starving_fl, MAX_EGRQ);
587         DECLARE_BITMAP(txq_maperr, MAX_EGRQ);
588         struct timer_list rx_timer; /* refills starving FLs */
589         struct timer_list tx_timer; /* checks Tx queues */
590 };
591
592 #define for_each_ethrxq(sge, i) for (i = 0; i < (sge)->ethqsets; i++)
593 #define for_each_ofldrxq(sge, i) for (i = 0; i < (sge)->ofldqsets; i++)
594 #define for_each_rdmarxq(sge, i) for (i = 0; i < (sge)->rdmaqs; i++)
595 #define for_each_rdmaciq(sge, i) for (i = 0; i < (sge)->rdmaciqs; i++)
596
597 struct l2t_data;
598
599 #ifdef CONFIG_PCI_IOV
600
601 /* T4 supports SRIOV on PF0-3 and T5 on PF0-7.  However, the Serial
602  * Configuration initialization for T5 only has SR-IOV functionality enabled
603  * on PF0-3 in order to simplify everything.
604  */
605 #define NUM_OF_PF_WITH_SRIOV 4
606
607 #endif
608
609 struct adapter {
610         void __iomem *regs;
611         void __iomem *bar2;
612         u32 t4_bar0;
613         struct pci_dev *pdev;
614         struct device *pdev_dev;
615         unsigned int mbox;
616         unsigned int fn;
617         unsigned int flags;
618         enum chip_type chip;
619
620         int msg_enable;
621
622         struct adapter_params params;
623         struct cxgb4_virt_res vres;
624         unsigned int swintr;
625
626         unsigned int wol;
627
628         struct {
629                 unsigned short vec;
630                 char desc[IFNAMSIZ + 10];
631         } msix_info[MAX_INGQ + 1];
632
633         struct sge sge;
634
635         struct net_device *port[MAX_NPORTS];
636         u8 chan_map[NCHAN];                   /* channel -> port map */
637
638         u32 filter_mode;
639         unsigned int l2t_start;
640         unsigned int l2t_end;
641         struct l2t_data *l2t;
642         void *uld_handle[CXGB4_ULD_MAX];
643         struct list_head list_node;
644         struct list_head rcu_node;
645
646         struct tid_info tids;
647         void **tid_release_head;
648         spinlock_t tid_release_lock;
649         struct work_struct tid_release_task;
650         struct work_struct db_full_task;
651         struct work_struct db_drop_task;
652         bool tid_release_task_busy;
653
654         struct dentry *debugfs_root;
655
656         spinlock_t stats_lock;
657         spinlock_t win0_lock ____cacheline_aligned_in_smp;
658 };
659
660 /* Defined bit width of user definable filter tuples
661  */
662 #define ETHTYPE_BITWIDTH 16
663 #define FRAG_BITWIDTH 1
664 #define MACIDX_BITWIDTH 9
665 #define FCOE_BITWIDTH 1
666 #define IPORT_BITWIDTH 3
667 #define MATCHTYPE_BITWIDTH 3
668 #define PROTO_BITWIDTH 8
669 #define TOS_BITWIDTH 8
670 #define PF_BITWIDTH 8
671 #define VF_BITWIDTH 8
672 #define IVLAN_BITWIDTH 16
673 #define OVLAN_BITWIDTH 16
674
675 /* Filter matching rules.  These consist of a set of ingress packet field
676  * (value, mask) tuples.  The associated ingress packet field matches the
677  * tuple when ((field & mask) == value).  (Thus a wildcard "don't care" field
678  * rule can be constructed by specifying a tuple of (0, 0).)  A filter rule
679  * matches an ingress packet when all of the individual individual field
680  * matching rules are true.
681  *
682  * Partial field masks are always valid, however, while it may be easy to
683  * understand their meanings for some fields (e.g. IP address to match a
684  * subnet), for others making sensible partial masks is less intuitive (e.g.
685  * MPS match type) ...
686  *
687  * Most of the following data structures are modeled on T4 capabilities.
688  * Drivers for earlier chips use the subsets which make sense for those chips.
689  * We really need to come up with a hardware-independent mechanism to
690  * represent hardware filter capabilities ...
691  */
692 struct ch_filter_tuple {
693         /* Compressed header matching field rules.  The TP_VLAN_PRI_MAP
694          * register selects which of these fields will participate in the
695          * filter match rules -- up to a maximum of 36 bits.  Because
696          * TP_VLAN_PRI_MAP is a global register, all filters must use the same
697          * set of fields.
698          */
699         uint32_t ethtype:ETHTYPE_BITWIDTH;      /* Ethernet type */
700         uint32_t frag:FRAG_BITWIDTH;            /* IP fragmentation header */
701         uint32_t ivlan_vld:1;                   /* inner VLAN valid */
702         uint32_t ovlan_vld:1;                   /* outer VLAN valid */
703         uint32_t pfvf_vld:1;                    /* PF/VF valid */
704         uint32_t macidx:MACIDX_BITWIDTH;        /* exact match MAC index */
705         uint32_t fcoe:FCOE_BITWIDTH;            /* FCoE packet */
706         uint32_t iport:IPORT_BITWIDTH;          /* ingress port */
707         uint32_t matchtype:MATCHTYPE_BITWIDTH;  /* MPS match type */
708         uint32_t proto:PROTO_BITWIDTH;          /* protocol type */
709         uint32_t tos:TOS_BITWIDTH;              /* TOS/Traffic Type */
710         uint32_t pf:PF_BITWIDTH;                /* PCI-E PF ID */
711         uint32_t vf:VF_BITWIDTH;                /* PCI-E VF ID */
712         uint32_t ivlan:IVLAN_BITWIDTH;          /* inner VLAN */
713         uint32_t ovlan:OVLAN_BITWIDTH;          /* outer VLAN */
714
715         /* Uncompressed header matching field rules.  These are always
716          * available for field rules.
717          */
718         uint8_t lip[16];        /* local IP address (IPv4 in [3:0]) */
719         uint8_t fip[16];        /* foreign IP address (IPv4 in [3:0]) */
720         uint16_t lport;         /* local port */
721         uint16_t fport;         /* foreign port */
722 };
723
724 /* A filter ioctl command.
725  */
726 struct ch_filter_specification {
727         /* Administrative fields for filter.
728          */
729         uint32_t hitcnts:1;     /* count filter hits in TCB */
730         uint32_t prio:1;        /* filter has priority over active/server */
731
732         /* Fundamental filter typing.  This is the one element of filter
733          * matching that doesn't exist as a (value, mask) tuple.
734          */
735         uint32_t type:1;        /* 0 => IPv4, 1 => IPv6 */
736
737         /* Packet dispatch information.  Ingress packets which match the
738          * filter rules will be dropped, passed to the host or switched back
739          * out as egress packets.
740          */
741         uint32_t action:2;      /* drop, pass, switch */
742
743         uint32_t rpttid:1;      /* report TID in RSS hash field */
744
745         uint32_t dirsteer:1;    /* 0 => RSS, 1 => steer to iq */
746         uint32_t iq:10;         /* ingress queue */
747
748         uint32_t maskhash:1;    /* dirsteer=0: store RSS hash in TCB */
749         uint32_t dirsteerhash:1;/* dirsteer=1: 0 => TCB contains RSS hash */
750                                 /*             1 => TCB contains IQ ID */
751
752         /* Switch proxy/rewrite fields.  An ingress packet which matches a
753          * filter with "switch" set will be looped back out as an egress
754          * packet -- potentially with some Ethernet header rewriting.
755          */
756         uint32_t eport:2;       /* egress port to switch packet out */
757         uint32_t newdmac:1;     /* rewrite destination MAC address */
758         uint32_t newsmac:1;     /* rewrite source MAC address */
759         uint32_t newvlan:2;     /* rewrite VLAN Tag */
760         uint8_t dmac[ETH_ALEN]; /* new destination MAC address */
761         uint8_t smac[ETH_ALEN]; /* new source MAC address */
762         uint16_t vlan;          /* VLAN Tag to insert */
763
764         /* Filter rule value/mask pairs.
765          */
766         struct ch_filter_tuple val;
767         struct ch_filter_tuple mask;
768 };
769
770 enum {
771         FILTER_PASS = 0,        /* default */
772         FILTER_DROP,
773         FILTER_SWITCH
774 };
775
776 enum {
777         VLAN_NOCHANGE = 0,      /* default */
778         VLAN_REMOVE,
779         VLAN_INSERT,
780         VLAN_REWRITE
781 };
782
783 static inline int is_t5(enum chip_type chip)
784 {
785         return CHELSIO_CHIP_VERSION(chip) == CHELSIO_T5;
786 }
787
788 static inline int is_t4(enum chip_type chip)
789 {
790         return CHELSIO_CHIP_VERSION(chip) == CHELSIO_T4;
791 }
792
793 static inline u32 t4_read_reg(struct adapter *adap, u32 reg_addr)
794 {
795         return readl(adap->regs + reg_addr);
796 }
797
798 static inline void t4_write_reg(struct adapter *adap, u32 reg_addr, u32 val)
799 {
800         writel(val, adap->regs + reg_addr);
801 }
802
803 #ifndef readq
804 static inline u64 readq(const volatile void __iomem *addr)
805 {
806         return readl(addr) + ((u64)readl(addr + 4) << 32);
807 }
808
809 static inline void writeq(u64 val, volatile void __iomem *addr)
810 {
811         writel(val, addr);
812         writel(val >> 32, addr + 4);
813 }
814 #endif
815
816 static inline u64 t4_read_reg64(struct adapter *adap, u32 reg_addr)
817 {
818         return readq(adap->regs + reg_addr);
819 }
820
821 static inline void t4_write_reg64(struct adapter *adap, u32 reg_addr, u64 val)
822 {
823         writeq(val, adap->regs + reg_addr);
824 }
825
826 /**
827  * netdev2pinfo - return the port_info structure associated with a net_device
828  * @dev: the netdev
829  *
830  * Return the struct port_info associated with a net_device
831  */
832 static inline struct port_info *netdev2pinfo(const struct net_device *dev)
833 {
834         return netdev_priv(dev);
835 }
836
837 /**
838  * adap2pinfo - return the port_info of a port
839  * @adap: the adapter
840  * @idx: the port index
841  *
842  * Return the port_info structure for the port of the given index.
843  */
844 static inline struct port_info *adap2pinfo(struct adapter *adap, int idx)
845 {
846         return netdev_priv(adap->port[idx]);
847 }
848
849 /**
850  * netdev2adap - return the adapter structure associated with a net_device
851  * @dev: the netdev
852  *
853  * Return the struct adapter associated with a net_device
854  */
855 static inline struct adapter *netdev2adap(const struct net_device *dev)
856 {
857         return netdev2pinfo(dev)->adapter;
858 }
859
860 void t4_os_portmod_changed(const struct adapter *adap, int port_id);
861 void t4_os_link_changed(struct adapter *adap, int port_id, int link_stat);
862
863 void *t4_alloc_mem(size_t size);
864
865 void t4_free_sge_resources(struct adapter *adap);
866 irq_handler_t t4_intr_handler(struct adapter *adap);
867 netdev_tx_t t4_eth_xmit(struct sk_buff *skb, struct net_device *dev);
868 int t4_ethrx_handler(struct sge_rspq *q, const __be64 *rsp,
869                      const struct pkt_gl *gl);
870 int t4_mgmt_tx(struct adapter *adap, struct sk_buff *skb);
871 int t4_ofld_send(struct adapter *adap, struct sk_buff *skb);
872 int t4_sge_alloc_rxq(struct adapter *adap, struct sge_rspq *iq, bool fwevtq,
873                      struct net_device *dev, int intr_idx,
874                      struct sge_fl *fl, rspq_handler_t hnd);
875 int t4_sge_alloc_eth_txq(struct adapter *adap, struct sge_eth_txq *txq,
876                          struct net_device *dev, struct netdev_queue *netdevq,
877                          unsigned int iqid);
878 int t4_sge_alloc_ctrl_txq(struct adapter *adap, struct sge_ctrl_txq *txq,
879                           struct net_device *dev, unsigned int iqid,
880                           unsigned int cmplqid);
881 int t4_sge_alloc_ofld_txq(struct adapter *adap, struct sge_ofld_txq *txq,
882                           struct net_device *dev, unsigned int iqid);
883 irqreturn_t t4_sge_intr_msix(int irq, void *cookie);
884 int t4_sge_init(struct adapter *adap);
885 void t4_sge_start(struct adapter *adap);
886 void t4_sge_stop(struct adapter *adap);
887 extern int dbfifo_int_thresh;
888
889 #define for_each_port(adapter, iter) \
890         for (iter = 0; iter < (adapter)->params.nports; ++iter)
891
892 static inline int is_bypass(struct adapter *adap)
893 {
894         return adap->params.bypass;
895 }
896
897 static inline int is_bypass_device(int device)
898 {
899         /* this should be set based upon device capabilities */
900         switch (device) {
901         case 0x440b:
902         case 0x440c:
903                 return 1;
904         default:
905                 return 0;
906         }
907 }
908
909 static inline unsigned int core_ticks_per_usec(const struct adapter *adap)
910 {
911         return adap->params.vpd.cclk / 1000;
912 }
913
914 static inline unsigned int us_to_core_ticks(const struct adapter *adap,
915                                             unsigned int us)
916 {
917         return (us * adap->params.vpd.cclk) / 1000;
918 }
919
920 static inline unsigned int core_ticks_to_us(const struct adapter *adapter,
921                                             unsigned int ticks)
922 {
923         /* add Core Clock / 2 to round ticks to nearest uS */
924         return ((ticks * 1000 + adapter->params.vpd.cclk/2) /
925                 adapter->params.vpd.cclk);
926 }
927
928 void t4_set_reg_field(struct adapter *adap, unsigned int addr, u32 mask,
929                       u32 val);
930
931 int t4_wr_mbox_meat(struct adapter *adap, int mbox, const void *cmd, int size,
932                     void *rpl, bool sleep_ok);
933
934 static inline int t4_wr_mbox(struct adapter *adap, int mbox, const void *cmd,
935                              int size, void *rpl)
936 {
937         return t4_wr_mbox_meat(adap, mbox, cmd, size, rpl, true);
938 }
939
940 static inline int t4_wr_mbox_ns(struct adapter *adap, int mbox, const void *cmd,
941                                 int size, void *rpl)
942 {
943         return t4_wr_mbox_meat(adap, mbox, cmd, size, rpl, false);
944 }
945
946 void t4_write_indirect(struct adapter *adap, unsigned int addr_reg,
947                        unsigned int data_reg, const u32 *vals,
948                        unsigned int nregs, unsigned int start_idx);
949 void t4_read_indirect(struct adapter *adap, unsigned int addr_reg,
950                       unsigned int data_reg, u32 *vals, unsigned int nregs,
951                       unsigned int start_idx);
952 void t4_hw_pci_read_cfg4(struct adapter *adapter, int reg, u32 *val);
953
954 struct fw_filter_wr;
955
956 void t4_intr_enable(struct adapter *adapter);
957 void t4_intr_disable(struct adapter *adapter);
958 int t4_slow_intr_handler(struct adapter *adapter);
959
960 int t4_wait_dev_ready(struct adapter *adap);
961 int t4_link_start(struct adapter *adap, unsigned int mbox, unsigned int port,
962                   struct link_config *lc);
963 int t4_restart_aneg(struct adapter *adap, unsigned int mbox, unsigned int port);
964
965 #define T4_MEMORY_WRITE 0
966 #define T4_MEMORY_READ  1
967 int t4_memory_rw(struct adapter *adap, int win, int mtype, u32 addr, u32 len,
968                  __be32 *buf, int dir);
969 static inline int t4_memory_write(struct adapter *adap, int mtype, u32 addr,
970                                   u32 len, __be32 *buf)
971 {
972         return t4_memory_rw(adap, 0, mtype, addr, len, buf, 0);
973 }
974
975 int t4_seeprom_wp(struct adapter *adapter, bool enable);
976 int get_vpd_params(struct adapter *adapter, struct vpd_params *p);
977 int t4_load_fw(struct adapter *adapter, const u8 *fw_data, unsigned int size);
978 unsigned int t4_flash_cfg_addr(struct adapter *adapter);
979 int t4_get_fw_version(struct adapter *adapter, u32 *vers);
980 int t4_get_tp_version(struct adapter *adapter, u32 *vers);
981 int t4_prep_fw(struct adapter *adap, struct fw_info *fw_info,
982                const u8 *fw_data, unsigned int fw_size,
983                struct fw_hdr *card_fw, enum dev_state state, int *reset);
984 int t4_prep_adapter(struct adapter *adapter);
985 int t4_init_tp_params(struct adapter *adap);
986 int t4_filter_field_shift(const struct adapter *adap, int filter_sel);
987 int t4_port_init(struct adapter *adap, int mbox, int pf, int vf);
988 void t4_fatal_err(struct adapter *adapter);
989 int t4_config_rss_range(struct adapter *adapter, int mbox, unsigned int viid,
990                         int start, int n, const u16 *rspq, unsigned int nrspq);
991 int t4_config_glbl_rss(struct adapter *adapter, int mbox, unsigned int mode,
992                        unsigned int flags);
993 int t4_mc_read(struct adapter *adap, int idx, u32 addr, __be32 *data,
994                u64 *parity);
995 int t4_edc_read(struct adapter *adap, int idx, u32 addr, __be32 *data,
996                 u64 *parity);
997 const char *t4_get_port_type_description(enum fw_port_type port_type);
998 void t4_get_port_stats(struct adapter *adap, int idx, struct port_stats *p);
999 void t4_read_mtu_tbl(struct adapter *adap, u16 *mtus, u8 *mtu_log);
1000 void t4_tp_wr_bits_indirect(struct adapter *adap, unsigned int addr,
1001                             unsigned int mask, unsigned int val);
1002 void t4_tp_get_tcp_stats(struct adapter *adap, struct tp_tcp_stats *v4,
1003                          struct tp_tcp_stats *v6);
1004 void t4_load_mtus(struct adapter *adap, const unsigned short *mtus,
1005                   const unsigned short *alpha, const unsigned short *beta);
1006
1007 void t4_mk_filtdelwr(unsigned int ftid, struct fw_filter_wr *wr, int qid);
1008
1009 void t4_wol_magic_enable(struct adapter *adap, unsigned int port,
1010                          const u8 *addr);
1011 int t4_wol_pat_enable(struct adapter *adap, unsigned int port, unsigned int map,
1012                       u64 mask0, u64 mask1, unsigned int crc, bool enable);
1013
1014 int t4_fw_hello(struct adapter *adap, unsigned int mbox, unsigned int evt_mbox,
1015                 enum dev_master master, enum dev_state *state);
1016 int t4_fw_bye(struct adapter *adap, unsigned int mbox);
1017 int t4_early_init(struct adapter *adap, unsigned int mbox);
1018 int t4_fw_reset(struct adapter *adap, unsigned int mbox, int reset);
1019 int t4_fixup_host_params(struct adapter *adap, unsigned int page_size,
1020                           unsigned int cache_line_size);
1021 int t4_fw_initialize(struct adapter *adap, unsigned int mbox);
1022 int t4_query_params(struct adapter *adap, unsigned int mbox, unsigned int pf,
1023                     unsigned int vf, unsigned int nparams, const u32 *params,
1024                     u32 *val);
1025 int t4_set_params(struct adapter *adap, unsigned int mbox, unsigned int pf,
1026                   unsigned int vf, unsigned int nparams, const u32 *params,
1027                   const u32 *val);
1028 int t4_set_params_nosleep(struct adapter *adap, unsigned int mbox,
1029                           unsigned int pf, unsigned int vf,
1030                           unsigned int nparams, const u32 *params,
1031                           const u32 *val);
1032 int t4_cfg_pfvf(struct adapter *adap, unsigned int mbox, unsigned int pf,
1033                 unsigned int vf, unsigned int txq, unsigned int txq_eth_ctrl,
1034                 unsigned int rxqi, unsigned int rxq, unsigned int tc,
1035                 unsigned int vi, unsigned int cmask, unsigned int pmask,
1036                 unsigned int nexact, unsigned int rcaps, unsigned int wxcaps);
1037 int t4_alloc_vi(struct adapter *adap, unsigned int mbox, unsigned int port,
1038                 unsigned int pf, unsigned int vf, unsigned int nmac, u8 *mac,
1039                 unsigned int *rss_size);
1040 int t4_set_rxmode(struct adapter *adap, unsigned int mbox, unsigned int viid,
1041                 int mtu, int promisc, int all_multi, int bcast, int vlanex,
1042                 bool sleep_ok);
1043 int t4_alloc_mac_filt(struct adapter *adap, unsigned int mbox,
1044                       unsigned int viid, bool free, unsigned int naddr,
1045                       const u8 **addr, u16 *idx, u64 *hash, bool sleep_ok);
1046 int t4_change_mac(struct adapter *adap, unsigned int mbox, unsigned int viid,
1047                   int idx, const u8 *addr, bool persist, bool add_smt);
1048 int t4_set_addr_hash(struct adapter *adap, unsigned int mbox, unsigned int viid,
1049                      bool ucast, u64 vec, bool sleep_ok);
1050 int t4_enable_vi_params(struct adapter *adap, unsigned int mbox,
1051                         unsigned int viid, bool rx_en, bool tx_en, bool dcb_en);
1052 int t4_enable_vi(struct adapter *adap, unsigned int mbox, unsigned int viid,
1053                  bool rx_en, bool tx_en);
1054 int t4_identify_port(struct adapter *adap, unsigned int mbox, unsigned int viid,
1055                      unsigned int nblinks);
1056 int t4_mdio_rd(struct adapter *adap, unsigned int mbox, unsigned int phy_addr,
1057                unsigned int mmd, unsigned int reg, u16 *valp);
1058 int t4_mdio_wr(struct adapter *adap, unsigned int mbox, unsigned int phy_addr,
1059                unsigned int mmd, unsigned int reg, u16 val);
1060 int t4_iq_free(struct adapter *adap, unsigned int mbox, unsigned int pf,
1061                unsigned int vf, unsigned int iqtype, unsigned int iqid,
1062                unsigned int fl0id, unsigned int fl1id);
1063 int t4_eth_eq_free(struct adapter *adap, unsigned int mbox, unsigned int pf,
1064                    unsigned int vf, unsigned int eqid);
1065 int t4_ctrl_eq_free(struct adapter *adap, unsigned int mbox, unsigned int pf,
1066                     unsigned int vf, unsigned int eqid);
1067 int t4_ofld_eq_free(struct adapter *adap, unsigned int mbox, unsigned int pf,
1068                     unsigned int vf, unsigned int eqid);
1069 int t4_handle_fw_rpl(struct adapter *adap, const __be64 *rpl);
1070 void t4_db_full(struct adapter *adapter);
1071 void t4_db_dropped(struct adapter *adapter);
1072 int t4_fwaddrspace_write(struct adapter *adap, unsigned int mbox,
1073                          u32 addr, u32 val);
1074 void t4_sge_decode_idma_state(struct adapter *adapter, int state);
1075 #endif /* __CXGB4_H__ */