drivers/net/ethernet/marvell/prestera/prestera_pci.c

   1 // SPDX-License-Identifier: BSD-3-Clause OR GPL-2.0
   2 /* Copyright (c) 2019-2020 Marvell International Ltd. All rights reserved */
   3
   4 #include <linux/circ_buf.h>
   5 #include <linux/device.h>
   6 #include <linux/firmware.h>
   7 #include <linux/iopoll.h>
   8 #include <linux/kernel.h>
   9 #include <linux/module.h>
  10 #include <linux/pci.h>
  11
  12 #include "prestera.h"
  13
  14 #define PRESTERA_MSG_MAX_SIZE 1500
  15
  16 #define PRESTERA_SUPP_FW_MAJ_VER        2
  17 #define PRESTERA_SUPP_FW_MIN_VER        0
  18
  19 #define PRESTERA_FW_PATH_FMT    "mrvl/prestera/mvsw_prestera_fw-v%u.%u.img"
  20
  21 #define PRESTERA_FW_HDR_MAGIC           0x351D9D06
  22 #define PRESTERA_FW_DL_TIMEOUT_MS       50000
  23 #define PRESTERA_FW_BLK_SZ              1024
  24
  25 #define PRESTERA_FW_VER_MAJ_MUL 1000000
  26 #define PRESTERA_FW_VER_MIN_MUL 1000
  27
  28 #define PRESTERA_FW_VER_MAJ(v)  ((v) / PRESTERA_FW_VER_MAJ_MUL)
  29
  30 #define PRESTERA_FW_VER_MIN(v) \
  31         (((v) - (PRESTERA_FW_VER_MAJ(v) * PRESTERA_FW_VER_MAJ_MUL)) / \
  32                         PRESTERA_FW_VER_MIN_MUL)
  33
  34 #define PRESTERA_FW_VER_PATCH(v) \
  35         ((v) - (PRESTERA_FW_VER_MAJ(v) * PRESTERA_FW_VER_MAJ_MUL) - \
  36                         (PRESTERA_FW_VER_MIN(v) * PRESTERA_FW_VER_MIN_MUL))
  37
  38 enum prestera_pci_bar_t {
  39         PRESTERA_PCI_BAR_FW = 2,
  40         PRESTERA_PCI_BAR_PP = 4,
  41 };
  42
  43 struct prestera_fw_header {
  44         __be32 magic_number;
  45         __be32 version_value;
  46         u8 reserved[8];
  47 };
  48
  49 struct prestera_ldr_regs {
  50         u32 ldr_ready;
  51         u32 pad1;
  52
  53         u32 ldr_img_size;
  54         u32 ldr_ctl_flags;
  55
  56         u32 ldr_buf_offs;
  57         u32 ldr_buf_size;
  58
  59         u32 ldr_buf_rd;
  60         u32 pad2;
  61         u32 ldr_buf_wr;
  62
  63         u32 ldr_status;
  64 };
  65
  66 #define PRESTERA_LDR_REG_OFFSET(f)      offsetof(struct prestera_ldr_regs, f)
  67
  68 #define PRESTERA_LDR_READY_MAGIC        0xf00dfeed
  69
  70 #define PRESTERA_LDR_STATUS_IMG_DL      BIT(0)
  71 #define PRESTERA_LDR_STATUS_START_FW    BIT(1)
  72 #define PRESTERA_LDR_STATUS_INVALID_IMG BIT(2)
  73 #define PRESTERA_LDR_STATUS_NOMEM       BIT(3)
  74
  75 #define PRESTERA_LDR_REG_BASE(fw)       ((fw)->ldr_regs)
  76 #define PRESTERA_LDR_REG_ADDR(fw, reg)  (PRESTERA_LDR_REG_BASE(fw) + (reg))
  77
  78 /* fw loader registers */
  79 #define PRESTERA_LDR_READY_REG          PRESTERA_LDR_REG_OFFSET(ldr_ready)
  80 #define PRESTERA_LDR_IMG_SIZE_REG       PRESTERA_LDR_REG_OFFSET(ldr_img_size)
  81 #define PRESTERA_LDR_CTL_REG            PRESTERA_LDR_REG_OFFSET(ldr_ctl_flags)
  82 #define PRESTERA_LDR_BUF_SIZE_REG       PRESTERA_LDR_REG_OFFSET(ldr_buf_size)
  83 #define PRESTERA_LDR_BUF_OFFS_REG       PRESTERA_LDR_REG_OFFSET(ldr_buf_offs)
  84 #define PRESTERA_LDR_BUF_RD_REG         PRESTERA_LDR_REG_OFFSET(ldr_buf_rd)
  85 #define PRESTERA_LDR_BUF_WR_REG         PRESTERA_LDR_REG_OFFSET(ldr_buf_wr)
  86 #define PRESTERA_LDR_STATUS_REG         PRESTERA_LDR_REG_OFFSET(ldr_status)
  87
  88 #define PRESTERA_LDR_CTL_DL_START       BIT(0)
  89
  90 #define PRESTERA_EVT_QNUM_MAX   4
  91
  92 struct prestera_fw_evtq_regs {
  93         u32 rd_idx;
  94         u32 pad1;
  95         u32 wr_idx;
  96         u32 pad2;
  97         u32 offs;
  98         u32 len;
  99 };
 100
 101 struct prestera_fw_regs {
 102         u32 fw_ready;
 103         u32 pad;
 104         u32 cmd_offs;
 105         u32 cmd_len;
 106         u32 evt_offs;
 107         u32 evt_qnum;
 108
 109         u32 cmd_req_ctl;
 110         u32 cmd_req_len;
 111         u32 cmd_rcv_ctl;
 112         u32 cmd_rcv_len;
 113
 114         u32 fw_status;
 115         u32 rx_status;
 116
 117         struct prestera_fw_evtq_regs evtq_list[PRESTERA_EVT_QNUM_MAX];
 118 };
 119
 120 #define PRESTERA_FW_REG_OFFSET(f)       offsetof(struct prestera_fw_regs, f)
 121
 122 #define PRESTERA_FW_READY_MAGIC         0xcafebabe
 123
 124 /* fw registers */
 125 #define PRESTERA_FW_READY_REG           PRESTERA_FW_REG_OFFSET(fw_ready)
 126
 127 #define PRESTERA_CMD_BUF_OFFS_REG       PRESTERA_FW_REG_OFFSET(cmd_offs)
 128 #define PRESTERA_CMD_BUF_LEN_REG        PRESTERA_FW_REG_OFFSET(cmd_len)
 129 #define PRESTERA_EVT_BUF_OFFS_REG       PRESTERA_FW_REG_OFFSET(evt_offs)
 130 #define PRESTERA_EVT_QNUM_REG           PRESTERA_FW_REG_OFFSET(evt_qnum)
 131
 132 #define PRESTERA_CMD_REQ_CTL_REG        PRESTERA_FW_REG_OFFSET(cmd_req_ctl)
 133 #define PRESTERA_CMD_REQ_LEN_REG        PRESTERA_FW_REG_OFFSET(cmd_req_len)
 134
 135 #define PRESTERA_CMD_RCV_CTL_REG        PRESTERA_FW_REG_OFFSET(cmd_rcv_ctl)
 136 #define PRESTERA_CMD_RCV_LEN_REG        PRESTERA_FW_REG_OFFSET(cmd_rcv_len)
 137 #define PRESTERA_FW_STATUS_REG          PRESTERA_FW_REG_OFFSET(fw_status)
 138 #define PRESTERA_RX_STATUS_REG          PRESTERA_FW_REG_OFFSET(rx_status)
 139
 140 /* PRESTERA_CMD_REQ_CTL_REG flags */
 141 #define PRESTERA_CMD_F_REQ_SENT         BIT(0)
 142 #define PRESTERA_CMD_F_REPL_RCVD        BIT(1)
 143
 144 /* PRESTERA_CMD_RCV_CTL_REG flags */
 145 #define PRESTERA_CMD_F_REPL_SENT        BIT(0)
 146
 147 #define PRESTERA_EVTQ_REG_OFFSET(q, f)                  \
 148         (PRESTERA_FW_REG_OFFSET(evtq_list) +            \
 149          (q) * sizeof(struct prestera_fw_evtq_regs) +   \
 150          offsetof(struct prestera_fw_evtq_regs, f))
 151
 152 #define PRESTERA_EVTQ_RD_IDX_REG(q)     PRESTERA_EVTQ_REG_OFFSET(q, rd_idx)
 153 #define PRESTERA_EVTQ_WR_IDX_REG(q)     PRESTERA_EVTQ_REG_OFFSET(q, wr_idx)
 154 #define PRESTERA_EVTQ_OFFS_REG(q)       PRESTERA_EVTQ_REG_OFFSET(q, offs)
 155 #define PRESTERA_EVTQ_LEN_REG(q)        PRESTERA_EVTQ_REG_OFFSET(q, len)
 156
 157 #define PRESTERA_FW_REG_BASE(fw)        ((fw)->dev.ctl_regs)
 158 #define PRESTERA_FW_REG_ADDR(fw, reg)   PRESTERA_FW_REG_BASE((fw)) + (reg)
 159
 160 #define PRESTERA_FW_CMD_DEFAULT_WAIT_MS 30000
 161 #define PRESTERA_FW_READY_WAIT_MS       20000
 162
 163 struct prestera_fw_evtq {
 164         u8 __iomem *addr;
 165         size_t len;
 166 };
 167
 168 struct prestera_fw {
 169         struct workqueue_struct *wq;
 170         struct prestera_device dev;
 171         u8 __iomem *ldr_regs;
 172         u8 __iomem *ldr_ring_buf;
 173         u32 ldr_buf_len;
 174         u32 ldr_wr_idx;
 175         struct mutex cmd_mtx; /* serialize access to dev->send_req */
 176         size_t cmd_mbox_len;
 177         u8 __iomem *cmd_mbox;
 178         struct prestera_fw_evtq evt_queue[PRESTERA_EVT_QNUM_MAX];
 179         u8 evt_qnum;
 180         struct work_struct evt_work;
 181         u8 __iomem *evt_buf;
 182         u8 *evt_msg;
 183 };
 184
 185 static int prestera_fw_load(struct prestera_fw *fw);
 186
 187 static void prestera_fw_write(struct prestera_fw *fw, u32 reg, u32 val)
 188 {
 189         writel(val, PRESTERA_FW_REG_ADDR(fw, reg));
 190 }
 191
 192 static u32 prestera_fw_read(struct prestera_fw *fw, u32 reg)
 193 {
 194         return readl(PRESTERA_FW_REG_ADDR(fw, reg));
 195 }
 196
 197 static u32 prestera_fw_evtq_len(struct prestera_fw *fw, u8 qid)
 198 {
 199         return fw->evt_queue[qid].len;
 200 }
 201
 202 static u32 prestera_fw_evtq_avail(struct prestera_fw *fw, u8 qid)
 203 {
 204         u32 wr_idx = prestera_fw_read(fw, PRESTERA_EVTQ_WR_IDX_REG(qid));
 205         u32 rd_idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 206
 207         return CIRC_CNT(wr_idx, rd_idx, prestera_fw_evtq_len(fw, qid));
 208 }
 209
 210 static void prestera_fw_evtq_rd_set(struct prestera_fw *fw,
 211                                     u8 qid, u32 idx)
 212 {
 213         u32 rd_idx = idx & (prestera_fw_evtq_len(fw, qid) - 1);
 214
 215         prestera_fw_write(fw, PRESTERA_EVTQ_RD_IDX_REG(qid), rd_idx);
 216 }
 217
 218 static u8 __iomem *prestera_fw_evtq_buf(struct prestera_fw *fw, u8 qid)
 219 {
 220         return fw->evt_queue[qid].addr;
 221 }
 222
 223 static u32 prestera_fw_evtq_read32(struct prestera_fw *fw, u8 qid)
 224 {
 225         u32 rd_idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 226         u32 val;
 227
 228         val = readl(prestera_fw_evtq_buf(fw, qid) + rd_idx);
 229         prestera_fw_evtq_rd_set(fw, qid, rd_idx + 4);
 230         return val;
 231 }
 232
 233 static ssize_t prestera_fw_evtq_read_buf(struct prestera_fw *fw,
 234                                          u8 qid, void *buf, size_t len)
 235 {
 236         u32 idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 237         u8 __iomem *evtq_addr = prestera_fw_evtq_buf(fw, qid);
 238         u32 *buf32 = buf;
 239         int i;
 240
 241         for (i = 0; i < len / 4; buf32++, i++) {
 242                 *buf32 = readl_relaxed(evtq_addr + idx);
 243                 idx = (idx + 4) & (prestera_fw_evtq_len(fw, qid) - 1);
 244         }
 245
 246         prestera_fw_evtq_rd_set(fw, qid, idx);
 247
 248         return i;
 249 }
 250
 251 static u8 prestera_fw_evtq_pick(struct prestera_fw *fw)
 252 {
 253         int qid;
 254
 255         for (qid = 0; qid < fw->evt_qnum; qid++) {
 256                 if (prestera_fw_evtq_avail(fw, qid) >= 4)
 257                         return qid;
 258         }
 259
 260         return PRESTERA_EVT_QNUM_MAX;
 261 }
 262
 263 static void prestera_fw_evt_work_fn(struct work_struct *work)
 264 {
 265         struct prestera_fw *fw;
 266         void *msg;
 267         u8 qid;
 268
 269         fw = container_of(work, struct prestera_fw, evt_work);
 270         msg = fw->evt_msg;
 271
 272         while ((qid = prestera_fw_evtq_pick(fw)) < PRESTERA_EVT_QNUM_MAX) {
 273                 u32 idx;
 274                 u32 len;
 275
 276                 len = prestera_fw_evtq_read32(fw, qid);
 277                 idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 278
 279                 WARN_ON(prestera_fw_evtq_avail(fw, qid) < len);
 280
 281                 if (WARN_ON(len > PRESTERA_MSG_MAX_SIZE)) {
 282                         prestera_fw_evtq_rd_set(fw, qid, idx + len);
 283                         continue;
 284                 }
 285
 286                 prestera_fw_evtq_read_buf(fw, qid, msg, len);
 287
 288                 if (fw->dev.recv_msg)
 289                         fw->dev.recv_msg(&fw->dev, msg, len);
 290         }
 291 }
 292
 293 static int prestera_fw_wait_reg32(struct prestera_fw *fw, u32 reg, u32 cmp,
 294                                   unsigned int waitms)
 295 {
 296         u8 __iomem *addr = PRESTERA_FW_REG_ADDR(fw, reg);
 297         u32 val;
 298
 299         return readl_poll_timeout(addr, val, cmp == val,
 300                                   1 * USEC_PER_MSEC, waitms * USEC_PER_MSEC);
 301 }
 302
 303 static int prestera_fw_cmd_send(struct prestera_fw *fw,
 304                                 void *in_msg, size_t in_size,
 305                                 void *out_msg, size_t out_size,
 306                                 unsigned int waitms)
 307 {
 308         u32 ret_size;
 309         int err;
 310
 311         if (!waitms)
 312                 waitms = PRESTERA_FW_CMD_DEFAULT_WAIT_MS;
 313
 314         if (ALIGN(in_size, 4) > fw->cmd_mbox_len)
 315                 return -EMSGSIZE;
 316
 317         /* wait for finish previous reply from FW */
 318         err = prestera_fw_wait_reg32(fw, PRESTERA_CMD_RCV_CTL_REG, 0, 30);
 319         if (err) {
 320                 dev_err(fw->dev.dev, "finish reply from FW is timed out\n");
 321                 return err;
 322         }
 323
 324         prestera_fw_write(fw, PRESTERA_CMD_REQ_LEN_REG, in_size);
 325         memcpy_toio(fw->cmd_mbox, in_msg, in_size);
 326
 327         prestera_fw_write(fw, PRESTERA_CMD_REQ_CTL_REG, PRESTERA_CMD_F_REQ_SENT);
 328
 329         /* wait for reply from FW */
 330         err = prestera_fw_wait_reg32(fw, PRESTERA_CMD_RCV_CTL_REG,
 331                                      PRESTERA_CMD_F_REPL_SENT, waitms);
 332         if (err) {
 333                 dev_err(fw->dev.dev, "reply from FW is timed out\n");
 334                 goto cmd_exit;
 335         }
 336
 337         ret_size = prestera_fw_read(fw, PRESTERA_CMD_RCV_LEN_REG);
 338         if (ret_size > out_size) {
 339                 dev_err(fw->dev.dev, "ret_size (%u) > out_len(%zu)\n",
 340                         ret_size, out_size);
 341                 err = -EMSGSIZE;
 342                 goto cmd_exit;
 343         }
 344
 345         memcpy_fromio(out_msg, fw->cmd_mbox + in_size, ret_size);
 346
 347 cmd_exit:
 348         prestera_fw_write(fw, PRESTERA_CMD_REQ_CTL_REG, PRESTERA_CMD_F_REPL_RCVD);
 349         return err;
 350 }
 351
 352 static int prestera_fw_send_req(struct prestera_device *dev,
 353                                 void *in_msg, size_t in_size, void *out_msg,
 354                                 size_t out_size, unsigned int waitms)
 355 {
 356         struct prestera_fw *fw;
 357         ssize_t ret;
 358
 359         fw = container_of(dev, struct prestera_fw, dev);
 360
 361         mutex_lock(&fw->cmd_mtx);
 362         ret = prestera_fw_cmd_send(fw, in_msg, in_size, out_msg, out_size, waitms);
 363         mutex_unlock(&fw->cmd_mtx);
 364
 365         return ret;
 366 }
 367
 368 static int prestera_fw_init(struct prestera_fw *fw)
 369 {
 370         u8 __iomem *base;
 371         int err;
 372         u8 qid;
 373
 374         fw->dev.send_req = prestera_fw_send_req;
 375         fw->ldr_regs = fw->dev.ctl_regs;
 376
 377         err = prestera_fw_load(fw);
 378         if (err)
 379                 return err;
 380
 381         err = prestera_fw_wait_reg32(fw, PRESTERA_FW_READY_REG,
 382                                      PRESTERA_FW_READY_MAGIC,
 383                                      PRESTERA_FW_READY_WAIT_MS);
 384         if (err) {
 385                 dev_err(fw->dev.dev, "FW failed to start\n");
 386                 return err;
 387         }
 388
 389         base = fw->dev.ctl_regs;
 390
 391         fw->cmd_mbox = base + prestera_fw_read(fw, PRESTERA_CMD_BUF_OFFS_REG);
 392         fw->cmd_mbox_len = prestera_fw_read(fw, PRESTERA_CMD_BUF_LEN_REG);
 393         mutex_init(&fw->cmd_mtx);
 394
 395         fw->evt_buf = base + prestera_fw_read(fw, PRESTERA_EVT_BUF_OFFS_REG);
 396         fw->evt_qnum = prestera_fw_read(fw, PRESTERA_EVT_QNUM_REG);
 397         fw->evt_msg = kmalloc(PRESTERA_MSG_MAX_SIZE, GFP_KERNEL);
 398         if (!fw->evt_msg)
 399                 return -ENOMEM;
 400
 401         for (qid = 0; qid < fw->evt_qnum; qid++) {
 402                 u32 offs = prestera_fw_read(fw, PRESTERA_EVTQ_OFFS_REG(qid));
 403                 struct prestera_fw_evtq *evtq = &fw->evt_queue[qid];
 404
 405                 evtq->len = prestera_fw_read(fw, PRESTERA_EVTQ_LEN_REG(qid));
 406                 evtq->addr = fw->evt_buf + offs;
 407         }
 408
 409         return 0;
 410 }
 411
 412 static void prestera_fw_uninit(struct prestera_fw *fw)
 413 {
 414         kfree(fw->evt_msg);
 415 }
 416
 417 static irqreturn_t prestera_pci_irq_handler(int irq, void *dev_id)
 418 {
 419         struct prestera_fw *fw = dev_id;
 420
 421         if (prestera_fw_read(fw, PRESTERA_RX_STATUS_REG)) {
 422                 prestera_fw_write(fw, PRESTERA_RX_STATUS_REG, 0);
 423
 424                 if (fw->dev.recv_pkt)
 425                         fw->dev.recv_pkt(&fw->dev);
 426         }
 427
 428         queue_work(fw->wq, &fw->evt_work);
 429
 430         return IRQ_HANDLED;
 431 }
 432
 433 static void prestera_ldr_write(struct prestera_fw *fw, u32 reg, u32 val)
 434 {
 435         writel(val, PRESTERA_LDR_REG_ADDR(fw, reg));
 436 }
 437
 438 static u32 prestera_ldr_read(struct prestera_fw *fw, u32 reg)
 439 {
 440         return readl(PRESTERA_LDR_REG_ADDR(fw, reg));
 441 }
 442
 443 static int prestera_ldr_wait_reg32(struct prestera_fw *fw,
 444                                    u32 reg, u32 cmp, unsigned int waitms)
 445 {
 446         u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, reg);
 447         u32 val;
 448
 449         return readl_poll_timeout(addr, val, cmp == val,
 450                                   10 * USEC_PER_MSEC, waitms * USEC_PER_MSEC);
 451 }
 452
 453 static u32 prestera_ldr_wait_buf(struct prestera_fw *fw, size_t len)
 454 {
 455         u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, PRESTERA_LDR_BUF_RD_REG);
 456         u32 buf_len = fw->ldr_buf_len;
 457         u32 wr_idx = fw->ldr_wr_idx;
 458         u32 rd_idx;
 459
 460         return readl_poll_timeout(addr, rd_idx,
 461                                  CIRC_SPACE(wr_idx, rd_idx, buf_len) >= len,
 462                                  1 * USEC_PER_MSEC, 100 * USEC_PER_MSEC);
 463 }
 464
 465 static int prestera_ldr_wait_dl_finish(struct prestera_fw *fw)
 466 {
 467         u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, PRESTERA_LDR_STATUS_REG);
 468         unsigned long mask = ~(PRESTERA_LDR_STATUS_IMG_DL);
 469         u32 val;
 470         int err;
 471
 472         err = readl_poll_timeout(addr, val, val & mask, 10 * USEC_PER_MSEC,
 473                                  PRESTERA_FW_DL_TIMEOUT_MS * USEC_PER_MSEC);
 474         if (err) {
 475                 dev_err(fw->dev.dev, "Timeout to load FW img [state=%d]",
 476                         prestera_ldr_read(fw, PRESTERA_LDR_STATUS_REG));
 477                 return err;
 478         }
 479
 480         return 0;
 481 }
 482
 483 static void prestera_ldr_wr_idx_move(struct prestera_fw *fw, unsigned int n)
 484 {
 485         fw->ldr_wr_idx = (fw->ldr_wr_idx + (n)) & (fw->ldr_buf_len - 1);
 486 }
 487
 488 static void prestera_ldr_wr_idx_commit(struct prestera_fw *fw)
 489 {
 490         prestera_ldr_write(fw, PRESTERA_LDR_BUF_WR_REG, fw->ldr_wr_idx);
 491 }
 492
 493 static u8 __iomem *prestera_ldr_wr_ptr(struct prestera_fw *fw)
 494 {
 495         return fw->ldr_ring_buf + fw->ldr_wr_idx;
 496 }
 497
 498 static int prestera_ldr_send(struct prestera_fw *fw, const u8 *buf, size_t len)
 499 {
 500         int err;
 501         int i;
 502
 503         err = prestera_ldr_wait_buf(fw, len);
 504         if (err) {
 505                 dev_err(fw->dev.dev, "failed wait for sending firmware\n");
 506                 return err;
 507         }
 508
 509         for (i = 0; i < len; i += 4) {
 510                 writel_relaxed(*(u32 *)(buf + i), prestera_ldr_wr_ptr(fw));
 511                 prestera_ldr_wr_idx_move(fw, 4);
 512         }
 513
 514         prestera_ldr_wr_idx_commit(fw);
 515         return 0;
 516 }
 517
 518 static int prestera_ldr_fw_send(struct prestera_fw *fw,
 519                                 const char *img, u32 fw_size)
 520 {
 521         u32 status;
 522         u32 pos;
 523         int err;
 524
 525         err = prestera_ldr_wait_reg32(fw, PRESTERA_LDR_STATUS_REG,
 526                                       PRESTERA_LDR_STATUS_IMG_DL,
 527                                       5 * MSEC_PER_SEC);
 528         if (err) {
 529                 dev_err(fw->dev.dev, "Loader is not ready to load image\n");
 530                 return err;
 531         }
 532
 533         for (pos = 0; pos < fw_size; pos += PRESTERA_FW_BLK_SZ) {
 534                 if (pos + PRESTERA_FW_BLK_SZ > fw_size)
 535                         break;
 536
 537                 err = prestera_ldr_send(fw, img + pos, PRESTERA_FW_BLK_SZ);
 538                 if (err)
 539                         return err;
 540         }
 541
 542         if (pos < fw_size) {
 543                 err = prestera_ldr_send(fw, img + pos, fw_size - pos);
 544                 if (err)
 545                         return err;
 546         }
 547
 548         err = prestera_ldr_wait_dl_finish(fw);
 549         if (err)
 550                 return err;
 551
 552         status = prestera_ldr_read(fw, PRESTERA_LDR_STATUS_REG);
 553
 554         switch (status) {
 555         case PRESTERA_LDR_STATUS_INVALID_IMG:
 556                 dev_err(fw->dev.dev, "FW img has bad CRC\n");
 557                 return -EINVAL;
 558         case PRESTERA_LDR_STATUS_NOMEM:
 559                 dev_err(fw->dev.dev, "Loader has no enough mem\n");
 560                 return -ENOMEM;
 561         }
 562
 563         return 0;
 564 }
 565
 566 static void prestera_fw_rev_parse(const struct prestera_fw_header *hdr,
 567                                   struct prestera_fw_rev *rev)
 568 {
 569         u32 version = be32_to_cpu(hdr->version_value);
 570
 571         rev->maj = PRESTERA_FW_VER_MAJ(version);
 572         rev->min = PRESTERA_FW_VER_MIN(version);
 573         rev->sub = PRESTERA_FW_VER_PATCH(version);
 574 }
 575
 576 static int prestera_fw_rev_check(struct prestera_fw *fw)
 577 {
 578         struct prestera_fw_rev *rev = &fw->dev.fw_rev;
 579         u16 maj_supp = PRESTERA_SUPP_FW_MAJ_VER;
 580         u16 min_supp = PRESTERA_SUPP_FW_MIN_VER;
 581
 582         if (rev->maj == maj_supp && rev->min >= min_supp)
 583                 return 0;
 584
 585         dev_err(fw->dev.dev, "Driver supports FW version only '%u.%u.x'",
 586                 PRESTERA_SUPP_FW_MAJ_VER, PRESTERA_SUPP_FW_MIN_VER);
 587
 588         return -EINVAL;
 589 }
 590
 591 static int prestera_fw_hdr_parse(struct prestera_fw *fw,
 592                                  const struct firmware *img)
 593 {
 594         struct prestera_fw_header *hdr = (struct prestera_fw_header *)img->data;
 595         struct prestera_fw_rev *rev = &fw->dev.fw_rev;
 596         u32 magic;
 597
 598         magic = be32_to_cpu(hdr->magic_number);
 599         if (magic != PRESTERA_FW_HDR_MAGIC) {
 600                 dev_err(fw->dev.dev, "FW img hdr magic is invalid");
 601                 return -EINVAL;
 602         }
 603
 604         prestera_fw_rev_parse(hdr, rev);
 605
 606         dev_info(fw->dev.dev, "FW version '%u.%u.%u'\n",
 607                  rev->maj, rev->min, rev->sub);
 608
 609         return prestera_fw_rev_check(fw);
 610 }
 611
 612 static int prestera_fw_load(struct prestera_fw *fw)
 613 {
 614         size_t hlen = sizeof(struct prestera_fw_header);
 615         const struct firmware *f;
 616         char fw_path[128];
 617         int err;
 618
 619         err = prestera_ldr_wait_reg32(fw, PRESTERA_LDR_READY_REG,
 620                                       PRESTERA_LDR_READY_MAGIC,
 621                                       5 * MSEC_PER_SEC);
 622         if (err) {
 623                 dev_err(fw->dev.dev, "waiting for FW loader is timed out");
 624                 return err;
 625         }
 626
 627         fw->ldr_ring_buf = fw->ldr_regs +
 628                 prestera_ldr_read(fw, PRESTERA_LDR_BUF_OFFS_REG);
 629
 630         fw->ldr_buf_len =
 631                 prestera_ldr_read(fw, PRESTERA_LDR_BUF_SIZE_REG);
 632
 633         fw->ldr_wr_idx = 0;
 634
 635         snprintf(fw_path, sizeof(fw_path), PRESTERA_FW_PATH_FMT,
 636                  PRESTERA_SUPP_FW_MAJ_VER, PRESTERA_SUPP_FW_MIN_VER);
 637
 638         err = request_firmware_direct(&f, fw_path, fw->dev.dev);
 639         if (err) {
 640                 dev_err(fw->dev.dev, "failed to request firmware file\n");
 641                 return err;
 642         }
 643
 644         err = prestera_fw_hdr_parse(fw, f);
 645         if (err) {
 646                 dev_err(fw->dev.dev, "FW image header is invalid\n");
 647                 goto out_release;
 648         }
 649
 650         prestera_ldr_write(fw, PRESTERA_LDR_IMG_SIZE_REG, f->size - hlen);
 651         prestera_ldr_write(fw, PRESTERA_LDR_CTL_REG, PRESTERA_LDR_CTL_DL_START);
 652
 653         dev_info(fw->dev.dev, "Loading %s ...", fw_path);
 654
 655         err = prestera_ldr_fw_send(fw, f->data + hlen, f->size - hlen);
 656
 657 out_release:
 658         release_firmware(f);
 659         return err;
 660 }
 661
 662 static int prestera_pci_probe(struct pci_dev *pdev,
 663                               const struct pci_device_id *id)
 664 {
 665         const char *driver_name = pdev->driver->name;
 666         struct prestera_fw *fw;
 667         int err;
 668
 669         err = pcim_enable_device(pdev);
 670         if (err)
 671                 return err;
 672
 673         err = pcim_iomap_regions(pdev, BIT(PRESTERA_PCI_BAR_FW) |
 674                                  BIT(PRESTERA_PCI_BAR_PP),
 675                                  pci_name(pdev));
 676         if (err)
 677                 return err;
 678
 679         if (dma_set_mask_and_coherent(&pdev->dev, DMA_BIT_MASK(30))) {
 680                 dev_err(&pdev->dev, "fail to set DMA mask\n");
 681                 goto err_dma_mask;
 682         }
 683
 684         pci_set_master(pdev);
 685
 686         fw = devm_kzalloc(&pdev->dev, sizeof(*fw), GFP_KERNEL);
 687         if (!fw) {
 688                 err = -ENOMEM;
 689                 goto err_pci_dev_alloc;
 690         }
 691
 692         fw->dev.ctl_regs = pcim_iomap_table(pdev)[PRESTERA_PCI_BAR_FW];
 693         fw->dev.pp_regs = pcim_iomap_table(pdev)[PRESTERA_PCI_BAR_PP];
 694         fw->dev.dev = &pdev->dev;
 695
 696         pci_set_drvdata(pdev, fw);
 697
 698         err = prestera_fw_init(fw);
 699         if (err)
 700                 goto err_prestera_fw_init;
 701
 702         dev_info(fw->dev.dev, "Prestera FW is ready\n");
 703
 704         fw->wq = alloc_workqueue("prestera_fw_wq", WQ_HIGHPRI, 1);
 705         if (!fw->wq)
 706                 goto err_wq_alloc;
 707
 708         INIT_WORK(&fw->evt_work, prestera_fw_evt_work_fn);
 709
 710         err = pci_alloc_irq_vectors(pdev, 1, 1, PCI_IRQ_MSI);
 711         if (err < 0) {
 712                 dev_err(&pdev->dev, "MSI IRQ init failed\n");
 713                 goto err_irq_alloc;
 714         }
 715
 716         err = request_irq(pci_irq_vector(pdev, 0), prestera_pci_irq_handler,
 717                           0, driver_name, fw);
 718         if (err) {
 719                 dev_err(&pdev->dev, "fail to request IRQ\n");
 720                 goto err_request_irq;
 721         }
 722
 723         err = prestera_device_register(&fw->dev);
 724         if (err)
 725                 goto err_prestera_dev_register;
 726
 727         return 0;
 728
 729 err_prestera_dev_register:
 730         free_irq(pci_irq_vector(pdev, 0), fw);
 731 err_request_irq:
 732         pci_free_irq_vectors(pdev);
 733 err_irq_alloc:
 734         destroy_workqueue(fw->wq);
 735 err_wq_alloc:
 736         prestera_fw_uninit(fw);
 737 err_prestera_fw_init:
 738 err_pci_dev_alloc:
 739 err_dma_mask:
 740         return err;
 741 }
 742
 743 static void prestera_pci_remove(struct pci_dev *pdev)
 744 {
 745         struct prestera_fw *fw = pci_get_drvdata(pdev);
 746
 747         prestera_device_unregister(&fw->dev);
 748         free_irq(pci_irq_vector(pdev, 0), fw);
 749         pci_free_irq_vectors(pdev);
 750         destroy_workqueue(fw->wq);
 751         prestera_fw_uninit(fw);
 752 }
 753
 754 static const struct pci_device_id prestera_pci_devices[] = {
 755         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL, 0xC804) },
 756         { }
 757 };
 758 MODULE_DEVICE_TABLE(pci, prestera_pci_devices);
 759
 760 static struct pci_driver prestera_pci_driver = {
 761         .name     = "Prestera DX",
 762         .id_table = prestera_pci_devices,
 763         .probe    = prestera_pci_probe,
 764         .remove   = prestera_pci_remove,
 765 };
 766 module_pci_driver(prestera_pci_driver);
 767
 768 MODULE_LICENSE("Dual BSD/GPL");
 769 MODULE_DESCRIPTION("Marvell Prestera switch PCI interface");