drivers/net/arm/ep93xx_eth.c

   1 /*
   2  * EP93xx ethernet network device driver
   3  * Copyright (C) 2006 Lennert Buytenhek <buytenh@wantstofly.org>
   4  * Dedicated to Marija Kulikova.
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; either version 2 of the License, or
   9  * (at your option) any later version.
  10  */
  11
  12 #include <linux/dma-mapping.h>
  13 #include <linux/module.h>
  14 #include <linux/kernel.h>
  15 #include <linux/netdevice.h>
  16 #include <linux/mii.h>
  17 #include <linux/etherdevice.h>
  18 #include <linux/ethtool.h>
  19 #include <linux/init.h>
  20 #include <linux/moduleparam.h>
  21 #include <linux/platform_device.h>
  22 #include <linux/delay.h>
  23 #include <asm/arch/ep93xx-regs.h>
  24 #include <asm/arch/platform.h>
  25 #include <asm/io.h>
  26
  27 #define DRV_MODULE_NAME         "ep93xx-eth"
  28 #define DRV_MODULE_VERSION      "0.1"
  29
  30 #define RX_QUEUE_ENTRIES        64
  31 #define TX_QUEUE_ENTRIES        8
  32
  33 #define MAX_PKT_SIZE            2044
  34 #define PKT_BUF_SIZE            2048
  35
  36 #define REG_RXCTL               0x0000
  37 #define  REG_RXCTL_DEFAULT      0x00073800
  38 #define REG_TXCTL               0x0004
  39 #define  REG_TXCTL_ENABLE       0x00000001
  40 #define REG_MIICMD              0x0010
  41 #define  REG_MIICMD_READ        0x00008000
  42 #define  REG_MIICMD_WRITE       0x00004000
  43 #define REG_MIIDATA             0x0014
  44 #define REG_MIISTS              0x0018
  45 #define  REG_MIISTS_BUSY        0x00000001
  46 #define REG_SELFCTL             0x0020
  47 #define  REG_SELFCTL_RESET      0x00000001
  48 #define REG_INTEN               0x0024
  49 #define  REG_INTEN_TX           0x00000008
  50 #define  REG_INTEN_RX           0x00000007
  51 #define REG_INTSTSP             0x0028
  52 #define  REG_INTSTS_TX          0x00000008
  53 #define  REG_INTSTS_RX          0x00000004
  54 #define REG_INTSTSC             0x002c
  55 #define REG_AFP                 0x004c
  56 #define REG_INDAD0              0x0050
  57 #define REG_INDAD1              0x0051
  58 #define REG_INDAD2              0x0052
  59 #define REG_INDAD3              0x0053
  60 #define REG_INDAD4              0x0054
  61 #define REG_INDAD5              0x0055
  62 #define REG_GIINTMSK            0x0064
  63 #define  REG_GIINTMSK_ENABLE    0x00008000
  64 #define REG_BMCTL               0x0080
  65 #define  REG_BMCTL_ENABLE_TX    0x00000100
  66 #define  REG_BMCTL_ENABLE_RX    0x00000001
  67 #define REG_BMSTS               0x0084
  68 #define  REG_BMSTS_RX_ACTIVE    0x00000008
  69 #define REG_RXDQBADD            0x0090
  70 #define REG_RXDQBLEN            0x0094
  71 #define REG_RXDCURADD           0x0098
  72 #define REG_RXDENQ              0x009c
  73 #define REG_RXSTSQBADD          0x00a0
  74 #define REG_RXSTSQBLEN          0x00a4
  75 #define REG_RXSTSQCURADD        0x00a8
  76 #define REG_RXSTSENQ            0x00ac
  77 #define REG_TXDQBADD            0x00b0
  78 #define REG_TXDQBLEN            0x00b4
  79 #define REG_TXDQCURADD          0x00b8
  80 #define REG_TXDENQ              0x00bc
  81 #define REG_TXSTSQBADD          0x00c0
  82 #define REG_TXSTSQBLEN          0x00c4
  83 #define REG_TXSTSQCURADD        0x00c8
  84 #define REG_MAXFRMLEN           0x00e8
  85
  86 struct ep93xx_rdesc
  87 {
  88         u32     buf_addr;
  89         u32     rdesc1;
  90 };
  91
  92 #define RDESC1_NSOF             0x80000000
  93 #define RDESC1_BUFFER_INDEX     0x7fff0000
  94 #define RDESC1_BUFFER_LENGTH    0x0000ffff
  95
  96 struct ep93xx_rstat
  97 {
  98         u32     rstat0;
  99         u32     rstat1;
 100 };
 101
 102 #define RSTAT0_RFP              0x80000000
 103 #define RSTAT0_RWE              0x40000000
 104 #define RSTAT0_EOF              0x20000000
 105 #define RSTAT0_EOB              0x10000000
 106 #define RSTAT0_AM               0x00c00000
 107 #define RSTAT0_RX_ERR           0x00200000
 108 #define RSTAT0_OE               0x00100000
 109 #define RSTAT0_FE               0x00080000
 110 #define RSTAT0_RUNT             0x00040000
 111 #define RSTAT0_EDATA            0x00020000
 112 #define RSTAT0_CRCE             0x00010000
 113 #define RSTAT0_CRCI             0x00008000
 114 #define RSTAT0_HTI              0x00003f00
 115 #define RSTAT1_RFP              0x80000000
 116 #define RSTAT1_BUFFER_INDEX     0x7fff0000
 117 #define RSTAT1_FRAME_LENGTH     0x0000ffff
 118
 119 struct ep93xx_tdesc
 120 {
 121         u32     buf_addr;
 122         u32     tdesc1;
 123 };
 124
 125 #define TDESC1_EOF              0x80000000
 126 #define TDESC1_BUFFER_INDEX     0x7fff0000
 127 #define TDESC1_BUFFER_ABORT     0x00008000
 128 #define TDESC1_BUFFER_LENGTH    0x00000fff
 129
 130 struct ep93xx_tstat
 131 {
 132         u32     tstat0;
 133 };
 134
 135 #define TSTAT0_TXFP             0x80000000
 136 #define TSTAT0_TXWE             0x40000000
 137 #define TSTAT0_FA               0x20000000
 138 #define TSTAT0_LCRS             0x10000000
 139 #define TSTAT0_OW               0x04000000
 140 #define TSTAT0_TXU              0x02000000
 141 #define TSTAT0_ECOLL            0x01000000
 142 #define TSTAT0_NCOLL            0x001f0000
 143 #define TSTAT0_BUFFER_INDEX     0x00007fff
 144
 145 struct ep93xx_descs
 146 {
 147         struct ep93xx_rdesc     rdesc[RX_QUEUE_ENTRIES];
 148         struct ep93xx_tdesc     tdesc[TX_QUEUE_ENTRIES];
 149         struct ep93xx_rstat     rstat[RX_QUEUE_ENTRIES];
 150         struct ep93xx_tstat     tstat[TX_QUEUE_ENTRIES];
 151 };
 152
 153 struct ep93xx_priv
 154 {
 155         struct resource         *res;
 156         void                    *base_addr;
 157         int                     irq;
 158
 159         struct ep93xx_descs     *descs;
 160         dma_addr_t              descs_dma_addr;
 161
 162         void                    *rx_buf[RX_QUEUE_ENTRIES];
 163         void                    *tx_buf[TX_QUEUE_ENTRIES];
 164
 165         spinlock_t              rx_lock;
 166         unsigned int            rx_pointer;
 167         unsigned int            tx_clean_pointer;
 168         unsigned int            tx_pointer;
 169         spinlock_t              tx_pending_lock;
 170         unsigned int            tx_pending;
 171
 172         struct net_device_stats stats;
 173
 174         struct mii_if_info      mii;
 175         u8                      mdc_divisor;
 176 };
 177
 178 #define rdb(ep, off)            __raw_readb((ep)->base_addr + (off))
 179 #define rdw(ep, off)            __raw_readw((ep)->base_addr + (off))
 180 #define rdl(ep, off)            __raw_readl((ep)->base_addr + (off))
 181 #define wrb(ep, off, val)       __raw_writeb((val), (ep)->base_addr + (off))
 182 #define wrw(ep, off, val)       __raw_writew((val), (ep)->base_addr + (off))
 183 #define wrl(ep, off, val)       __raw_writel((val), (ep)->base_addr + (off))
 184
 185 static int ep93xx_mdio_read(struct net_device *dev, int phy_id, int reg);
 186
 187 static struct net_device_stats *ep93xx_get_stats(struct net_device *dev)
 188 {
 189         struct ep93xx_priv *ep = netdev_priv(dev);
 190         return &(ep->stats);
 191 }
 192
 193 static int ep93xx_rx(struct net_device *dev, int *budget)
 194 {
 195         struct ep93xx_priv *ep = netdev_priv(dev);
 196         int tail_offset;
 197         int rx_done;
 198         int processed;
 199
 200         tail_offset = rdl(ep, REG_RXSTSQCURADD) - ep->descs_dma_addr;
 201
 202         rx_done = 0;
 203         processed = 0;
 204         while (*budget > 0) {
 205                 int entry;
 206                 struct ep93xx_rstat *rstat;
 207                 u32 rstat0;
 208                 u32 rstat1;
 209                 int length;
 210                 struct sk_buff *skb;
 211
 212                 entry = ep->rx_pointer;
 213                 rstat = ep->descs->rstat + entry;
 214                 if ((void *)rstat - (void *)ep->descs == tail_offset) {
 215                         rx_done = 1;
 216                         break;
 217                 }
 218
 219                 rstat0 = rstat->rstat0;
 220                 rstat1 = rstat->rstat1;
 221                 rstat->rstat0 = 0;
 222                 rstat->rstat1 = 0;
 223
 224                 if (!(rstat0 & RSTAT0_RFP))
 225                         printk(KERN_CRIT "ep93xx_rx: buffer not done "
 226                                          " %.8x %.8x\n", rstat0, rstat1);
 227                 if (!(rstat0 & RSTAT0_EOF))
 228                         printk(KERN_CRIT "ep93xx_rx: not end-of-frame "
 229                                          " %.8x %.8x\n", rstat0, rstat1);
 230                 if (!(rstat0 & RSTAT0_EOB))
 231                         printk(KERN_CRIT "ep93xx_rx: not end-of-buffer "
 232                                          " %.8x %.8x\n", rstat0, rstat1);
 233                 if (!(rstat1 & RSTAT1_RFP))
 234                         printk(KERN_CRIT "ep93xx_rx: buffer1 not done "
 235                                          " %.8x %.8x\n", rstat0, rstat1);
 236                 if ((rstat1 & RSTAT1_BUFFER_INDEX) >> 16 != entry)
 237                         printk(KERN_CRIT "ep93xx_rx: entry mismatch "
 238                                          " %.8x %.8x\n", rstat0, rstat1);
 239
 240                 if (!(rstat0 & RSTAT0_RWE)) {
 241                         printk(KERN_NOTICE "ep93xx_rx: receive error "
 242                                          " %.8x %.8x\n", rstat0, rstat1);
 243
 244                         ep->stats.rx_errors++;
 245                         if (rstat0 & RSTAT0_OE)
 246                                 ep->stats.rx_fifo_errors++;
 247                         if (rstat0 & RSTAT0_FE)
 248                                 ep->stats.rx_frame_errors++;
 249                         if (rstat0 & (RSTAT0_RUNT | RSTAT0_EDATA))
 250                                 ep->stats.rx_length_errors++;
 251                         if (rstat0 & RSTAT0_CRCE)
 252                                 ep->stats.rx_crc_errors++;
 253                         goto err;
 254                 }
 255
 256                 length = rstat1 & RSTAT1_FRAME_LENGTH;
 257                 if (length > MAX_PKT_SIZE) {
 258                         printk(KERN_NOTICE "ep93xx_rx: invalid length "
 259                                          " %.8x %.8x\n", rstat0, rstat1);
 260                         goto err;
 261                 }
 262
 263                 /* Strip FCS.  */
 264                 if (rstat0 & RSTAT0_CRCI)
 265                         length -= 4;
 266
 267                 skb = dev_alloc_skb(length + 2);
 268                 if (likely(skb != NULL)) {
 269                         skb->dev = dev;
 270                         skb_reserve(skb, 2);
 271                         dma_sync_single(NULL, ep->descs->rdesc[entry].buf_addr,
 272                                                 length, DMA_FROM_DEVICE);
 273                         eth_copy_and_sum(skb, ep->rx_buf[entry], length, 0);
 274                         skb_put(skb, length);
 275                         skb->protocol = eth_type_trans(skb, dev);
 276
 277                         dev->last_rx = jiffies;
 278
 279                         netif_receive_skb(skb);
 280
 281                         ep->stats.rx_packets++;
 282                         ep->stats.rx_bytes += length;
 283                 } else {
 284                         ep->stats.rx_dropped++;
 285                 }
 286
 287 err:
 288                 ep->rx_pointer = (entry + 1) & (RX_QUEUE_ENTRIES - 1);
 289                 processed++;
 290                 dev->quota--;
 291                 (*budget)--;
 292         }
 293
 294         if (processed) {
 295                 wrw(ep, REG_RXDENQ, processed);
 296                 wrw(ep, REG_RXSTSENQ, processed);
 297         }
 298
 299         return !rx_done;
 300 }
 301
 302 static int ep93xx_have_more_rx(struct ep93xx_priv *ep)
 303 {
 304         struct ep93xx_rstat *rstat;
 305         int tail_offset;
 306
 307         rstat = ep->descs->rstat + ep->rx_pointer;
 308         tail_offset = rdl(ep, REG_RXSTSQCURADD) - ep->descs_dma_addr;
 309
 310         return !((void *)rstat - (void *)ep->descs == tail_offset);
 311 }
 312
 313 static int ep93xx_poll(struct net_device *dev, int *budget)
 314 {
 315         struct ep93xx_priv *ep = netdev_priv(dev);
 316
 317         /*
 318          * @@@ Have to stop polling if device is downed while we
 319          * are polling.
 320          */
 321
 322 poll_some_more:
 323         if (ep93xx_rx(dev, budget))
 324                 return 1;
 325
 326         netif_rx_complete(dev);
 327
 328         spin_lock_irq(&ep->rx_lock);
 329         wrl(ep, REG_INTEN, REG_INTEN_TX | REG_INTEN_RX);
 330         if (ep93xx_have_more_rx(ep)) {
 331                 wrl(ep, REG_INTEN, REG_INTEN_TX);
 332                 wrl(ep, REG_INTSTSP, REG_INTSTS_RX);
 333                 spin_unlock_irq(&ep->rx_lock);
 334
 335                 if (netif_rx_reschedule(dev, 0))
 336                         goto poll_some_more;
 337
 338                 return 0;
 339         }
 340         spin_unlock_irq(&ep->rx_lock);
 341
 342         return 0;
 343 }
 344
 345 static int ep93xx_xmit(struct sk_buff *skb, struct net_device *dev)
 346 {
 347         struct ep93xx_priv *ep = netdev_priv(dev);
 348         int entry;
 349
 350         if (unlikely(skb->len) > MAX_PKT_SIZE) {
 351                 ep->stats.tx_dropped++;
 352                 dev_kfree_skb(skb);
 353                 return NETDEV_TX_OK;
 354         }
 355
 356         entry = ep->tx_pointer;
 357         ep->tx_pointer = (ep->tx_pointer + 1) & (TX_QUEUE_ENTRIES - 1);
 358
 359         ep->descs->tdesc[entry].tdesc1 =
 360                 TDESC1_EOF | (entry << 16) | (skb->len & 0xfff);
 361         skb_copy_and_csum_dev(skb, ep->tx_buf[entry]);
 362         dma_sync_single(NULL, ep->descs->tdesc[entry].buf_addr,
 363                                 skb->len, DMA_TO_DEVICE);
 364         dev_kfree_skb(skb);
 365
 366         dev->trans_start = jiffies;
 367
 368         spin_lock_irq(&ep->tx_pending_lock);
 369         ep->tx_pending++;
 370         if (ep->tx_pending == TX_QUEUE_ENTRIES)
 371                 netif_stop_queue(dev);
 372         spin_unlock_irq(&ep->tx_pending_lock);
 373
 374         wrl(ep, REG_TXDENQ, 1);
 375
 376         return NETDEV_TX_OK;
 377 }
 378
 379 static void ep93xx_tx_complete(struct net_device *dev)
 380 {
 381         struct ep93xx_priv *ep = netdev_priv(dev);
 382         int tail_offset;
 383         int wake;
 384
 385         tail_offset = rdl(ep, REG_TXSTSQCURADD) - ep->descs_dma_addr;
 386         wake = 0;
 387
 388         spin_lock(&ep->tx_pending_lock);
 389         while (1) {
 390                 int entry;
 391                 struct ep93xx_tstat *tstat;
 392                 u32 tstat0;
 393
 394                 entry = ep->tx_clean_pointer;
 395                 tstat = ep->descs->tstat + entry;
 396                 if ((void *)tstat - (void *)ep->descs == tail_offset)
 397                         break;
 398
 399                 tstat0 = tstat->tstat0;
 400                 tstat->tstat0 = 0;
 401
 402                 if (!(tstat0 & TSTAT0_TXFP))
 403                         printk(KERN_CRIT "ep93xx_tx_complete: buffer not done "
 404                                          " %.8x\n", tstat0);
 405                 if (tstat0 & TSTAT0_FA)
 406                         printk(KERN_CRIT "ep93xx_tx_complete: frame aborted "
 407                                          " %.8x\n", tstat0);
 408                 if ((tstat0 & TSTAT0_BUFFER_INDEX) != entry)
 409                         printk(KERN_CRIT "ep93xx_tx_complete: entry mismatch "
 410                                          " %.8x\n", tstat0);
 411
 412                 if (tstat0 & TSTAT0_TXWE) {
 413                         int length = ep->descs->tdesc[entry].tdesc1 & 0xfff;
 414
 415                         ep->stats.tx_packets++;
 416                         ep->stats.tx_bytes += length;
 417                 } else {
 418                         ep->stats.tx_errors++;
 419                 }
 420
 421                 if (tstat0 & TSTAT0_OW)
 422                         ep->stats.tx_window_errors++;
 423                 if (tstat0 & TSTAT0_TXU)
 424                         ep->stats.tx_fifo_errors++;
 425                 ep->stats.collisions += (tstat0 >> 16) & 0x1f;
 426
 427                 ep->tx_clean_pointer = (entry + 1) & (TX_QUEUE_ENTRIES - 1);
 428                 if (ep->tx_pending == TX_QUEUE_ENTRIES)
 429                         wake = 1;
 430                 ep->tx_pending--;
 431         }
 432         spin_unlock(&ep->tx_pending_lock);
 433
 434         if (wake)
 435                 netif_wake_queue(dev);
 436 }
 437
 438 static irqreturn_t ep93xx_irq(int irq, void *dev_id)
 439 {
 440         struct net_device *dev = dev_id;
 441         struct ep93xx_priv *ep = netdev_priv(dev);
 442         u32 status;
 443
 444         status = rdl(ep, REG_INTSTSC);
 445         if (status == 0)
 446                 return IRQ_NONE;
 447
 448         if (status & REG_INTSTS_RX) {
 449                 spin_lock(&ep->rx_lock);
 450                 if (likely(__netif_rx_schedule_prep(dev))) {
 451                         wrl(ep, REG_INTEN, REG_INTEN_TX);
 452                         __netif_rx_schedule(dev);
 453                 }
 454                 spin_unlock(&ep->rx_lock);
 455         }
 456
 457         if (status & REG_INTSTS_TX)
 458                 ep93xx_tx_complete(dev);
 459
 460         return IRQ_HANDLED;
 461 }
 462
 463 static void ep93xx_free_buffers(struct ep93xx_priv *ep)
 464 {
 465         int i;
 466
 467         for (i = 0; i < RX_QUEUE_ENTRIES; i += 2) {
 468                 dma_addr_t d;
 469
 470                 d = ep->descs->rdesc[i].buf_addr;
 471                 if (d)
 472                         dma_unmap_single(NULL, d, PAGE_SIZE, DMA_FROM_DEVICE);
 473
 474                 if (ep->rx_buf[i] != NULL)
 475                         free_page((unsigned long)ep->rx_buf[i]);
 476         }
 477
 478         for (i = 0; i < TX_QUEUE_ENTRIES; i += 2) {
 479                 dma_addr_t d;
 480
 481                 d = ep->descs->tdesc[i].buf_addr;
 482                 if (d)
 483                         dma_unmap_single(NULL, d, PAGE_SIZE, DMA_TO_DEVICE);
 484
 485                 if (ep->tx_buf[i] != NULL)
 486                         free_page((unsigned long)ep->tx_buf[i]);
 487         }
 488
 489         dma_free_coherent(NULL, sizeof(struct ep93xx_descs), ep->descs,
 490                                                         ep->descs_dma_addr);
 491 }
 492
 493 /*
 494  * The hardware enforces a sub-2K maximum packet size, so we put
 495  * two buffers on every hardware page.
 496  */
 497 static int ep93xx_alloc_buffers(struct ep93xx_priv *ep)
 498 {
 499         int i;
 500
 501         ep->descs = dma_alloc_coherent(NULL, sizeof(struct ep93xx_descs),
 502                                 &ep->descs_dma_addr, GFP_KERNEL | GFP_DMA);
 503         if (ep->descs == NULL)
 504                 return 1;
 505
 506         for (i = 0; i < RX_QUEUE_ENTRIES; i += 2) {
 507                 void *page;
 508                 dma_addr_t d;
 509
 510                 page = (void *)__get_free_page(GFP_KERNEL | GFP_DMA);
 511                 if (page == NULL)
 512                         goto err;
 513
 514                 d = dma_map_single(NULL, page, PAGE_SIZE, DMA_FROM_DEVICE);
 515                 if (dma_mapping_error(d)) {
 516                         free_page((unsigned long)page);
 517                         goto err;
 518                 }
 519
 520                 ep->rx_buf[i] = page;
 521                 ep->descs->rdesc[i].buf_addr = d;
 522                 ep->descs->rdesc[i].rdesc1 = (i << 16) | PKT_BUF_SIZE;
 523
 524                 ep->rx_buf[i + 1] = page + PKT_BUF_SIZE;
 525                 ep->descs->rdesc[i + 1].buf_addr = d + PKT_BUF_SIZE;
 526                 ep->descs->rdesc[i + 1].rdesc1 = ((i + 1) << 16) | PKT_BUF_SIZE;
 527         }
 528
 529         for (i = 0; i < TX_QUEUE_ENTRIES; i += 2) {
 530                 void *page;
 531                 dma_addr_t d;
 532
 533                 page = (void *)__get_free_page(GFP_KERNEL | GFP_DMA);
 534                 if (page == NULL)
 535                         goto err;
 536
 537                 d = dma_map_single(NULL, page, PAGE_SIZE, DMA_TO_DEVICE);
 538                 if (dma_mapping_error(d)) {
 539                         free_page((unsigned long)page);
 540                         goto err;
 541                 }
 542
 543                 ep->tx_buf[i] = page;
 544                 ep->descs->tdesc[i].buf_addr = d;
 545
 546                 ep->tx_buf[i + 1] = page + PKT_BUF_SIZE;
 547                 ep->descs->tdesc[i + 1].buf_addr = d + PKT_BUF_SIZE;
 548         }
 549
 550         return 0;
 551
 552 err:
 553         ep93xx_free_buffers(ep);
 554         return 1;
 555 }
 556
 557 static int ep93xx_start_hw(struct net_device *dev)
 558 {
 559         struct ep93xx_priv *ep = netdev_priv(dev);
 560         unsigned long addr;
 561         int i;
 562
 563         wrl(ep, REG_SELFCTL, REG_SELFCTL_RESET);
 564         for (i = 0; i < 10; i++) {
 565                 if ((rdl(ep, REG_SELFCTL) & REG_SELFCTL_RESET) == 0)
 566                         break;
 567                 msleep(1);
 568         }
 569
 570         if (i == 10) {
 571                 printk(KERN_CRIT DRV_MODULE_NAME ": hw failed to reset\n");
 572                 return 1;
 573         }
 574
 575         wrl(ep, REG_SELFCTL, ((ep->mdc_divisor - 1) << 9));
 576
 577         /* Does the PHY support preamble suppress?  */
 578         if ((ep93xx_mdio_read(dev, ep->mii.phy_id, MII_BMSR) & 0x0040) != 0)
 579                 wrl(ep, REG_SELFCTL, ((ep->mdc_divisor - 1) << 9) | (1 << 8));
 580
 581         /* Receive descriptor ring.  */
 582         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, rdesc);
 583         wrl(ep, REG_RXDQBADD, addr);
 584         wrl(ep, REG_RXDCURADD, addr);
 585         wrw(ep, REG_RXDQBLEN, RX_QUEUE_ENTRIES * sizeof(struct ep93xx_rdesc));
 586
 587         /* Receive status ring.  */
 588         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, rstat);
 589         wrl(ep, REG_RXSTSQBADD, addr);
 590         wrl(ep, REG_RXSTSQCURADD, addr);
 591         wrw(ep, REG_RXSTSQBLEN, RX_QUEUE_ENTRIES * sizeof(struct ep93xx_rstat));
 592
 593         /* Transmit descriptor ring.  */
 594         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, tdesc);
 595         wrl(ep, REG_TXDQBADD, addr);
 596         wrl(ep, REG_TXDQCURADD, addr);
 597         wrw(ep, REG_TXDQBLEN, TX_QUEUE_ENTRIES * sizeof(struct ep93xx_tdesc));
 598
 599         /* Transmit status ring.  */
 600         addr = ep->descs_dma_addr + offsetof(struct ep93xx_descs, tstat);
 601         wrl(ep, REG_TXSTSQBADD, addr);
 602         wrl(ep, REG_TXSTSQCURADD, addr);
 603         wrw(ep, REG_TXSTSQBLEN, TX_QUEUE_ENTRIES * sizeof(struct ep93xx_tstat));
 604
 605         wrl(ep, REG_BMCTL, REG_BMCTL_ENABLE_TX | REG_BMCTL_ENABLE_RX);
 606         wrl(ep, REG_INTEN, REG_INTEN_TX | REG_INTEN_RX);
 607         wrl(ep, REG_GIINTMSK, 0);
 608
 609         for (i = 0; i < 10; i++) {
 610                 if ((rdl(ep, REG_BMSTS) & REG_BMSTS_RX_ACTIVE) != 0)
 611                         break;
 612                 msleep(1);
 613         }
 614
 615         if (i == 10) {
 616                 printk(KERN_CRIT DRV_MODULE_NAME ": hw failed to start\n");
 617                 return 1;
 618         }
 619
 620         wrl(ep, REG_RXDENQ, RX_QUEUE_ENTRIES);
 621         wrl(ep, REG_RXSTSENQ, RX_QUEUE_ENTRIES);
 622
 623         wrb(ep, REG_INDAD0, dev->dev_addr[0]);
 624         wrb(ep, REG_INDAD1, dev->dev_addr[1]);
 625         wrb(ep, REG_INDAD2, dev->dev_addr[2]);
 626         wrb(ep, REG_INDAD3, dev->dev_addr[3]);
 627         wrb(ep, REG_INDAD4, dev->dev_addr[4]);
 628         wrb(ep, REG_INDAD5, dev->dev_addr[5]);
 629         wrl(ep, REG_AFP, 0);
 630
 631         wrl(ep, REG_MAXFRMLEN, (MAX_PKT_SIZE << 16) | MAX_PKT_SIZE);
 632
 633         wrl(ep, REG_RXCTL, REG_RXCTL_DEFAULT);
 634         wrl(ep, REG_TXCTL, REG_TXCTL_ENABLE);
 635
 636         return 0;
 637 }
 638
 639 static void ep93xx_stop_hw(struct net_device *dev)
 640 {
 641         struct ep93xx_priv *ep = netdev_priv(dev);
 642         int i;
 643
 644         wrl(ep, REG_SELFCTL, REG_SELFCTL_RESET);
 645         for (i = 0; i < 10; i++) {
 646                 if ((rdl(ep, REG_SELFCTL) & REG_SELFCTL_RESET) == 0)
 647                         break;
 648                 msleep(1);
 649         }
 650
 651         if (i == 10)
 652                 printk(KERN_CRIT DRV_MODULE_NAME ": hw failed to reset\n");
 653 }
 654
 655 static int ep93xx_open(struct net_device *dev)
 656 {
 657         struct ep93xx_priv *ep = netdev_priv(dev);
 658         int err;
 659
 660         if (ep93xx_alloc_buffers(ep))
 661                 return -ENOMEM;
 662
 663         if (is_zero_ether_addr(dev->dev_addr)) {
 664                 random_ether_addr(dev->dev_addr);
 665                 printk(KERN_INFO "%s: generated random MAC address "
 666                         "%.2x:%.2x:%.2x:%.2x:%.2x:%.2x.\n", dev->name,
 667                         dev->dev_addr[0], dev->dev_addr[1],
 668                         dev->dev_addr[2], dev->dev_addr[3],
 669                         dev->dev_addr[4], dev->dev_addr[5]);
 670         }
 671
 672         if (ep93xx_start_hw(dev)) {
 673                 ep93xx_free_buffers(ep);
 674                 return -EIO;
 675         }
 676
 677         spin_lock_init(&ep->rx_lock);
 678         ep->rx_pointer = 0;
 679         ep->tx_clean_pointer = 0;
 680         ep->tx_pointer = 0;
 681         spin_lock_init(&ep->tx_pending_lock);
 682         ep->tx_pending = 0;
 683
 684         err = request_irq(ep->irq, ep93xx_irq, IRQF_SHARED, dev->name, dev);
 685         if (err) {
 686                 ep93xx_stop_hw(dev);
 687                 ep93xx_free_buffers(ep);
 688                 return err;
 689         }
 690
 691         wrl(ep, REG_GIINTMSK, REG_GIINTMSK_ENABLE);
 692
 693         netif_start_queue(dev);
 694
 695         return 0;
 696 }
 697
 698 static int ep93xx_close(struct net_device *dev)
 699 {
 700         struct ep93xx_priv *ep = netdev_priv(dev);
 701
 702         netif_stop_queue(dev);
 703
 704         wrl(ep, REG_GIINTMSK, 0);
 705         free_irq(ep->irq, dev);
 706         ep93xx_stop_hw(dev);
 707         ep93xx_free_buffers(ep);
 708
 709         return 0;
 710 }
 711
 712 static int ep93xx_ioctl(struct net_device *dev, struct ifreq *ifr, int cmd)
 713 {
 714         struct ep93xx_priv *ep = netdev_priv(dev);
 715         struct mii_ioctl_data *data = if_mii(ifr);
 716
 717         return generic_mii_ioctl(&ep->mii, data, cmd, NULL);
 718 }
 719
 720 static int ep93xx_mdio_read(struct net_device *dev, int phy_id, int reg)
 721 {
 722         struct ep93xx_priv *ep = netdev_priv(dev);
 723         int data;
 724         int i;
 725
 726         wrl(ep, REG_MIICMD, REG_MIICMD_READ | (phy_id << 5) | reg);
 727
 728         for (i = 0; i < 10; i++) {
 729                 if ((rdl(ep, REG_MIISTS) & REG_MIISTS_BUSY) == 0)
 730                         break;
 731                 msleep(1);
 732         }
 733
 734         if (i == 10) {
 735                 printk(KERN_INFO DRV_MODULE_NAME ": mdio read timed out\n");
 736                 data = 0xffff;
 737         } else {
 738                 data = rdl(ep, REG_MIIDATA);
 739         }
 740
 741         return data;
 742 }
 743
 744 static void ep93xx_mdio_write(struct net_device *dev, int phy_id, int reg, int data)
 745 {
 746         struct ep93xx_priv *ep = netdev_priv(dev);
 747         int i;
 748
 749         wrl(ep, REG_MIIDATA, data);
 750         wrl(ep, REG_MIICMD, REG_MIICMD_WRITE | (phy_id << 5) | reg);
 751
 752         for (i = 0; i < 10; i++) {
 753                 if ((rdl(ep, REG_MIISTS) & REG_MIISTS_BUSY) == 0)
 754                         break;
 755                 msleep(1);
 756         }
 757
 758         if (i == 10)
 759                 printk(KERN_INFO DRV_MODULE_NAME ": mdio write timed out\n");
 760 }
 761
 762 static void ep93xx_get_drvinfo(struct net_device *dev, struct ethtool_drvinfo *info)
 763 {
 764         strcpy(info->driver, DRV_MODULE_NAME);
 765         strcpy(info->version, DRV_MODULE_VERSION);
 766 }
 767
 768 static int ep93xx_get_settings(struct net_device *dev, struct ethtool_cmd *cmd)
 769 {
 770         struct ep93xx_priv *ep = netdev_priv(dev);
 771         return mii_ethtool_gset(&ep->mii, cmd);
 772 }
 773
 774 static int ep93xx_set_settings(struct net_device *dev, struct ethtool_cmd *cmd)
 775 {
 776         struct ep93xx_priv *ep = netdev_priv(dev);
 777         return mii_ethtool_sset(&ep->mii, cmd);
 778 }
 779
 780 static int ep93xx_nway_reset(struct net_device *dev)
 781 {
 782         struct ep93xx_priv *ep = netdev_priv(dev);
 783         return mii_nway_restart(&ep->mii);
 784 }
 785
 786 static u32 ep93xx_get_link(struct net_device *dev)
 787 {
 788         struct ep93xx_priv *ep = netdev_priv(dev);
 789         return mii_link_ok(&ep->mii);
 790 }
 791
 792 static struct ethtool_ops ep93xx_ethtool_ops = {
 793         .get_drvinfo            = ep93xx_get_drvinfo,
 794         .get_settings           = ep93xx_get_settings,
 795         .set_settings           = ep93xx_set_settings,
 796         .nway_reset             = ep93xx_nway_reset,
 797         .get_link               = ep93xx_get_link,
 798 };
 799
 800 struct net_device *ep93xx_dev_alloc(struct ep93xx_eth_data *data)
 801 {
 802         struct net_device *dev;
 803         struct ep93xx_priv *ep;
 804
 805         dev = alloc_etherdev(sizeof(struct ep93xx_priv));
 806         if (dev == NULL)
 807                 return NULL;
 808         ep = netdev_priv(dev);
 809
 810         memcpy(dev->dev_addr, data->dev_addr, ETH_ALEN);
 811
 812         dev->get_stats = ep93xx_get_stats;
 813         dev->ethtool_ops = &ep93xx_ethtool_ops;
 814         dev->poll = ep93xx_poll;
 815         dev->hard_start_xmit = ep93xx_xmit;
 816         dev->open = ep93xx_open;
 817         dev->stop = ep93xx_close;
 818         dev->do_ioctl = ep93xx_ioctl;
 819
 820         dev->features |= NETIF_F_SG | NETIF_F_HW_CSUM;
 821         dev->weight = 64;
 822
 823         return dev;
 824 }
 825
 826
 827 static int ep93xx_eth_remove(struct platform_device *pdev)
 828 {
 829         struct net_device *dev;
 830         struct ep93xx_priv *ep;
 831
 832         dev = platform_get_drvdata(pdev);
 833         if (dev == NULL)
 834                 return 0;
 835         platform_set_drvdata(pdev, NULL);
 836
 837         ep = netdev_priv(dev);
 838
 839         /* @@@ Force down.  */
 840         unregister_netdev(dev);
 841         ep93xx_free_buffers(ep);
 842
 843         if (ep->base_addr != NULL)
 844                 iounmap(ep->base_addr);
 845
 846         if (ep->res != NULL) {
 847                 release_resource(ep->res);
 848                 kfree(ep->res);
 849         }
 850
 851         free_netdev(dev);
 852
 853         return 0;
 854 }
 855
 856 static int ep93xx_eth_probe(struct platform_device *pdev)
 857 {
 858         struct ep93xx_eth_data *data;
 859         struct net_device *dev;
 860         struct ep93xx_priv *ep;
 861         int err;
 862
 863         data = pdev->dev.platform_data;
 864         if (pdev == NULL)
 865                 return -ENODEV;
 866
 867         dev = ep93xx_dev_alloc(data);
 868         if (dev == NULL) {
 869                 err = -ENOMEM;
 870                 goto err_out;
 871         }
 872         ep = netdev_priv(dev);
 873
 874         platform_set_drvdata(pdev, dev);
 875
 876         ep->res = request_mem_region(pdev->resource[0].start,
 877                         pdev->resource[0].end - pdev->resource[0].start + 1,
 878                         pdev->dev.bus_id);
 879         if (ep->res == NULL) {
 880                 dev_err(&pdev->dev, "Could not reserve memory region\n");
 881                 err = -ENOMEM;
 882                 goto err_out;
 883         }
 884
 885         ep->base_addr = ioremap(pdev->resource[0].start,
 886                         pdev->resource[0].end - pdev->resource[0].start);
 887         if (ep->base_addr == NULL) {
 888                 dev_err(&pdev->dev, "Failed to ioremap ethernet registers\n");
 889                 err = -EIO;
 890                 goto err_out;
 891         }
 892         ep->irq = pdev->resource[1].start;
 893
 894         ep->mii.phy_id = data->phy_id;
 895         ep->mii.phy_id_mask = 0x1f;
 896         ep->mii.reg_num_mask = 0x1f;
 897         ep->mii.dev = dev;
 898         ep->mii.mdio_read = ep93xx_mdio_read;
 899         ep->mii.mdio_write = ep93xx_mdio_write;
 900         ep->mdc_divisor = 40;   /* Max HCLK 100 MHz, min MDIO clk 2.5 MHz.  */
 901
 902         err = register_netdev(dev);
 903         if (err) {
 904                 dev_err(&pdev->dev, "Failed to register netdev\n");
 905                 goto err_out;
 906         }
 907
 908         printk(KERN_INFO "%s: ep93xx on-chip ethernet, IRQ %d, "
 909                          "%.2x:%.2x:%.2x:%.2x:%.2x:%.2x.\n", dev->name,
 910                         ep->irq, data->dev_addr[0], data->dev_addr[1],
 911                         data->dev_addr[2], data->dev_addr[3],
 912                         data->dev_addr[4], data->dev_addr[5]);
 913
 914         return 0;
 915
 916 err_out:
 917         ep93xx_eth_remove(pdev);
 918         return err;
 919 }
 920
 921
 922 static struct platform_driver ep93xx_eth_driver = {
 923         .probe          = ep93xx_eth_probe,
 924         .remove         = ep93xx_eth_remove,
 925         .driver         = {
 926                 .name   = "ep93xx-eth",
 927         },
 928 };
 929
 930 static int __init ep93xx_eth_init_module(void)
 931 {
 932         printk(KERN_INFO DRV_MODULE_NAME " version " DRV_MODULE_VERSION " loading\n");
 933         return platform_driver_register(&ep93xx_eth_driver);
 934 }
 935
 936 static void __exit ep93xx_eth_cleanup_module(void)
 937 {
 938         platform_driver_unregister(&ep93xx_eth_driver);
 939 }
 940
 941 module_init(ep93xx_eth_init_module);
 942 module_exit(ep93xx_eth_cleanup_module);
 943 MODULE_LICENSE("GPL");