drivers/usb/gadget/udc/renesas_usb3.c

   1 /*
   2  * Renesas USB3.0 Peripheral driver (USB gadget)
   3  *
   4  * Copyright (C) 2015  Renesas Electronics Corporation
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License as published by
   8  * the Free Software Foundation; version 2 of the License.
   9  */
  10
  11 #include <linux/delay.h>
  12 #include <linux/dma-mapping.h>
  13 #include <linux/err.h>
  14 #include <linux/extcon.h>
  15 #include <linux/interrupt.h>
  16 #include <linux/io.h>
  17 #include <linux/module.h>
  18 #include <linux/of_device.h>
  19 #include <linux/platform_device.h>
  20 #include <linux/pm_runtime.h>
  21 #include <linux/sizes.h>
  22 #include <linux/slab.h>
  23 #include <linux/usb/ch9.h>
  24 #include <linux/usb/gadget.h>
  25
  26 /* register definitions */
  27 #define USB3_AXI_INT_STA        0x008
  28 #define USB3_AXI_INT_ENA        0x00c
  29 #define USB3_DMA_INT_STA        0x010
  30 #define USB3_DMA_INT_ENA        0x014
  31 #define USB3_DMA_CH0_CON(n)     (0x030 + ((n) - 1) * 0x10) /* n = 1 to 4 */
  32 #define USB3_DMA_CH0_PRD_ADR(n) (0x034 + ((n) - 1) * 0x10) /* n = 1 to 4 */
  33 #define USB3_USB_COM_CON        0x200
  34 #define USB3_USB20_CON          0x204
  35 #define USB3_USB30_CON          0x208
  36 #define USB3_USB_STA            0x210
  37 #define USB3_DRD_CON            0x218
  38 #define USB3_USB_INT_STA_1      0x220
  39 #define USB3_USB_INT_STA_2      0x224
  40 #define USB3_USB_INT_ENA_1      0x228
  41 #define USB3_USB_INT_ENA_2      0x22c
  42 #define USB3_STUP_DAT_0         0x230
  43 #define USB3_STUP_DAT_1         0x234
  44 #define USB3_USB_OTG_STA        0x268
  45 #define USB3_USB_OTG_INT_STA    0x26c
  46 #define USB3_USB_OTG_INT_ENA    0x270
  47 #define USB3_P0_MOD             0x280
  48 #define USB3_P0_CON             0x288
  49 #define USB3_P0_STA             0x28c
  50 #define USB3_P0_INT_STA         0x290
  51 #define USB3_P0_INT_ENA         0x294
  52 #define USB3_P0_LNG             0x2a0
  53 #define USB3_P0_READ            0x2a4
  54 #define USB3_P0_WRITE           0x2a8
  55 #define USB3_PIPE_COM           0x2b0
  56 #define USB3_PN_MOD             0x2c0
  57 #define USB3_PN_RAMMAP          0x2c4
  58 #define USB3_PN_CON             0x2c8
  59 #define USB3_PN_STA             0x2cc
  60 #define USB3_PN_INT_STA         0x2d0
  61 #define USB3_PN_INT_ENA         0x2d4
  62 #define USB3_PN_LNG             0x2e0
  63 #define USB3_PN_READ            0x2e4
  64 #define USB3_PN_WRITE           0x2e8
  65 #define USB3_SSIFCMD            0x340
  66
  67 /* AXI_INT_ENA and AXI_INT_STA */
  68 #define AXI_INT_DMAINT          BIT(31)
  69 #define AXI_INT_EPCINT          BIT(30)
  70 /* PRD's n = from 1 to 4 */
  71 #define AXI_INT_PRDEN_CLR_STA_SHIFT(n)  (16 + (n) - 1)
  72 #define AXI_INT_PRDERR_STA_SHIFT(n)     (0 + (n) - 1)
  73 #define AXI_INT_PRDEN_CLR_STA(n)        (1 << AXI_INT_PRDEN_CLR_STA_SHIFT(n))
  74 #define AXI_INT_PRDERR_STA(n)           (1 << AXI_INT_PRDERR_STA_SHIFT(n))
  75
  76 /* DMA_INT_ENA and DMA_INT_STA */
  77 #define DMA_INT(n)              BIT(n)
  78
  79 /* DMA_CH0_CONn */
  80 #define DMA_CON_PIPE_DIR        BIT(15)         /* 1: In Transfer */
  81 #define DMA_CON_PIPE_NO_SHIFT   8
  82 #define DMA_CON_PIPE_NO_MASK    GENMASK(12, DMA_CON_PIPE_NO_SHIFT)
  83 #define DMA_COM_PIPE_NO(n)      (((n) << DMA_CON_PIPE_NO_SHIFT) & \
  84                                          DMA_CON_PIPE_NO_MASK)
  85 #define DMA_CON_PRD_EN          BIT(0)
  86
  87 /* LCLKSEL */
  88 #define LCLKSEL_LSEL            BIT(18)
  89
  90 /* USB_COM_CON */
  91 #define USB_COM_CON_CONF                BIT(24)
  92 #define USB_COM_CON_PN_WDATAIF_NL       BIT(23)
  93 #define USB_COM_CON_PN_RDATAIF_NL       BIT(22)
  94 #define USB_COM_CON_PN_LSTTR_PP         BIT(21)
  95 #define USB_COM_CON_SPD_MODE            BIT(17)
  96 #define USB_COM_CON_EP0_EN              BIT(16)
  97 #define USB_COM_CON_DEV_ADDR_SHIFT      8
  98 #define USB_COM_CON_DEV_ADDR_MASK       GENMASK(14, USB_COM_CON_DEV_ADDR_SHIFT)
  99 #define USB_COM_CON_DEV_ADDR(n)         (((n) << USB_COM_CON_DEV_ADDR_SHIFT) & \
 100                                          USB_COM_CON_DEV_ADDR_MASK)
 101 #define USB_COM_CON_RX_DETECTION        BIT(1)
 102 #define USB_COM_CON_PIPE_CLR            BIT(0)
 103
 104 /* USB20_CON */
 105 #define USB20_CON_B2_PUE                BIT(31)
 106 #define USB20_CON_B2_SUSPEND            BIT(24)
 107 #define USB20_CON_B2_CONNECT            BIT(17)
 108 #define USB20_CON_B2_TSTMOD_SHIFT       8
 109 #define USB20_CON_B2_TSTMOD_MASK        GENMASK(10, USB20_CON_B2_TSTMOD_SHIFT)
 110 #define USB20_CON_B2_TSTMOD(n)          (((n) << USB20_CON_B2_TSTMOD_SHIFT) & \
 111                                          USB20_CON_B2_TSTMOD_MASK)
 112 #define USB20_CON_B2_TSTMOD_EN          BIT(0)
 113
 114 /* USB30_CON */
 115 #define USB30_CON_POW_SEL_SHIFT         24
 116 #define USB30_CON_POW_SEL_MASK          GENMASK(26, USB30_CON_POW_SEL_SHIFT)
 117 #define USB30_CON_POW_SEL_IN_U3         BIT(26)
 118 #define USB30_CON_POW_SEL_IN_DISCON     0
 119 #define USB30_CON_POW_SEL_P2_TO_P0      BIT(25)
 120 #define USB30_CON_POW_SEL_P0_TO_P3      BIT(24)
 121 #define USB30_CON_POW_SEL_P0_TO_P2      0
 122 #define USB30_CON_B3_PLLWAKE            BIT(23)
 123 #define USB30_CON_B3_CONNECT            BIT(17)
 124 #define USB30_CON_B3_HOTRST_CMP         BIT(1)
 125
 126 /* USB_STA */
 127 #define USB_STA_SPEED_MASK      (BIT(2) | BIT(1))
 128 #define USB_STA_SPEED_HS        BIT(2)
 129 #define USB_STA_SPEED_FS        BIT(1)
 130 #define USB_STA_SPEED_SS        0
 131 #define USB_STA_VBUS_STA        BIT(0)
 132
 133 /* DRD_CON */
 134 #define DRD_CON_PERI_CON        BIT(24)
 135 #define DRD_CON_VBOUT           BIT(0)
 136
 137 /* USB_INT_ENA_1 and USB_INT_STA_1 */
 138 #define USB_INT_1_B3_PLLWKUP    BIT(31)
 139 #define USB_INT_1_B3_LUPSUCS    BIT(30)
 140 #define USB_INT_1_B3_DISABLE    BIT(27)
 141 #define USB_INT_1_B3_WRMRST     BIT(21)
 142 #define USB_INT_1_B3_HOTRST     BIT(20)
 143 #define USB_INT_1_B2_USBRST     BIT(12)
 144 #define USB_INT_1_B2_L1SPND     BIT(11)
 145 #define USB_INT_1_B2_SPND       BIT(9)
 146 #define USB_INT_1_B2_RSUM       BIT(8)
 147 #define USB_INT_1_SPEED         BIT(1)
 148 #define USB_INT_1_VBUS_CNG      BIT(0)
 149
 150 /* USB_INT_ENA_2 and USB_INT_STA_2 */
 151 #define USB_INT_2_PIPE(n)       BIT(n)
 152
 153 /* USB_OTG_STA, USB_OTG_INT_STA and USB_OTG_INT_ENA */
 154 #define USB_OTG_IDMON           BIT(4)
 155
 156 /* P0_MOD */
 157 #define P0_MOD_DIR              BIT(6)
 158
 159 /* P0_CON and PN_CON */
 160 #define PX_CON_BYTE_EN_MASK             (BIT(10) | BIT(9))
 161 #define PX_CON_BYTE_EN_SHIFT            9
 162 #define PX_CON_BYTE_EN_BYTES(n)         (((n) << PX_CON_BYTE_EN_SHIFT) & \
 163                                          PX_CON_BYTE_EN_MASK)
 164 #define PX_CON_SEND                     BIT(8)
 165
 166 /* P0_CON */
 167 #define P0_CON_ST_RES_MASK              (BIT(27) | BIT(26))
 168 #define P0_CON_ST_RES_FORCE_STALL       BIT(27)
 169 #define P0_CON_ST_RES_NORMAL            BIT(26)
 170 #define P0_CON_ST_RES_FORCE_NRDY        0
 171 #define P0_CON_OT_RES_MASK              (BIT(25) | BIT(24))
 172 #define P0_CON_OT_RES_FORCE_STALL       BIT(25)
 173 #define P0_CON_OT_RES_NORMAL            BIT(24)
 174 #define P0_CON_OT_RES_FORCE_NRDY        0
 175 #define P0_CON_IN_RES_MASK              (BIT(17) | BIT(16))
 176 #define P0_CON_IN_RES_FORCE_STALL       BIT(17)
 177 #define P0_CON_IN_RES_NORMAL            BIT(16)
 178 #define P0_CON_IN_RES_FORCE_NRDY        0
 179 #define P0_CON_RES_WEN                  BIT(7)
 180 #define P0_CON_BCLR                     BIT(1)
 181
 182 /* P0_STA and PN_STA */
 183 #define PX_STA_BUFSTS           BIT(0)
 184
 185 /* P0_INT_ENA and P0_INT_STA */
 186 #define P0_INT_STSED            BIT(18)
 187 #define P0_INT_STSST            BIT(17)
 188 #define P0_INT_SETUP            BIT(16)
 189 #define P0_INT_RCVNL            BIT(8)
 190 #define P0_INT_ERDY             BIT(7)
 191 #define P0_INT_FLOW             BIT(6)
 192 #define P0_INT_STALL            BIT(2)
 193 #define P0_INT_NRDY             BIT(1)
 194 #define P0_INT_BFRDY            BIT(0)
 195 #define P0_INT_ALL_BITS         (P0_INT_STSED | P0_INT_SETUP | P0_INT_BFRDY)
 196
 197 /* PN_MOD */
 198 #define PN_MOD_DIR              BIT(6)
 199 #define PN_MOD_TYPE_SHIFT       4
 200 #define PN_MOD_TYPE_MASK        GENMASK(5, PN_MOD_TYPE_SHIFT)
 201 #define PN_MOD_TYPE(n)          (((n) << PN_MOD_TYPE_SHIFT) & \
 202                                  PN_MOD_TYPE_MASK)
 203 #define PN_MOD_EPNUM_MASK       GENMASK(3, 0)
 204 #define PN_MOD_EPNUM(n)         ((n) & PN_MOD_EPNUM_MASK)
 205
 206 /* PN_RAMMAP */
 207 #define PN_RAMMAP_RAMAREA_SHIFT 29
 208 #define PN_RAMMAP_RAMAREA_MASK  GENMASK(31, PN_RAMMAP_RAMAREA_SHIFT)
 209 #define PN_RAMMAP_RAMAREA_16KB  BIT(31)
 210 #define PN_RAMMAP_RAMAREA_8KB   (BIT(30) | BIT(29))
 211 #define PN_RAMMAP_RAMAREA_4KB   BIT(30)
 212 #define PN_RAMMAP_RAMAREA_2KB   BIT(29)
 213 #define PN_RAMMAP_RAMAREA_1KB   0
 214 #define PN_RAMMAP_MPKT_SHIFT    16
 215 #define PN_RAMMAP_MPKT_MASK     GENMASK(26, PN_RAMMAP_MPKT_SHIFT)
 216 #define PN_RAMMAP_MPKT(n)       (((n) << PN_RAMMAP_MPKT_SHIFT) & \
 217                                  PN_RAMMAP_MPKT_MASK)
 218 #define PN_RAMMAP_RAMIF_SHIFT   14
 219 #define PN_RAMMAP_RAMIF_MASK    GENMASK(15, PN_RAMMAP_RAMIF_SHIFT)
 220 #define PN_RAMMAP_RAMIF(n)      (((n) << PN_RAMMAP_RAMIF_SHIFT) & \
 221                                  PN_RAMMAP_RAMIF_MASK)
 222 #define PN_RAMMAP_BASEAD_MASK   GENMASK(13, 0)
 223 #define PN_RAMMAP_BASEAD(offs)  (((offs) >> 3) & PN_RAMMAP_BASEAD_MASK)
 224 #define PN_RAMMAP_DATA(area, ramif, basead)     ((PN_RAMMAP_##area) | \
 225                                                  (PN_RAMMAP_RAMIF(ramif)) | \
 226                                                  (PN_RAMMAP_BASEAD(basead)))
 227
 228 /* PN_CON */
 229 #define PN_CON_EN               BIT(31)
 230 #define PN_CON_DATAIF_EN        BIT(30)
 231 #define PN_CON_RES_MASK         (BIT(17) | BIT(16))
 232 #define PN_CON_RES_FORCE_STALL  BIT(17)
 233 #define PN_CON_RES_NORMAL       BIT(16)
 234 #define PN_CON_RES_FORCE_NRDY   0
 235 #define PN_CON_LAST             BIT(11)
 236 #define PN_CON_RES_WEN          BIT(7)
 237 #define PN_CON_CLR              BIT(0)
 238
 239 /* PN_INT_STA and PN_INT_ENA */
 240 #define PN_INT_LSTTR    BIT(4)
 241 #define PN_INT_BFRDY    BIT(0)
 242
 243 /* USB3_SSIFCMD */
 244 #define SSIFCMD_URES_U2         BIT(9)
 245 #define SSIFCMD_URES_U1         BIT(8)
 246 #define SSIFCMD_UDIR_U2         BIT(7)
 247 #define SSIFCMD_UDIR_U1         BIT(6)
 248 #define SSIFCMD_UREQ_U2         BIT(5)
 249 #define SSIFCMD_UREQ_U1         BIT(4)
 250
 251 #define USB3_EP0_SS_MAX_PACKET_SIZE     512
 252 #define USB3_EP0_HSFS_MAX_PACKET_SIZE   64
 253 #define USB3_EP0_BUF_SIZE               8
 254 #define USB3_MAX_NUM_PIPES              30
 255 #define USB3_WAIT_US                    3
 256 #define USB3_DMA_NUM_SETTING_AREA       4
 257 /*
 258  * To avoid double-meaning of "0" (xferred 65536 bytes or received zlp if
 259  * buffer size is 65536), this driver uses the maximum size per a entry is
 260  * 32768 bytes.
 261  */
 262 #define USB3_DMA_MAX_XFER_SIZE          32768
 263 #define USB3_DMA_PRD_SIZE               4096
 264
 265 struct renesas_usb3;
 266
 267 /* Physical Region Descriptor Table */
 268 struct renesas_usb3_prd {
 269         u32 word1;
 270 #define USB3_PRD1_E             BIT(30)         /* the end of chain */
 271 #define USB3_PRD1_U             BIT(29)         /* completion of transfer */
 272 #define USB3_PRD1_D             BIT(28)         /* Error occurred */
 273 #define USB3_PRD1_INT           BIT(27)         /* Interrupt occurred */
 274 #define USB3_PRD1_LST           BIT(26)         /* Last Packet */
 275 #define USB3_PRD1_B_INC         BIT(24)
 276 #define USB3_PRD1_MPS_8         0
 277 #define USB3_PRD1_MPS_16        BIT(21)
 278 #define USB3_PRD1_MPS_32        BIT(22)
 279 #define USB3_PRD1_MPS_64        (BIT(22) | BIT(21))
 280 #define USB3_PRD1_MPS_512       BIT(23)
 281 #define USB3_PRD1_MPS_1024      (BIT(23) | BIT(21))
 282 #define USB3_PRD1_MPS_RESERVED  (BIT(23) | BIT(22) | BIT(21))
 283 #define USB3_PRD1_SIZE_MASK     GENMASK(15, 0)
 284
 285         u32 bap;
 286 };
 287 #define USB3_DMA_NUM_PRD_ENTRIES        (USB3_DMA_PRD_SIZE / \
 288                                           sizeof(struct renesas_usb3_prd))
 289 #define USB3_DMA_MAX_XFER_SIZE_ALL_PRDS (USB3_DMA_PRD_SIZE / \
 290                                          sizeof(struct renesas_usb3_prd) * \
 291                                          USB3_DMA_MAX_XFER_SIZE)
 292
 293 struct renesas_usb3_dma {
 294         struct renesas_usb3_prd *prd;
 295         dma_addr_t prd_dma;
 296         int num;        /* Setting area number (from 1 to 4) */
 297         bool used;
 298 };
 299
 300 struct renesas_usb3_request {
 301         struct usb_request      req;
 302         struct list_head        queue;
 303 };
 304
 305 #define USB3_EP_NAME_SIZE       8
 306 struct renesas_usb3_ep {
 307         struct usb_ep ep;
 308         struct renesas_usb3 *usb3;
 309         struct renesas_usb3_dma *dma;
 310         int num;
 311         char ep_name[USB3_EP_NAME_SIZE];
 312         struct list_head queue;
 313         u32 rammap_val;
 314         bool dir_in;
 315         bool halt;
 316         bool wedge;
 317         bool started;
 318 };
 319
 320 struct renesas_usb3_priv {
 321         int ramsize_per_ramif;          /* unit = bytes */
 322         int num_ramif;
 323         int ramsize_per_pipe;           /* unit = bytes */
 324         bool workaround_for_vbus;       /* if true, don't check vbus signal */
 325 };
 326
 327 struct renesas_usb3 {
 328         void __iomem *reg;
 329
 330         struct usb_gadget gadget;
 331         struct usb_gadget_driver *driver;
 332         struct extcon_dev *extcon;
 333         struct work_struct extcon_work;
 334
 335         struct renesas_usb3_ep *usb3_ep;
 336         int num_usb3_eps;
 337
 338         struct renesas_usb3_dma dma[USB3_DMA_NUM_SETTING_AREA];
 339
 340         spinlock_t lock;
 341         int disabled_count;
 342
 343         struct usb_request *ep0_req;
 344         u16 test_mode;
 345         u8 ep0_buf[USB3_EP0_BUF_SIZE];
 346         bool softconnect;
 347         bool workaround_for_vbus;
 348         bool extcon_host;               /* check id and set EXTCON_USB_HOST */
 349         bool extcon_usb;                /* check vbus and set EXTCON_USB */
 350 };
 351
 352 #define gadget_to_renesas_usb3(_gadget) \
 353                 container_of(_gadget, struct renesas_usb3, gadget)
 354 #define renesas_usb3_to_gadget(renesas_usb3) (&renesas_usb3->gadget)
 355 #define usb3_to_dev(_usb3)      (_usb3->gadget.dev.parent)
 356
 357 #define usb_ep_to_usb3_ep(_ep) container_of(_ep, struct renesas_usb3_ep, ep)
 358 #define usb3_ep_to_usb3(_usb3_ep) (_usb3_ep->usb3)
 359 #define usb_req_to_usb3_req(_req) container_of(_req, \
 360                                             struct renesas_usb3_request, req)
 361
 362 #define usb3_get_ep(usb3, n) ((usb3)->usb3_ep + (n))
 363 #define usb3_for_each_ep(usb3_ep, usb3, i)                      \
 364                 for ((i) = 0, usb3_ep = usb3_get_ep(usb3, (i)); \
 365                      (i) < (usb3)->num_usb3_eps;                \
 366                      (i)++, usb3_ep = usb3_get_ep(usb3, (i)))
 367
 368 #define usb3_get_dma(usb3, i)   (&(usb3)->dma[i])
 369 #define usb3_for_each_dma(usb3, dma, i)                         \
 370                 for ((i) = 0, dma = usb3_get_dma((usb3), (i));  \
 371                      (i) < USB3_DMA_NUM_SETTING_AREA;           \
 372                      (i)++, dma = usb3_get_dma((usb3), (i)))
 373
 374 static const char udc_name[] = "renesas_usb3";
 375
 376 static bool use_dma = 1;
 377 module_param(use_dma, bool, 0644);
 378 MODULE_PARM_DESC(use_dma, "use dedicated DMAC");
 379
 380 static void usb3_write(struct renesas_usb3 *usb3, u32 data, u32 offs)
 381 {
 382         iowrite32(data, usb3->reg + offs);
 383 }
 384
 385 static u32 usb3_read(struct renesas_usb3 *usb3, u32 offs)
 386 {
 387         return ioread32(usb3->reg + offs);
 388 }
 389
 390 static void usb3_set_bit(struct renesas_usb3 *usb3, u32 bits, u32 offs)
 391 {
 392         u32 val = usb3_read(usb3, offs);
 393
 394         val |= bits;
 395         usb3_write(usb3, val, offs);
 396 }
 397
 398 static void usb3_clear_bit(struct renesas_usb3 *usb3, u32 bits, u32 offs)
 399 {
 400         u32 val = usb3_read(usb3, offs);
 401
 402         val &= ~bits;
 403         usb3_write(usb3, val, offs);
 404 }
 405
 406 static int usb3_wait(struct renesas_usb3 *usb3, u32 reg, u32 mask,
 407                      u32 expected)
 408 {
 409         int i;
 410
 411         for (i = 0; i < USB3_WAIT_US; i++) {
 412                 if ((usb3_read(usb3, reg) & mask) == expected)
 413                         return 0;
 414                 udelay(1);
 415         }
 416
 417         dev_dbg(usb3_to_dev(usb3), "%s: timed out (%8x, %08x, %08x)\n",
 418                 __func__, reg, mask, expected);
 419
 420         return -EBUSY;
 421 }
 422
 423 static void renesas_usb3_extcon_work(struct work_struct *work)
 424 {
 425         struct renesas_usb3 *usb3 = container_of(work, struct renesas_usb3,
 426                                                  extcon_work);
 427
 428         extcon_set_state_sync(usb3->extcon, EXTCON_USB_HOST, usb3->extcon_host);
 429         extcon_set_state_sync(usb3->extcon, EXTCON_USB, usb3->extcon_usb);
 430 }
 431
 432 static void usb3_enable_irq_1(struct renesas_usb3 *usb3, u32 bits)
 433 {
 434         usb3_set_bit(usb3, bits, USB3_USB_INT_ENA_1);
 435 }
 436
 437 static void usb3_disable_irq_1(struct renesas_usb3 *usb3, u32 bits)
 438 {
 439         usb3_clear_bit(usb3, bits, USB3_USB_INT_ENA_1);
 440 }
 441
 442 static void usb3_enable_pipe_irq(struct renesas_usb3 *usb3, int num)
 443 {
 444         usb3_set_bit(usb3, USB_INT_2_PIPE(num), USB3_USB_INT_ENA_2);
 445 }
 446
 447 static void usb3_disable_pipe_irq(struct renesas_usb3 *usb3, int num)
 448 {
 449         usb3_clear_bit(usb3, USB_INT_2_PIPE(num), USB3_USB_INT_ENA_2);
 450 }
 451
 452 static bool usb3_is_host(struct renesas_usb3 *usb3)
 453 {
 454         return !(usb3_read(usb3, USB3_DRD_CON) & DRD_CON_PERI_CON);
 455 }
 456
 457 static void usb3_init_axi_bridge(struct renesas_usb3 *usb3)
 458 {
 459         /* Set AXI_INT */
 460         usb3_write(usb3, ~0, USB3_DMA_INT_STA);
 461         usb3_write(usb3, 0, USB3_DMA_INT_ENA);
 462         usb3_set_bit(usb3, AXI_INT_DMAINT | AXI_INT_EPCINT, USB3_AXI_INT_ENA);
 463 }
 464
 465 static void usb3_init_epc_registers(struct renesas_usb3 *usb3)
 466 {
 467         usb3_write(usb3, ~0, USB3_USB_INT_STA_1);
 468         usb3_enable_irq_1(usb3, USB_INT_1_VBUS_CNG);
 469 }
 470
 471 static bool usb3_wakeup_usb2_phy(struct renesas_usb3 *usb3)
 472 {
 473         if (!(usb3_read(usb3, USB3_USB20_CON) & USB20_CON_B2_SUSPEND))
 474                 return true;    /* already waked it up */
 475
 476         usb3_clear_bit(usb3, USB20_CON_B2_SUSPEND, USB3_USB20_CON);
 477         usb3_enable_irq_1(usb3, USB_INT_1_B2_RSUM);
 478
 479         return false;
 480 }
 481
 482 static void usb3_usb2_pullup(struct renesas_usb3 *usb3, int pullup)
 483 {
 484         u32 bits = USB20_CON_B2_PUE | USB20_CON_B2_CONNECT;
 485
 486         if (usb3->softconnect && pullup)
 487                 usb3_set_bit(usb3, bits, USB3_USB20_CON);
 488         else
 489                 usb3_clear_bit(usb3, bits, USB3_USB20_CON);
 490 }
 491
 492 static void usb3_set_test_mode(struct renesas_usb3 *usb3)
 493 {
 494         u32 val = usb3_read(usb3, USB3_USB20_CON);
 495
 496         val &= ~USB20_CON_B2_TSTMOD_MASK;
 497         val |= USB20_CON_B2_TSTMOD(usb3->test_mode);
 498         usb3_write(usb3, val | USB20_CON_B2_TSTMOD_EN, USB3_USB20_CON);
 499         if (!usb3->test_mode)
 500                 usb3_clear_bit(usb3, USB20_CON_B2_TSTMOD_EN, USB3_USB20_CON);
 501 }
 502
 503 static void usb3_start_usb2_connection(struct renesas_usb3 *usb3)
 504 {
 505         usb3->disabled_count++;
 506         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 507         usb3_set_bit(usb3, USB_COM_CON_SPD_MODE, USB3_USB_COM_CON);
 508         usb3_usb2_pullup(usb3, 1);
 509 }
 510
 511 static int usb3_is_usb3_phy_in_u3(struct renesas_usb3 *usb3)
 512 {
 513         return usb3_read(usb3, USB3_USB30_CON) & USB30_CON_POW_SEL_IN_U3;
 514 }
 515
 516 static bool usb3_wakeup_usb3_phy(struct renesas_usb3 *usb3)
 517 {
 518         if (!usb3_is_usb3_phy_in_u3(usb3))
 519                 return true;    /* already waked it up */
 520
 521         usb3_set_bit(usb3, USB30_CON_B3_PLLWAKE, USB3_USB30_CON);
 522         usb3_enable_irq_1(usb3, USB_INT_1_B3_PLLWKUP);
 523
 524         return false;
 525 }
 526
 527 static u16 usb3_feature_get_un_enabled(struct renesas_usb3 *usb3)
 528 {
 529         u32 mask_u2 = SSIFCMD_UDIR_U2 | SSIFCMD_UREQ_U2;
 530         u32 mask_u1 = SSIFCMD_UDIR_U1 | SSIFCMD_UREQ_U1;
 531         u32 val = usb3_read(usb3, USB3_SSIFCMD);
 532         u16 ret = 0;
 533
 534         /* Enables {U2,U1} if the bits of UDIR and UREQ are set to 0 */
 535         if (!(val & mask_u2))
 536                 ret |= 1 << USB_DEV_STAT_U2_ENABLED;
 537         if (!(val & mask_u1))
 538                 ret |= 1 << USB_DEV_STAT_U1_ENABLED;
 539
 540         return ret;
 541 }
 542
 543 static void usb3_feature_u2_enable(struct renesas_usb3 *usb3, bool enable)
 544 {
 545         u32 bits = SSIFCMD_UDIR_U2 | SSIFCMD_UREQ_U2;
 546
 547         /* Enables U2 if the bits of UDIR and UREQ are set to 0 */
 548         if (enable)
 549                 usb3_clear_bit(usb3, bits, USB3_SSIFCMD);
 550         else
 551                 usb3_set_bit(usb3, bits, USB3_SSIFCMD);
 552 }
 553
 554 static void usb3_feature_u1_enable(struct renesas_usb3 *usb3, bool enable)
 555 {
 556         u32 bits = SSIFCMD_UDIR_U1 | SSIFCMD_UREQ_U1;
 557
 558         /* Enables U1 if the bits of UDIR and UREQ are set to 0 */
 559         if (enable)
 560                 usb3_clear_bit(usb3, bits, USB3_SSIFCMD);
 561         else
 562                 usb3_set_bit(usb3, bits, USB3_SSIFCMD);
 563 }
 564
 565 static void usb3_start_operation_for_usb3(struct renesas_usb3 *usb3)
 566 {
 567         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 568         usb3_clear_bit(usb3, USB_COM_CON_SPD_MODE, USB3_USB_COM_CON);
 569         usb3_set_bit(usb3, USB30_CON_B3_CONNECT, USB3_USB30_CON);
 570 }
 571
 572 static void usb3_start_usb3_connection(struct renesas_usb3 *usb3)
 573 {
 574         usb3_start_operation_for_usb3(usb3);
 575         usb3_set_bit(usb3, USB_COM_CON_RX_DETECTION, USB3_USB_COM_CON);
 576
 577         usb3_enable_irq_1(usb3, USB_INT_1_B3_LUPSUCS | USB_INT_1_B3_DISABLE |
 578                           USB_INT_1_SPEED);
 579 }
 580
 581 static void usb3_stop_usb3_connection(struct renesas_usb3 *usb3)
 582 {
 583         usb3_clear_bit(usb3, USB30_CON_B3_CONNECT, USB3_USB30_CON);
 584 }
 585
 586 static void usb3_transition_to_default_state(struct renesas_usb3 *usb3,
 587                                              bool is_usb3)
 588 {
 589         usb3_set_bit(usb3, USB_INT_2_PIPE(0), USB3_USB_INT_ENA_2);
 590         usb3_write(usb3, P0_INT_ALL_BITS, USB3_P0_INT_STA);
 591         usb3_set_bit(usb3, P0_INT_ALL_BITS, USB3_P0_INT_ENA);
 592
 593         if (is_usb3)
 594                 usb3_enable_irq_1(usb3, USB_INT_1_B3_WRMRST |
 595                                   USB_INT_1_B3_HOTRST);
 596         else
 597                 usb3_enable_irq_1(usb3, USB_INT_1_B2_SPND |
 598                                   USB_INT_1_B2_L1SPND | USB_INT_1_B2_USBRST);
 599 }
 600
 601 static void usb3_connect(struct renesas_usb3 *usb3)
 602 {
 603         if (usb3_wakeup_usb3_phy(usb3))
 604                 usb3_start_usb3_connection(usb3);
 605 }
 606
 607 static void usb3_reset_epc(struct renesas_usb3 *usb3)
 608 {
 609         usb3_clear_bit(usb3, USB_COM_CON_CONF, USB3_USB_COM_CON);
 610         usb3_clear_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 611         usb3_set_bit(usb3, USB_COM_CON_PIPE_CLR, USB3_USB_COM_CON);
 612         usb3->test_mode = 0;
 613         usb3_set_test_mode(usb3);
 614 }
 615
 616 static void usb3_disconnect(struct renesas_usb3 *usb3)
 617 {
 618         usb3->disabled_count = 0;
 619         usb3_usb2_pullup(usb3, 0);
 620         usb3_clear_bit(usb3, USB30_CON_B3_CONNECT, USB3_USB30_CON);
 621         usb3_reset_epc(usb3);
 622
 623         if (usb3->driver)
 624                 usb3->driver->disconnect(&usb3->gadget);
 625 }
 626
 627 static void usb3_check_vbus(struct renesas_usb3 *usb3)
 628 {
 629         if (usb3->workaround_for_vbus) {
 630                 usb3_connect(usb3);
 631         } else {
 632                 usb3->extcon_usb = !!(usb3_read(usb3, USB3_USB_STA) &
 633                                                         USB_STA_VBUS_STA);
 634                 if (usb3->extcon_usb)
 635                         usb3_connect(usb3);
 636                 else
 637                         usb3_disconnect(usb3);
 638
 639                 schedule_work(&usb3->extcon_work);
 640         }
 641 }
 642
 643 static void usb3_set_mode(struct renesas_usb3 *usb3, bool host)
 644 {
 645         if (host)
 646                 usb3_clear_bit(usb3, DRD_CON_PERI_CON, USB3_DRD_CON);
 647         else
 648                 usb3_set_bit(usb3, DRD_CON_PERI_CON, USB3_DRD_CON);
 649 }
 650
 651 static void usb3_vbus_out(struct renesas_usb3 *usb3, bool enable)
 652 {
 653         if (enable)
 654                 usb3_set_bit(usb3, DRD_CON_VBOUT, USB3_DRD_CON);
 655         else
 656                 usb3_clear_bit(usb3, DRD_CON_VBOUT, USB3_DRD_CON);
 657 }
 658
 659 static void usb3_mode_config(struct renesas_usb3 *usb3, bool host, bool a_dev)
 660 {
 661         unsigned long flags;
 662
 663         spin_lock_irqsave(&usb3->lock, flags);
 664         usb3_set_mode(usb3, host);
 665         usb3_vbus_out(usb3, a_dev);
 666         if (!host && a_dev)             /* for A-Peripheral */
 667                 usb3_connect(usb3);
 668         spin_unlock_irqrestore(&usb3->lock, flags);
 669 }
 670
 671 static bool usb3_is_a_device(struct renesas_usb3 *usb3)
 672 {
 673         return !(usb3_read(usb3, USB3_USB_OTG_STA) & USB_OTG_IDMON);
 674 }
 675
 676 static void usb3_check_id(struct renesas_usb3 *usb3)
 677 {
 678         usb3->extcon_host = usb3_is_a_device(usb3);
 679
 680         if (usb3->extcon_host)
 681                 usb3_mode_config(usb3, true, true);
 682         else
 683                 usb3_mode_config(usb3, false, false);
 684
 685         schedule_work(&usb3->extcon_work);
 686 }
 687
 688 static void renesas_usb3_init_controller(struct renesas_usb3 *usb3)
 689 {
 690         usb3_init_axi_bridge(usb3);
 691         usb3_init_epc_registers(usb3);
 692         usb3_set_bit(usb3, USB_COM_CON_PN_WDATAIF_NL |
 693                      USB_COM_CON_PN_RDATAIF_NL | USB_COM_CON_PN_LSTTR_PP,
 694                      USB3_USB_COM_CON);
 695         usb3_write(usb3, USB_OTG_IDMON, USB3_USB_OTG_INT_STA);
 696         usb3_write(usb3, USB_OTG_IDMON, USB3_USB_OTG_INT_ENA);
 697
 698         usb3_check_id(usb3);
 699         usb3_check_vbus(usb3);
 700 }
 701
 702 static void renesas_usb3_stop_controller(struct renesas_usb3 *usb3)
 703 {
 704         usb3_disconnect(usb3);
 705         usb3_write(usb3, 0, USB3_P0_INT_ENA);
 706         usb3_write(usb3, 0, USB3_USB_OTG_INT_ENA);
 707         usb3_write(usb3, 0, USB3_USB_INT_ENA_1);
 708         usb3_write(usb3, 0, USB3_USB_INT_ENA_2);
 709         usb3_write(usb3, 0, USB3_AXI_INT_ENA);
 710 }
 711
 712 static void usb3_irq_epc_int_1_pll_wakeup(struct renesas_usb3 *usb3)
 713 {
 714         usb3_disable_irq_1(usb3, USB_INT_1_B3_PLLWKUP);
 715         usb3_clear_bit(usb3, USB30_CON_B3_PLLWAKE, USB3_USB30_CON);
 716         usb3_start_usb3_connection(usb3);
 717 }
 718
 719 static void usb3_irq_epc_int_1_linkup_success(struct renesas_usb3 *usb3)
 720 {
 721         usb3_transition_to_default_state(usb3, true);
 722 }
 723
 724 static void usb3_irq_epc_int_1_resume(struct renesas_usb3 *usb3)
 725 {
 726         usb3_disable_irq_1(usb3, USB_INT_1_B2_RSUM);
 727         usb3_start_usb2_connection(usb3);
 728         usb3_transition_to_default_state(usb3, false);
 729 }
 730
 731 static void usb3_irq_epc_int_1_disable(struct renesas_usb3 *usb3)
 732 {
 733         usb3_stop_usb3_connection(usb3);
 734         if (usb3_wakeup_usb2_phy(usb3))
 735                 usb3_irq_epc_int_1_resume(usb3);
 736 }
 737
 738 static void usb3_irq_epc_int_1_bus_reset(struct renesas_usb3 *usb3)
 739 {
 740         usb3_reset_epc(usb3);
 741         if (usb3->disabled_count < 3)
 742                 usb3_start_usb3_connection(usb3);
 743         else
 744                 usb3_start_usb2_connection(usb3);
 745 }
 746
 747 static void usb3_irq_epc_int_1_vbus_change(struct renesas_usb3 *usb3)
 748 {
 749         usb3_check_vbus(usb3);
 750 }
 751
 752 static void usb3_irq_epc_int_1_hot_reset(struct renesas_usb3 *usb3)
 753 {
 754         usb3_reset_epc(usb3);
 755         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 756
 757         /* This bit shall be set within 12ms from the start of HotReset */
 758         usb3_set_bit(usb3, USB30_CON_B3_HOTRST_CMP, USB3_USB30_CON);
 759 }
 760
 761 static void usb3_irq_epc_int_1_warm_reset(struct renesas_usb3 *usb3)
 762 {
 763         usb3_reset_epc(usb3);
 764         usb3_set_bit(usb3, USB_COM_CON_EP0_EN, USB3_USB_COM_CON);
 765
 766         usb3_start_operation_for_usb3(usb3);
 767         usb3_enable_irq_1(usb3, USB_INT_1_SPEED);
 768 }
 769
 770 static void usb3_irq_epc_int_1_speed(struct renesas_usb3 *usb3)
 771 {
 772         u32 speed = usb3_read(usb3, USB3_USB_STA) & USB_STA_SPEED_MASK;
 773
 774         switch (speed) {
 775         case USB_STA_SPEED_SS:
 776                 usb3->gadget.speed = USB_SPEED_SUPER;
 777                 break;
 778         case USB_STA_SPEED_HS:
 779                 usb3->gadget.speed = USB_SPEED_HIGH;
 780                 break;
 781         case USB_STA_SPEED_FS:
 782                 usb3->gadget.speed = USB_SPEED_FULL;
 783                 break;
 784         default:
 785                 usb3->gadget.speed = USB_SPEED_UNKNOWN;
 786                 break;
 787         }
 788 }
 789
 790 static void usb3_irq_epc_int_1(struct renesas_usb3 *usb3, u32 int_sta_1)
 791 {
 792         if (int_sta_1 & USB_INT_1_B3_PLLWKUP)
 793                 usb3_irq_epc_int_1_pll_wakeup(usb3);
 794
 795         if (int_sta_1 & USB_INT_1_B3_LUPSUCS)
 796                 usb3_irq_epc_int_1_linkup_success(usb3);
 797
 798         if (int_sta_1 & USB_INT_1_B3_HOTRST)
 799                 usb3_irq_epc_int_1_hot_reset(usb3);
 800
 801         if (int_sta_1 & USB_INT_1_B3_WRMRST)
 802                 usb3_irq_epc_int_1_warm_reset(usb3);
 803
 804         if (int_sta_1 & USB_INT_1_B3_DISABLE)
 805                 usb3_irq_epc_int_1_disable(usb3);
 806
 807         if (int_sta_1 & USB_INT_1_B2_USBRST)
 808                 usb3_irq_epc_int_1_bus_reset(usb3);
 809
 810         if (int_sta_1 & USB_INT_1_B2_RSUM)
 811                 usb3_irq_epc_int_1_resume(usb3);
 812
 813         if (int_sta_1 & USB_INT_1_SPEED)
 814                 usb3_irq_epc_int_1_speed(usb3);
 815
 816         if (int_sta_1 & USB_INT_1_VBUS_CNG)
 817                 usb3_irq_epc_int_1_vbus_change(usb3);
 818 }
 819
 820 static struct renesas_usb3_request *__usb3_get_request(struct renesas_usb3_ep
 821                                                        *usb3_ep)
 822 {
 823         return list_first_entry_or_null(&usb3_ep->queue,
 824                                         struct renesas_usb3_request, queue);
 825 }
 826
 827 static struct renesas_usb3_request *usb3_get_request(struct renesas_usb3_ep
 828                                                      *usb3_ep)
 829 {
 830         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
 831         struct renesas_usb3_request *usb3_req;
 832         unsigned long flags;
 833
 834         spin_lock_irqsave(&usb3->lock, flags);
 835         usb3_req = __usb3_get_request(usb3_ep);
 836         spin_unlock_irqrestore(&usb3->lock, flags);
 837
 838         return usb3_req;
 839 }
 840
 841 static void __usb3_request_done(struct renesas_usb3_ep *usb3_ep,
 842                                 struct renesas_usb3_request *usb3_req,
 843                                 int status)
 844 {
 845         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
 846
 847         dev_dbg(usb3_to_dev(usb3), "giveback: ep%2d, %u, %u, %d\n",
 848                 usb3_ep->num, usb3_req->req.length, usb3_req->req.actual,
 849                 status);
 850         usb3_req->req.status = status;
 851         usb3_ep->started = false;
 852         list_del_init(&usb3_req->queue);
 853         spin_unlock(&usb3->lock);
 854         usb_gadget_giveback_request(&usb3_ep->ep, &usb3_req->req);
 855         spin_lock(&usb3->lock);
 856 }
 857
 858 static void usb3_request_done(struct renesas_usb3_ep *usb3_ep,
 859                               struct renesas_usb3_request *usb3_req, int status)
 860 {
 861         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
 862         unsigned long flags;
 863
 864         spin_lock_irqsave(&usb3->lock, flags);
 865         __usb3_request_done(usb3_ep, usb3_req, status);
 866         spin_unlock_irqrestore(&usb3->lock, flags);
 867 }
 868
 869 static void usb3_irq_epc_pipe0_status_end(struct renesas_usb3 *usb3)
 870 {
 871         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
 872         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
 873
 874         if (usb3_req)
 875                 usb3_request_done(usb3_ep, usb3_req, 0);
 876         if (usb3->test_mode)
 877                 usb3_set_test_mode(usb3);
 878 }
 879
 880 static void usb3_get_setup_data(struct renesas_usb3 *usb3,
 881                                 struct usb_ctrlrequest *ctrl)
 882 {
 883         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
 884         u32 *data = (u32 *)ctrl;
 885
 886         *data++ = usb3_read(usb3, USB3_STUP_DAT_0);
 887         *data = usb3_read(usb3, USB3_STUP_DAT_1);
 888
 889         /* update this driver's flag */
 890         usb3_ep->dir_in = !!(ctrl->bRequestType & USB_DIR_IN);
 891 }
 892
 893 static void usb3_set_p0_con_update_res(struct renesas_usb3 *usb3, u32 res)
 894 {
 895         u32 val = usb3_read(usb3, USB3_P0_CON);
 896
 897         val &= ~(P0_CON_ST_RES_MASK | P0_CON_OT_RES_MASK | P0_CON_IN_RES_MASK);
 898         val |= res | P0_CON_RES_WEN;
 899         usb3_write(usb3, val, USB3_P0_CON);
 900 }
 901
 902 static void usb3_set_p0_con_for_ctrl_read_data(struct renesas_usb3 *usb3)
 903 {
 904         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_NRDY |
 905                                    P0_CON_OT_RES_FORCE_STALL |
 906                                    P0_CON_IN_RES_NORMAL);
 907 }
 908
 909 static void usb3_set_p0_con_for_ctrl_read_status(struct renesas_usb3 *usb3)
 910 {
 911         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_NORMAL |
 912                                    P0_CON_OT_RES_FORCE_STALL |
 913                                    P0_CON_IN_RES_NORMAL);
 914 }
 915
 916 static void usb3_set_p0_con_for_ctrl_write_data(struct renesas_usb3 *usb3)
 917 {
 918         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_NRDY |
 919                                    P0_CON_OT_RES_NORMAL |
 920                                    P0_CON_IN_RES_FORCE_STALL);
 921 }
 922
 923 static void usb3_set_p0_con_for_ctrl_write_status(struct renesas_usb3 *usb3)
 924 {
 925         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_NORMAL |
 926                                    P0_CON_OT_RES_NORMAL |
 927                                    P0_CON_IN_RES_FORCE_STALL);
 928 }
 929
 930 static void usb3_set_p0_con_for_no_data(struct renesas_usb3 *usb3)
 931 {
 932         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_NORMAL |
 933                                    P0_CON_OT_RES_FORCE_STALL |
 934                                    P0_CON_IN_RES_FORCE_STALL);
 935 }
 936
 937 static void usb3_set_p0_con_stall(struct renesas_usb3 *usb3)
 938 {
 939         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_STALL |
 940                                    P0_CON_OT_RES_FORCE_STALL |
 941                                    P0_CON_IN_RES_FORCE_STALL);
 942 }
 943
 944 static void usb3_set_p0_con_stop(struct renesas_usb3 *usb3)
 945 {
 946         usb3_set_p0_con_update_res(usb3, P0_CON_ST_RES_FORCE_NRDY |
 947                                    P0_CON_OT_RES_FORCE_NRDY |
 948                                    P0_CON_IN_RES_FORCE_NRDY);
 949 }
 950
 951 static int usb3_pn_change(struct renesas_usb3 *usb3, int num)
 952 {
 953         if (num == 0 || num > usb3->num_usb3_eps)
 954                 return -ENXIO;
 955
 956         usb3_write(usb3, num, USB3_PIPE_COM);
 957
 958         return 0;
 959 }
 960
 961 static void usb3_set_pn_con_update_res(struct renesas_usb3 *usb3, u32 res)
 962 {
 963         u32 val = usb3_read(usb3, USB3_PN_CON);
 964
 965         val &= ~PN_CON_RES_MASK;
 966         val |= res & PN_CON_RES_MASK;
 967         val |= PN_CON_RES_WEN;
 968         usb3_write(usb3, val, USB3_PN_CON);
 969 }
 970
 971 static void usb3_pn_start(struct renesas_usb3 *usb3)
 972 {
 973         usb3_set_pn_con_update_res(usb3, PN_CON_RES_NORMAL);
 974 }
 975
 976 static void usb3_pn_stop(struct renesas_usb3 *usb3)
 977 {
 978         usb3_set_pn_con_update_res(usb3, PN_CON_RES_FORCE_NRDY);
 979 }
 980
 981 static void usb3_pn_stall(struct renesas_usb3 *usb3)
 982 {
 983         usb3_set_pn_con_update_res(usb3, PN_CON_RES_FORCE_STALL);
 984 }
 985
 986 static int usb3_pn_con_clear(struct renesas_usb3 *usb3)
 987 {
 988         usb3_set_bit(usb3, PN_CON_CLR, USB3_PN_CON);
 989
 990         return usb3_wait(usb3, USB3_PN_CON, PN_CON_CLR, 0);
 991 }
 992
 993 static bool usb3_is_transfer_complete(struct renesas_usb3_ep *usb3_ep,
 994                                       struct renesas_usb3_request *usb3_req)
 995 {
 996         struct usb_request *req = &usb3_req->req;
 997
 998         if ((!req->zero && req->actual == req->length) ||
 999             (req->actual % usb3_ep->ep.maxpacket) || (req->length == 0))
1000                 return true;
1001         else
1002                 return false;
1003 }
1004
1005 static int usb3_wait_pipe_status(struct renesas_usb3_ep *usb3_ep, u32 mask)
1006 {
1007         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1008         u32 sta_reg = usb3_ep->num ? USB3_PN_STA : USB3_P0_STA;
1009
1010         return usb3_wait(usb3, sta_reg, mask, mask);
1011 }
1012
1013 static void usb3_set_px_con_send(struct renesas_usb3_ep *usb3_ep, int bytes,
1014                                  bool last)
1015 {
1016         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1017         u32 con_reg = usb3_ep->num ? USB3_PN_CON : USB3_P0_CON;
1018         u32 val = usb3_read(usb3, con_reg);
1019
1020         val |= PX_CON_SEND | PX_CON_BYTE_EN_BYTES(bytes);
1021         val |= (usb3_ep->num && last) ? PN_CON_LAST : 0;
1022         usb3_write(usb3, val, con_reg);
1023 }
1024
1025 static int usb3_write_pipe(struct renesas_usb3_ep *usb3_ep,
1026                            struct renesas_usb3_request *usb3_req,
1027                            u32 fifo_reg)
1028 {
1029         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1030         int i;
1031         int len = min_t(unsigned, usb3_req->req.length - usb3_req->req.actual,
1032                         usb3_ep->ep.maxpacket);
1033         u8 *buf = usb3_req->req.buf + usb3_req->req.actual;
1034         u32 tmp = 0;
1035         bool is_last;
1036
1037         if (usb3_wait_pipe_status(usb3_ep, PX_STA_BUFSTS) < 0)
1038                 return -EBUSY;
1039
1040         /* Update gadget driver parameter */
1041         usb3_req->req.actual += len;
1042
1043         /* Write data to the register */
1044         if (len >= 4) {
1045                 iowrite32_rep(usb3->reg + fifo_reg, buf, len / 4);
1046                 buf += (len / 4) * 4;
1047                 len %= 4;       /* update len to use usb3_set_pX_con_send() */
1048         }
1049
1050         if (len) {
1051                 for (i = 0; i < len; i++)
1052                         tmp |= buf[i] << (8 * i);
1053                 usb3_write(usb3, tmp, fifo_reg);
1054         }
1055
1056         is_last = usb3_is_transfer_complete(usb3_ep, usb3_req);
1057         /* Send the data */
1058         usb3_set_px_con_send(usb3_ep, len, is_last);
1059
1060         return is_last ? 0 : -EAGAIN;
1061 }
1062
1063 static u32 usb3_get_received_length(struct renesas_usb3_ep *usb3_ep)
1064 {
1065         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1066         u32 lng_reg = usb3_ep->num ? USB3_PN_LNG : USB3_P0_LNG;
1067
1068         return usb3_read(usb3, lng_reg);
1069 }
1070
1071 static int usb3_read_pipe(struct renesas_usb3_ep *usb3_ep,
1072                           struct renesas_usb3_request *usb3_req, u32 fifo_reg)
1073 {
1074         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1075         int i;
1076         int len = min_t(unsigned, usb3_req->req.length - usb3_req->req.actual,
1077                         usb3_get_received_length(usb3_ep));
1078         u8 *buf = usb3_req->req.buf + usb3_req->req.actual;
1079         u32 tmp = 0;
1080
1081         if (!len)
1082                 return 0;
1083
1084         /* Update gadget driver parameter */
1085         usb3_req->req.actual += len;
1086
1087         /* Read data from the register */
1088         if (len >= 4) {
1089                 ioread32_rep(usb3->reg + fifo_reg, buf, len / 4);
1090                 buf += (len / 4) * 4;
1091                 len %= 4;
1092         }
1093
1094         if (len) {
1095                 tmp = usb3_read(usb3, fifo_reg);
1096                 for (i = 0; i < len; i++)
1097                         buf[i] = (tmp >> (8 * i)) & 0xff;
1098         }
1099
1100         return usb3_is_transfer_complete(usb3_ep, usb3_req) ? 0 : -EAGAIN;
1101 }
1102
1103 static void usb3_set_status_stage(struct renesas_usb3_ep *usb3_ep,
1104                                   struct renesas_usb3_request *usb3_req)
1105 {
1106         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1107
1108         if (usb3_ep->dir_in) {
1109                 usb3_set_p0_con_for_ctrl_read_status(usb3);
1110         } else {
1111                 if (!usb3_req->req.length)
1112                         usb3_set_p0_con_for_no_data(usb3);
1113                 else
1114                         usb3_set_p0_con_for_ctrl_write_status(usb3);
1115         }
1116 }
1117
1118 static void usb3_p0_xfer(struct renesas_usb3_ep *usb3_ep,
1119                          struct renesas_usb3_request *usb3_req)
1120 {
1121         int ret = -EAGAIN;
1122
1123         if (usb3_ep->dir_in)
1124                 ret = usb3_write_pipe(usb3_ep, usb3_req, USB3_P0_WRITE);
1125         else
1126                 ret = usb3_read_pipe(usb3_ep, usb3_req, USB3_P0_READ);
1127
1128         if (!ret)
1129                 usb3_set_status_stage(usb3_ep, usb3_req);
1130 }
1131
1132 static void usb3_start_pipe0(struct renesas_usb3_ep *usb3_ep,
1133                              struct renesas_usb3_request *usb3_req)
1134 {
1135         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1136
1137         if (usb3_ep->started)
1138                 return;
1139
1140         usb3_ep->started = true;
1141
1142         if (usb3_ep->dir_in) {
1143                 usb3_set_bit(usb3, P0_MOD_DIR, USB3_P0_MOD);
1144                 usb3_set_p0_con_for_ctrl_read_data(usb3);
1145         } else {
1146                 usb3_clear_bit(usb3, P0_MOD_DIR, USB3_P0_MOD);
1147                 usb3_set_p0_con_for_ctrl_write_data(usb3);
1148         }
1149
1150         usb3_p0_xfer(usb3_ep, usb3_req);
1151 }
1152
1153 static void usb3_enable_dma_pipen(struct renesas_usb3 *usb3)
1154 {
1155         usb3_set_bit(usb3, PN_CON_DATAIF_EN, USB3_PN_CON);
1156 }
1157
1158 static void usb3_disable_dma_pipen(struct renesas_usb3 *usb3)
1159 {
1160         usb3_clear_bit(usb3, PN_CON_DATAIF_EN, USB3_PN_CON);
1161 }
1162
1163 static void usb3_enable_dma_irq(struct renesas_usb3 *usb3, int num)
1164 {
1165         usb3_set_bit(usb3, DMA_INT(num), USB3_DMA_INT_ENA);
1166 }
1167
1168 static void usb3_disable_dma_irq(struct renesas_usb3 *usb3, int num)
1169 {
1170         usb3_clear_bit(usb3, DMA_INT(num), USB3_DMA_INT_ENA);
1171 }
1172
1173 static u32 usb3_dma_mps_to_prd_word1(struct renesas_usb3_ep *usb3_ep)
1174 {
1175         switch (usb3_ep->ep.maxpacket) {
1176         case 8:
1177                 return USB3_PRD1_MPS_8;
1178         case 16:
1179                 return USB3_PRD1_MPS_16;
1180         case 32:
1181                 return USB3_PRD1_MPS_32;
1182         case 64:
1183                 return USB3_PRD1_MPS_64;
1184         case 512:
1185                 return USB3_PRD1_MPS_512;
1186         case 1024:
1187                 return USB3_PRD1_MPS_1024;
1188         default:
1189                 return USB3_PRD1_MPS_RESERVED;
1190         }
1191 }
1192
1193 static bool usb3_dma_get_setting_area(struct renesas_usb3_ep *usb3_ep,
1194                                       struct renesas_usb3_request *usb3_req)
1195 {
1196         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1197         struct renesas_usb3_dma *dma;
1198         int i;
1199         bool ret = false;
1200
1201         if (usb3_req->req.length > USB3_DMA_MAX_XFER_SIZE_ALL_PRDS) {
1202                 dev_dbg(usb3_to_dev(usb3), "%s: the length is too big (%d)\n",
1203                         __func__, usb3_req->req.length);
1204                 return false;
1205         }
1206
1207         /* The driver doesn't handle zero-length packet via dmac */
1208         if (!usb3_req->req.length)
1209                 return false;
1210
1211         if (usb3_dma_mps_to_prd_word1(usb3_ep) == USB3_PRD1_MPS_RESERVED)
1212                 return false;
1213
1214         usb3_for_each_dma(usb3, dma, i) {
1215                 if (dma->used)
1216                         continue;
1217
1218                 if (usb_gadget_map_request(&usb3->gadget, &usb3_req->req,
1219                                            usb3_ep->dir_in) < 0)
1220                         break;
1221
1222                 dma->used = true;
1223                 usb3_ep->dma = dma;
1224                 ret = true;
1225                 break;
1226         }
1227
1228         return ret;
1229 }
1230
1231 static void usb3_dma_put_setting_area(struct renesas_usb3_ep *usb3_ep,
1232                                       struct renesas_usb3_request *usb3_req)
1233 {
1234         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1235         int i;
1236         struct renesas_usb3_dma *dma;
1237
1238         usb3_for_each_dma(usb3, dma, i) {
1239                 if (usb3_ep->dma == dma) {
1240                         usb_gadget_unmap_request(&usb3->gadget, &usb3_req->req,
1241                                                  usb3_ep->dir_in);
1242                         dma->used = false;
1243                         usb3_ep->dma = NULL;
1244                         break;
1245                 }
1246         }
1247 }
1248
1249 static void usb3_dma_fill_prd(struct renesas_usb3_ep *usb3_ep,
1250                               struct renesas_usb3_request *usb3_req)
1251 {
1252         struct renesas_usb3_prd *cur_prd = usb3_ep->dma->prd;
1253         u32 remain = usb3_req->req.length;
1254         u32 dma = usb3_req->req.dma;
1255         u32 len;
1256         int i = 0;
1257
1258         do {
1259                 len = min_t(u32, remain, USB3_DMA_MAX_XFER_SIZE) &
1260                             USB3_PRD1_SIZE_MASK;
1261                 cur_prd->word1 = usb3_dma_mps_to_prd_word1(usb3_ep) |
1262                                  USB3_PRD1_B_INC | len;
1263                 cur_prd->bap = dma;
1264                 remain -= len;
1265                 dma += len;
1266                 if (!remain || (i + 1) < USB3_DMA_NUM_PRD_ENTRIES)
1267                         break;
1268
1269                 cur_prd++;
1270                 i++;
1271         } while (1);
1272
1273         cur_prd->word1 |= USB3_PRD1_E | USB3_PRD1_INT;
1274         if (usb3_ep->dir_in)
1275                 cur_prd->word1 |= USB3_PRD1_LST;
1276 }
1277
1278 static void usb3_dma_kick_prd(struct renesas_usb3_ep *usb3_ep)
1279 {
1280         struct renesas_usb3_dma *dma = usb3_ep->dma;
1281         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1282         u32 dma_con = DMA_COM_PIPE_NO(usb3_ep->num) | DMA_CON_PRD_EN;
1283
1284         if (usb3_ep->dir_in)
1285                 dma_con |= DMA_CON_PIPE_DIR;
1286
1287         wmb();  /* prd entries should be in system memory here */
1288
1289         usb3_write(usb3, 1 << usb3_ep->num, USB3_DMA_INT_STA);
1290         usb3_write(usb3, AXI_INT_PRDEN_CLR_STA(dma->num) |
1291                    AXI_INT_PRDERR_STA(dma->num), USB3_AXI_INT_STA);
1292
1293         usb3_write(usb3, dma->prd_dma, USB3_DMA_CH0_PRD_ADR(dma->num));
1294         usb3_write(usb3, dma_con, USB3_DMA_CH0_CON(dma->num));
1295         usb3_enable_dma_irq(usb3, usb3_ep->num);
1296 }
1297
1298 static void usb3_dma_stop_prd(struct renesas_usb3_ep *usb3_ep)
1299 {
1300         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1301         struct renesas_usb3_dma *dma = usb3_ep->dma;
1302
1303         usb3_disable_dma_irq(usb3, usb3_ep->num);
1304         usb3_write(usb3, 0, USB3_DMA_CH0_CON(dma->num));
1305 }
1306
1307 static int usb3_dma_update_status(struct renesas_usb3_ep *usb3_ep,
1308                                   struct renesas_usb3_request *usb3_req)
1309 {
1310         struct renesas_usb3_prd *cur_prd = usb3_ep->dma->prd;
1311         struct usb_request *req = &usb3_req->req;
1312         u32 remain, len;
1313         int i = 0;
1314         int status = 0;
1315
1316         rmb();  /* The controller updated prd entries */
1317
1318         do {
1319                 if (cur_prd->word1 & USB3_PRD1_D)
1320                         status = -EIO;
1321                 if (cur_prd->word1 & USB3_PRD1_E)
1322                         len = req->length % USB3_DMA_MAX_XFER_SIZE;
1323                 else
1324                         len = USB3_DMA_MAX_XFER_SIZE;
1325                 remain = cur_prd->word1 & USB3_PRD1_SIZE_MASK;
1326                 req->actual += len - remain;
1327
1328                 if (cur_prd->word1 & USB3_PRD1_E ||
1329                     (i + 1) < USB3_DMA_NUM_PRD_ENTRIES)
1330                         break;
1331
1332                 cur_prd++;
1333                 i++;
1334         } while (1);
1335
1336         return status;
1337 }
1338
1339 static bool usb3_dma_try_start(struct renesas_usb3_ep *usb3_ep,
1340                                struct renesas_usb3_request *usb3_req)
1341 {
1342         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1343
1344         if (!use_dma)
1345                 return false;
1346
1347         if (usb3_dma_get_setting_area(usb3_ep, usb3_req)) {
1348                 usb3_pn_stop(usb3);
1349                 usb3_enable_dma_pipen(usb3);
1350                 usb3_dma_fill_prd(usb3_ep, usb3_req);
1351                 usb3_dma_kick_prd(usb3_ep);
1352                 usb3_pn_start(usb3);
1353                 return true;
1354         }
1355
1356         return false;
1357 }
1358
1359 static int usb3_dma_try_stop(struct renesas_usb3_ep *usb3_ep,
1360                              struct renesas_usb3_request *usb3_req)
1361 {
1362         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1363         unsigned long flags;
1364         int status = 0;
1365
1366         spin_lock_irqsave(&usb3->lock, flags);
1367         if (!usb3_ep->dma)
1368                 goto out;
1369
1370         if (!usb3_pn_change(usb3, usb3_ep->num))
1371                 usb3_disable_dma_pipen(usb3);
1372         usb3_dma_stop_prd(usb3_ep);
1373         status = usb3_dma_update_status(usb3_ep, usb3_req);
1374         usb3_dma_put_setting_area(usb3_ep, usb3_req);
1375
1376 out:
1377         spin_unlock_irqrestore(&usb3->lock, flags);
1378         return status;
1379 }
1380
1381 static int renesas_usb3_dma_free_prd(struct renesas_usb3 *usb3,
1382                                      struct device *dev)
1383 {
1384         int i;
1385         struct renesas_usb3_dma *dma;
1386
1387         usb3_for_each_dma(usb3, dma, i) {
1388                 if (dma->prd) {
1389                         dma_free_coherent(dev, USB3_DMA_PRD_SIZE,
1390                                           dma->prd, dma->prd_dma);
1391                         dma->prd = NULL;
1392                 }
1393         }
1394
1395         return 0;
1396 }
1397
1398 static int renesas_usb3_dma_alloc_prd(struct renesas_usb3 *usb3,
1399                                       struct device *dev)
1400 {
1401         int i;
1402         struct renesas_usb3_dma *dma;
1403
1404         if (!use_dma)
1405                 return 0;
1406
1407         usb3_for_each_dma(usb3, dma, i) {
1408                 dma->prd = dma_alloc_coherent(dev, USB3_DMA_PRD_SIZE,
1409                                               &dma->prd_dma, GFP_KERNEL);
1410                 if (!dma->prd) {
1411                         renesas_usb3_dma_free_prd(usb3, dev);
1412                         return -ENOMEM;
1413                 }
1414                 dma->num = i + 1;
1415         }
1416
1417         return 0;
1418 }
1419
1420 static void usb3_start_pipen(struct renesas_usb3_ep *usb3_ep,
1421                              struct renesas_usb3_request *usb3_req)
1422 {
1423         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1424         struct renesas_usb3_request *usb3_req_first = usb3_get_request(usb3_ep);
1425         unsigned long flags;
1426         int ret = -EAGAIN;
1427         u32 enable_bits = 0;
1428
1429         spin_lock_irqsave(&usb3->lock, flags);
1430         if (usb3_ep->halt || usb3_ep->started)
1431                 goto out;
1432         if (usb3_req != usb3_req_first)
1433                 goto out;
1434
1435         if (usb3_pn_change(usb3, usb3_ep->num) < 0)
1436                 goto out;
1437
1438         usb3_ep->started = true;
1439
1440         if (usb3_dma_try_start(usb3_ep, usb3_req))
1441                 goto out;
1442
1443         usb3_pn_start(usb3);
1444
1445         if (usb3_ep->dir_in) {
1446                 ret = usb3_write_pipe(usb3_ep, usb3_req, USB3_PN_WRITE);
1447                 enable_bits |= PN_INT_LSTTR;
1448         }
1449
1450         if (ret < 0)
1451                 enable_bits |= PN_INT_BFRDY;
1452
1453         if (enable_bits) {
1454                 usb3_set_bit(usb3, enable_bits, USB3_PN_INT_ENA);
1455                 usb3_enable_pipe_irq(usb3, usb3_ep->num);
1456         }
1457 out:
1458         spin_unlock_irqrestore(&usb3->lock, flags);
1459 }
1460
1461 static int renesas_usb3_ep_queue(struct usb_ep *_ep, struct usb_request *_req,
1462                                  gfp_t gfp_flags)
1463 {
1464         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
1465         struct renesas_usb3_request *usb3_req = usb_req_to_usb3_req(_req);
1466         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1467         unsigned long flags;
1468
1469         dev_dbg(usb3_to_dev(usb3), "ep_queue: ep%2d, %u\n", usb3_ep->num,
1470                 _req->length);
1471
1472         _req->status = -EINPROGRESS;
1473         _req->actual = 0;
1474         spin_lock_irqsave(&usb3->lock, flags);
1475         list_add_tail(&usb3_req->queue, &usb3_ep->queue);
1476         spin_unlock_irqrestore(&usb3->lock, flags);
1477
1478         if (!usb3_ep->num)
1479                 usb3_start_pipe0(usb3_ep, usb3_req);
1480         else
1481                 usb3_start_pipen(usb3_ep, usb3_req);
1482
1483         return 0;
1484 }
1485
1486 static void usb3_set_device_address(struct renesas_usb3 *usb3, u16 addr)
1487 {
1488         /* DEV_ADDR bit field is cleared by WarmReset, HotReset and BusReset */
1489         usb3_set_bit(usb3, USB_COM_CON_DEV_ADDR(addr), USB3_USB_COM_CON);
1490 }
1491
1492 static bool usb3_std_req_set_address(struct renesas_usb3 *usb3,
1493                                      struct usb_ctrlrequest *ctrl)
1494 {
1495         if (ctrl->wValue >= 128)
1496                 return true;    /* stall */
1497
1498         usb3_set_device_address(usb3, ctrl->wValue);
1499         usb3_set_p0_con_for_no_data(usb3);
1500
1501         return false;
1502 }
1503
1504 static void usb3_pipe0_internal_xfer(struct renesas_usb3 *usb3,
1505                                      void *tx_data, size_t len,
1506                                      void (*complete)(struct usb_ep *ep,
1507                                                       struct usb_request *req))
1508 {
1509         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
1510
1511         if (tx_data)
1512                 memcpy(usb3->ep0_buf, tx_data,
1513                        min_t(size_t, len, USB3_EP0_BUF_SIZE));
1514
1515         usb3->ep0_req->buf = &usb3->ep0_buf;
1516         usb3->ep0_req->length = len;
1517         usb3->ep0_req->complete = complete;
1518         renesas_usb3_ep_queue(&usb3_ep->ep, usb3->ep0_req, GFP_ATOMIC);
1519 }
1520
1521 static void usb3_pipe0_get_status_completion(struct usb_ep *ep,
1522                                              struct usb_request *req)
1523 {
1524 }
1525
1526 static bool usb3_std_req_get_status(struct renesas_usb3 *usb3,
1527                                     struct usb_ctrlrequest *ctrl)
1528 {
1529         bool stall = false;
1530         struct renesas_usb3_ep *usb3_ep;
1531         int num;
1532         u16 status = 0;
1533
1534         switch (ctrl->bRequestType & USB_RECIP_MASK) {
1535         case USB_RECIP_DEVICE:
1536                 if (usb3->gadget.is_selfpowered)
1537                         status |= 1 << USB_DEVICE_SELF_POWERED;
1538                 if (usb3->gadget.speed == USB_SPEED_SUPER)
1539                         status |= usb3_feature_get_un_enabled(usb3);
1540                 break;
1541         case USB_RECIP_INTERFACE:
1542                 break;
1543         case USB_RECIP_ENDPOINT:
1544                 num = le16_to_cpu(ctrl->wIndex) & USB_ENDPOINT_NUMBER_MASK;
1545                 usb3_ep = usb3_get_ep(usb3, num);
1546                 if (usb3_ep->halt)
1547                         status |= 1 << USB_ENDPOINT_HALT;
1548                 break;
1549         default:
1550                 stall = true;
1551                 break;
1552         }
1553
1554         if (!stall) {
1555                 status = cpu_to_le16(status);
1556                 dev_dbg(usb3_to_dev(usb3), "get_status: req = %p\n",
1557                         usb_req_to_usb3_req(usb3->ep0_req));
1558                 usb3_pipe0_internal_xfer(usb3, &status, sizeof(status),
1559                                          usb3_pipe0_get_status_completion);
1560         }
1561
1562         return stall;
1563 }
1564
1565 static bool usb3_std_req_feature_device(struct renesas_usb3 *usb3,
1566                                         struct usb_ctrlrequest *ctrl, bool set)
1567 {
1568         bool stall = true;
1569         u16 w_value = le16_to_cpu(ctrl->wValue);
1570
1571         switch (w_value) {
1572         case USB_DEVICE_TEST_MODE:
1573                 if (!set)
1574                         break;
1575                 usb3->test_mode = le16_to_cpu(ctrl->wIndex) >> 8;
1576                 stall = false;
1577                 break;
1578         case USB_DEVICE_U1_ENABLE:
1579         case USB_DEVICE_U2_ENABLE:
1580                 if (usb3->gadget.speed != USB_SPEED_SUPER)
1581                         break;
1582                 if (w_value == USB_DEVICE_U1_ENABLE)
1583                         usb3_feature_u1_enable(usb3, set);
1584                 if (w_value == USB_DEVICE_U2_ENABLE)
1585                         usb3_feature_u2_enable(usb3, set);
1586                 stall = false;
1587                 break;
1588         default:
1589                 break;
1590         }
1591
1592         return stall;
1593 }
1594
1595 static int usb3_set_halt_p0(struct renesas_usb3_ep *usb3_ep, bool halt)
1596 {
1597         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1598
1599         if (unlikely(usb3_ep->num))
1600                 return -EINVAL;
1601
1602         usb3_ep->halt = halt;
1603         if (halt)
1604                 usb3_set_p0_con_stall(usb3);
1605         else
1606                 usb3_set_p0_con_stop(usb3);
1607
1608         return 0;
1609 }
1610
1611 static int usb3_set_halt_pn(struct renesas_usb3_ep *usb3_ep, bool halt,
1612                             bool is_clear_feature)
1613 {
1614         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
1615         unsigned long flags;
1616
1617         spin_lock_irqsave(&usb3->lock, flags);
1618         if (!usb3_pn_change(usb3, usb3_ep->num)) {
1619                 usb3_ep->halt = halt;
1620                 if (halt) {
1621                         usb3_pn_stall(usb3);
1622                 } else if (!is_clear_feature || !usb3_ep->wedge) {
1623                         usb3_pn_con_clear(usb3);
1624                         usb3_set_bit(usb3, PN_CON_EN, USB3_PN_CON);
1625                         usb3_pn_stop(usb3);
1626                 }
1627         }
1628         spin_unlock_irqrestore(&usb3->lock, flags);
1629
1630         return 0;
1631 }
1632
1633 static int usb3_set_halt(struct renesas_usb3_ep *usb3_ep, bool halt,
1634                          bool is_clear_feature)
1635 {
1636         int ret = 0;
1637
1638         if (halt && usb3_ep->started)
1639                 return -EAGAIN;
1640
1641         if (usb3_ep->num)
1642                 ret = usb3_set_halt_pn(usb3_ep, halt, is_clear_feature);
1643         else
1644                 ret = usb3_set_halt_p0(usb3_ep, halt);
1645
1646         return ret;
1647 }
1648
1649 static bool usb3_std_req_feature_endpoint(struct renesas_usb3 *usb3,
1650                                           struct usb_ctrlrequest *ctrl,
1651                                           bool set)
1652 {
1653         int num = le16_to_cpu(ctrl->wIndex) & USB_ENDPOINT_NUMBER_MASK;
1654         struct renesas_usb3_ep *usb3_ep;
1655         struct renesas_usb3_request *usb3_req;
1656
1657         if (le16_to_cpu(ctrl->wValue) != USB_ENDPOINT_HALT)
1658                 return true;    /* stall */
1659
1660         usb3_ep = usb3_get_ep(usb3, num);
1661         usb3_set_halt(usb3_ep, set, true);
1662
1663         /* Restarts a queue if clear feature */
1664         if (!set) {
1665                 usb3_ep->started = false;
1666                 usb3_req = usb3_get_request(usb3_ep);
1667                 if (usb3_req)
1668                         usb3_start_pipen(usb3_ep, usb3_req);
1669         }
1670
1671         return false;
1672 }
1673
1674 static bool usb3_std_req_feature(struct renesas_usb3 *usb3,
1675                                  struct usb_ctrlrequest *ctrl, bool set)
1676 {
1677         bool stall = false;
1678
1679         switch (ctrl->bRequestType & USB_RECIP_MASK) {
1680         case USB_RECIP_DEVICE:
1681                 stall = usb3_std_req_feature_device(usb3, ctrl, set);
1682                 break;
1683         case USB_RECIP_INTERFACE:
1684                 break;
1685         case USB_RECIP_ENDPOINT:
1686                 stall = usb3_std_req_feature_endpoint(usb3, ctrl, set);
1687                 break;
1688         default:
1689                 stall = true;
1690                 break;
1691         }
1692
1693         if (!stall)
1694                 usb3_set_p0_con_for_no_data(usb3);
1695
1696         return stall;
1697 }
1698
1699 static void usb3_pipe0_set_sel_completion(struct usb_ep *ep,
1700                                           struct usb_request *req)
1701 {
1702         /* TODO */
1703 }
1704
1705 static bool usb3_std_req_set_sel(struct renesas_usb3 *usb3,
1706                                  struct usb_ctrlrequest *ctrl)
1707 {
1708         u16 w_length = le16_to_cpu(ctrl->wLength);
1709
1710         if (w_length != 6)
1711                 return true;    /* stall */
1712
1713         dev_dbg(usb3_to_dev(usb3), "set_sel: req = %p\n",
1714                 usb_req_to_usb3_req(usb3->ep0_req));
1715         usb3_pipe0_internal_xfer(usb3, NULL, 6, usb3_pipe0_set_sel_completion);
1716
1717         return false;
1718 }
1719
1720 static bool usb3_std_req_set_configuration(struct renesas_usb3 *usb3,
1721                                            struct usb_ctrlrequest *ctrl)
1722 {
1723         if (ctrl->wValue > 0)
1724                 usb3_set_bit(usb3, USB_COM_CON_CONF, USB3_USB_COM_CON);
1725         else
1726                 usb3_clear_bit(usb3, USB_COM_CON_CONF, USB3_USB_COM_CON);
1727
1728         return false;
1729 }
1730
1731 /**
1732  * usb3_handle_standard_request - handle some standard requests
1733  * @usb3: the renesas_usb3 pointer
1734  * @ctrl: a pointer of setup data
1735  *
1736  * Returns true if this function handled a standard request
1737  */
1738 static bool usb3_handle_standard_request(struct renesas_usb3 *usb3,
1739                                          struct usb_ctrlrequest *ctrl)
1740 {
1741         bool ret = false;
1742         bool stall = false;
1743
1744         if ((ctrl->bRequestType & USB_TYPE_MASK) == USB_TYPE_STANDARD) {
1745                 switch (ctrl->bRequest) {
1746                 case USB_REQ_SET_ADDRESS:
1747                         stall = usb3_std_req_set_address(usb3, ctrl);
1748                         ret = true;
1749                         break;
1750                 case USB_REQ_GET_STATUS:
1751                         stall = usb3_std_req_get_status(usb3, ctrl);
1752                         ret = true;
1753                         break;
1754                 case USB_REQ_CLEAR_FEATURE:
1755                         stall = usb3_std_req_feature(usb3, ctrl, false);
1756                         ret = true;
1757                         break;
1758                 case USB_REQ_SET_FEATURE:
1759                         stall = usb3_std_req_feature(usb3, ctrl, true);
1760                         ret = true;
1761                         break;
1762                 case USB_REQ_SET_SEL:
1763                         stall = usb3_std_req_set_sel(usb3, ctrl);
1764                         ret = true;
1765                         break;
1766                 case USB_REQ_SET_ISOCH_DELAY:
1767                         /* This hardware doesn't support Isochronous xfer */
1768                         stall = true;
1769                         ret = true;
1770                         break;
1771                 case USB_REQ_SET_CONFIGURATION:
1772                         usb3_std_req_set_configuration(usb3, ctrl);
1773                         break;
1774                 default:
1775                         break;
1776                 }
1777         }
1778
1779         if (stall)
1780                 usb3_set_p0_con_stall(usb3);
1781
1782         return ret;
1783 }
1784
1785 static int usb3_p0_con_clear_buffer(struct renesas_usb3 *usb3)
1786 {
1787         usb3_set_bit(usb3, P0_CON_BCLR, USB3_P0_CON);
1788
1789         return usb3_wait(usb3, USB3_P0_CON, P0_CON_BCLR, 0);
1790 }
1791
1792 static void usb3_irq_epc_pipe0_setup(struct renesas_usb3 *usb3)
1793 {
1794         struct usb_ctrlrequest ctrl;
1795         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
1796
1797         /* Call giveback function if previous transfer is not completed */
1798         if (usb3_ep->started)
1799                 usb3_request_done(usb3_ep, usb3_get_request(usb3_ep),
1800                                   -ECONNRESET);
1801
1802         usb3_p0_con_clear_buffer(usb3);
1803         usb3_get_setup_data(usb3, &ctrl);
1804         if (!usb3_handle_standard_request(usb3, &ctrl))
1805                 if (usb3->driver->setup(&usb3->gadget, &ctrl) < 0)
1806                         usb3_set_p0_con_stall(usb3);
1807 }
1808
1809 static void usb3_irq_epc_pipe0_bfrdy(struct renesas_usb3 *usb3)
1810 {
1811         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, 0);
1812         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
1813
1814         if (!usb3_req)
1815                 return;
1816
1817         usb3_p0_xfer(usb3_ep, usb3_req);
1818 }
1819
1820 static void usb3_irq_epc_pipe0(struct renesas_usb3 *usb3)
1821 {
1822         u32 p0_int_sta = usb3_read(usb3, USB3_P0_INT_STA);
1823
1824         p0_int_sta &= usb3_read(usb3, USB3_P0_INT_ENA);
1825         usb3_write(usb3, p0_int_sta, USB3_P0_INT_STA);
1826         if (p0_int_sta & P0_INT_STSED)
1827                 usb3_irq_epc_pipe0_status_end(usb3);
1828         if (p0_int_sta & P0_INT_SETUP)
1829                 usb3_irq_epc_pipe0_setup(usb3);
1830         if (p0_int_sta & P0_INT_BFRDY)
1831                 usb3_irq_epc_pipe0_bfrdy(usb3);
1832 }
1833
1834 static void usb3_request_done_pipen(struct renesas_usb3 *usb3,
1835                                     struct renesas_usb3_ep *usb3_ep,
1836                                     struct renesas_usb3_request *usb3_req,
1837                                     int status)
1838 {
1839         unsigned long flags;
1840
1841         spin_lock_irqsave(&usb3->lock, flags);
1842         if (usb3_pn_change(usb3, usb3_ep->num))
1843                 usb3_pn_stop(usb3);
1844         spin_unlock_irqrestore(&usb3->lock, flags);
1845
1846         usb3_disable_pipe_irq(usb3, usb3_ep->num);
1847         usb3_request_done(usb3_ep, usb3_req, status);
1848
1849         /* get next usb3_req */
1850         usb3_req = usb3_get_request(usb3_ep);
1851         if (usb3_req)
1852                 usb3_start_pipen(usb3_ep, usb3_req);
1853 }
1854
1855 static void usb3_irq_epc_pipen_lsttr(struct renesas_usb3 *usb3, int num)
1856 {
1857         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, num);
1858         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
1859
1860         if (!usb3_req)
1861                 return;
1862
1863         if (usb3_ep->dir_in) {
1864                 dev_dbg(usb3_to_dev(usb3), "%s: len = %u, actual = %u\n",
1865                         __func__, usb3_req->req.length, usb3_req->req.actual);
1866                 usb3_request_done_pipen(usb3, usb3_ep, usb3_req, 0);
1867         }
1868 }
1869
1870 static void usb3_irq_epc_pipen_bfrdy(struct renesas_usb3 *usb3, int num)
1871 {
1872         struct renesas_usb3_ep *usb3_ep = usb3_get_ep(usb3, num);
1873         struct renesas_usb3_request *usb3_req = usb3_get_request(usb3_ep);
1874         bool done = false;
1875
1876         if (!usb3_req)
1877                 return;
1878
1879         spin_lock(&usb3->lock);
1880         if (usb3_pn_change(usb3, num))
1881                 goto out;
1882
1883         if (usb3_ep->dir_in) {
1884                 /* Do not stop the IN pipe here to detect LSTTR interrupt */
1885                 if (!usb3_write_pipe(usb3_ep, usb3_req, USB3_PN_WRITE))
1886                         usb3_clear_bit(usb3, PN_INT_BFRDY, USB3_PN_INT_ENA);
1887         } else {
1888                 if (!usb3_read_pipe(usb3_ep, usb3_req, USB3_PN_READ))
1889                         done = true;
1890         }
1891
1892 out:
1893         /* need to unlock because usb3_request_done_pipen() locks it */
1894         spin_unlock(&usb3->lock);
1895
1896         if (done)
1897                 usb3_request_done_pipen(usb3, usb3_ep, usb3_req, 0);
1898 }
1899
1900 static void usb3_irq_epc_pipen(struct renesas_usb3 *usb3, int num)
1901 {
1902         u32 pn_int_sta;
1903
1904         spin_lock(&usb3->lock);
1905         if (usb3_pn_change(usb3, num) < 0) {
1906                 spin_unlock(&usb3->lock);
1907                 return;
1908         }
1909
1910         pn_int_sta = usb3_read(usb3, USB3_PN_INT_STA);
1911         pn_int_sta &= usb3_read(usb3, USB3_PN_INT_ENA);
1912         usb3_write(usb3, pn_int_sta, USB3_PN_INT_STA);
1913         spin_unlock(&usb3->lock);
1914         if (pn_int_sta & PN_INT_LSTTR)
1915                 usb3_irq_epc_pipen_lsttr(usb3, num);
1916         if (pn_int_sta & PN_INT_BFRDY)
1917                 usb3_irq_epc_pipen_bfrdy(usb3, num);
1918 }
1919
1920 static void usb3_irq_epc_int_2(struct renesas_usb3 *usb3, u32 int_sta_2)
1921 {
1922         int i;
1923
1924         for (i = 0; i < usb3->num_usb3_eps; i++) {
1925                 if (int_sta_2 & USB_INT_2_PIPE(i)) {
1926                         if (!i)
1927                                 usb3_irq_epc_pipe0(usb3);
1928                         else
1929                                 usb3_irq_epc_pipen(usb3, i);
1930                 }
1931         }
1932 }
1933
1934 static void usb3_irq_idmon_change(struct renesas_usb3 *usb3)
1935 {
1936         usb3_check_id(usb3);
1937 }
1938
1939 static void usb3_irq_otg_int(struct renesas_usb3 *usb3, u32 otg_int_sta)
1940 {
1941         if (otg_int_sta & USB_OTG_IDMON)
1942                 usb3_irq_idmon_change(usb3);
1943 }
1944
1945 static void usb3_irq_epc(struct renesas_usb3 *usb3)
1946 {
1947         u32 int_sta_1 = usb3_read(usb3, USB3_USB_INT_STA_1);
1948         u32 int_sta_2 = usb3_read(usb3, USB3_USB_INT_STA_2);
1949         u32 otg_int_sta = usb3_read(usb3, USB3_USB_OTG_INT_STA);
1950
1951         int_sta_1 &= usb3_read(usb3, USB3_USB_INT_ENA_1);
1952         if (int_sta_1) {
1953                 usb3_write(usb3, int_sta_1, USB3_USB_INT_STA_1);
1954                 usb3_irq_epc_int_1(usb3, int_sta_1);
1955         }
1956
1957         int_sta_2 &= usb3_read(usb3, USB3_USB_INT_ENA_2);
1958         if (int_sta_2)
1959                 usb3_irq_epc_int_2(usb3, int_sta_2);
1960
1961         otg_int_sta &= usb3_read(usb3, USB3_USB_OTG_INT_ENA);
1962         if (otg_int_sta) {
1963                 usb3_write(usb3, otg_int_sta, USB3_USB_OTG_INT_STA);
1964                 usb3_irq_otg_int(usb3, otg_int_sta);
1965         }
1966 }
1967
1968 static void usb3_irq_dma_int(struct renesas_usb3 *usb3, u32 dma_sta)
1969 {
1970         struct renesas_usb3_ep *usb3_ep;
1971         struct renesas_usb3_request *usb3_req;
1972         int i, status;
1973
1974         for (i = 0; i < usb3->num_usb3_eps; i++) {
1975                 if (!(dma_sta & DMA_INT(i)))
1976                         continue;
1977
1978                 usb3_ep = usb3_get_ep(usb3, i);
1979                 if (!(usb3_read(usb3, USB3_AXI_INT_STA) &
1980                     AXI_INT_PRDEN_CLR_STA(usb3_ep->dma->num)))
1981                         continue;
1982
1983                 usb3_req = usb3_get_request(usb3_ep);
1984                 status = usb3_dma_try_stop(usb3_ep, usb3_req);
1985                 usb3_request_done_pipen(usb3, usb3_ep, usb3_req, status);
1986         }
1987 }
1988
1989 static void usb3_irq_dma(struct renesas_usb3 *usb3)
1990 {
1991         u32 dma_sta = usb3_read(usb3, USB3_DMA_INT_STA);
1992
1993         dma_sta &= usb3_read(usb3, USB3_DMA_INT_ENA);
1994         if (dma_sta) {
1995                 usb3_write(usb3, dma_sta, USB3_DMA_INT_STA);
1996                 usb3_irq_dma_int(usb3, dma_sta);
1997         }
1998 }
1999
2000 static irqreturn_t renesas_usb3_irq(int irq, void *_usb3)
2001 {
2002         struct renesas_usb3 *usb3 = _usb3;
2003         irqreturn_t ret = IRQ_NONE;
2004         u32 axi_int_sta = usb3_read(usb3, USB3_AXI_INT_STA);
2005
2006         if (axi_int_sta & AXI_INT_DMAINT) {
2007                 usb3_irq_dma(usb3);
2008                 ret = IRQ_HANDLED;
2009         }
2010
2011         if (axi_int_sta & AXI_INT_EPCINT) {
2012                 usb3_irq_epc(usb3);
2013                 ret = IRQ_HANDLED;
2014         }
2015
2016         return ret;
2017 }
2018
2019 static void usb3_write_pn_mod(struct renesas_usb3_ep *usb3_ep,
2020                               const struct usb_endpoint_descriptor *desc)
2021 {
2022         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2023         u32 val = 0;
2024
2025         val |= usb3_ep->dir_in ? PN_MOD_DIR : 0;
2026         val |= PN_MOD_TYPE(usb_endpoint_type(desc));
2027         val |= PN_MOD_EPNUM(usb_endpoint_num(desc));
2028         usb3_write(usb3, val, USB3_PN_MOD);
2029 }
2030
2031 static u32 usb3_calc_ramarea(int ram_size)
2032 {
2033         WARN_ON(ram_size > SZ_16K);
2034
2035         if (ram_size <= SZ_1K)
2036                 return PN_RAMMAP_RAMAREA_1KB;
2037         else if (ram_size <= SZ_2K)
2038                 return PN_RAMMAP_RAMAREA_2KB;
2039         else if (ram_size <= SZ_4K)
2040                 return PN_RAMMAP_RAMAREA_4KB;
2041         else if (ram_size <= SZ_8K)
2042                 return PN_RAMMAP_RAMAREA_8KB;
2043         else
2044                 return PN_RAMMAP_RAMAREA_16KB;
2045 }
2046
2047 static u32 usb3_calc_rammap_val(struct renesas_usb3_ep *usb3_ep,
2048                                 const struct usb_endpoint_descriptor *desc)
2049 {
2050         return usb3_ep->rammap_val | PN_RAMMAP_MPKT(usb_endpoint_maxp(desc));
2051 }
2052
2053 static int usb3_enable_pipe_n(struct renesas_usb3_ep *usb3_ep,
2054                               const struct usb_endpoint_descriptor *desc)
2055 {
2056         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2057         unsigned long flags;
2058
2059         usb3_ep->dir_in = usb_endpoint_dir_in(desc);
2060
2061         spin_lock_irqsave(&usb3->lock, flags);
2062         if (!usb3_pn_change(usb3, usb3_ep->num)) {
2063                 usb3_write_pn_mod(usb3_ep, desc);
2064                 usb3_write(usb3, usb3_calc_rammap_val(usb3_ep, desc),
2065                            USB3_PN_RAMMAP);
2066                 usb3_pn_con_clear(usb3);
2067                 usb3_set_bit(usb3, PN_CON_EN, USB3_PN_CON);
2068         }
2069         spin_unlock_irqrestore(&usb3->lock, flags);
2070
2071         return 0;
2072 }
2073
2074 static int usb3_disable_pipe_n(struct renesas_usb3_ep *usb3_ep)
2075 {
2076         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2077         unsigned long flags;
2078
2079         usb3_ep->halt = false;
2080
2081         spin_lock_irqsave(&usb3->lock, flags);
2082         if (!usb3_pn_change(usb3, usb3_ep->num)) {
2083                 usb3_write(usb3, 0, USB3_PN_INT_ENA);
2084                 usb3_write(usb3, 0, USB3_PN_RAMMAP);
2085                 usb3_clear_bit(usb3, PN_CON_EN, USB3_PN_CON);
2086         }
2087         spin_unlock_irqrestore(&usb3->lock, flags);
2088
2089         return 0;
2090 }
2091
2092 /*------- usb_ep_ops -----------------------------------------------------*/
2093 static int renesas_usb3_ep_enable(struct usb_ep *_ep,
2094                                   const struct usb_endpoint_descriptor *desc)
2095 {
2096         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2097
2098         return usb3_enable_pipe_n(usb3_ep, desc);
2099 }
2100
2101 static int renesas_usb3_ep_disable(struct usb_ep *_ep)
2102 {
2103         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2104         struct renesas_usb3_request *usb3_req;
2105
2106         do {
2107                 usb3_req = usb3_get_request(usb3_ep);
2108                 if (!usb3_req)
2109                         break;
2110                 usb3_dma_try_stop(usb3_ep, usb3_req);
2111                 usb3_request_done(usb3_ep, usb3_req, -ESHUTDOWN);
2112         } while (1);
2113
2114         return usb3_disable_pipe_n(usb3_ep);
2115 }
2116
2117 static struct usb_request *__renesas_usb3_ep_alloc_request(gfp_t gfp_flags)
2118 {
2119         struct renesas_usb3_request *usb3_req;
2120
2121         usb3_req = kzalloc(sizeof(struct renesas_usb3_request), gfp_flags);
2122         if (!usb3_req)
2123                 return NULL;
2124
2125         INIT_LIST_HEAD(&usb3_req->queue);
2126
2127         return &usb3_req->req;
2128 }
2129
2130 static void __renesas_usb3_ep_free_request(struct usb_request *_req)
2131 {
2132         struct renesas_usb3_request *usb3_req = usb_req_to_usb3_req(_req);
2133
2134         kfree(usb3_req);
2135 }
2136
2137 static struct usb_request *renesas_usb3_ep_alloc_request(struct usb_ep *_ep,
2138                                                          gfp_t gfp_flags)
2139 {
2140         return __renesas_usb3_ep_alloc_request(gfp_flags);
2141 }
2142
2143 static void renesas_usb3_ep_free_request(struct usb_ep *_ep,
2144                                          struct usb_request *_req)
2145 {
2146         __renesas_usb3_ep_free_request(_req);
2147 }
2148
2149 static int renesas_usb3_ep_dequeue(struct usb_ep *_ep, struct usb_request *_req)
2150 {
2151         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2152         struct renesas_usb3_request *usb3_req = usb_req_to_usb3_req(_req);
2153         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2154
2155         dev_dbg(usb3_to_dev(usb3), "ep_dequeue: ep%2d, %u\n", usb3_ep->num,
2156                 _req->length);
2157
2158         usb3_dma_try_stop(usb3_ep, usb3_req);
2159         usb3_request_done_pipen(usb3, usb3_ep, usb3_req, -ECONNRESET);
2160
2161         return 0;
2162 }
2163
2164 static int renesas_usb3_ep_set_halt(struct usb_ep *_ep, int value)
2165 {
2166         return usb3_set_halt(usb_ep_to_usb3_ep(_ep), !!value, false);
2167 }
2168
2169 static int renesas_usb3_ep_set_wedge(struct usb_ep *_ep)
2170 {
2171         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2172
2173         usb3_ep->wedge = true;
2174         return usb3_set_halt(usb3_ep, true, false);
2175 }
2176
2177 static void renesas_usb3_ep_fifo_flush(struct usb_ep *_ep)
2178 {
2179         struct renesas_usb3_ep *usb3_ep = usb_ep_to_usb3_ep(_ep);
2180         struct renesas_usb3 *usb3 = usb3_ep_to_usb3(usb3_ep);
2181         unsigned long flags;
2182
2183         if (usb3_ep->num) {
2184                 spin_lock_irqsave(&usb3->lock, flags);
2185                 if (!usb3_pn_change(usb3, usb3_ep->num)) {
2186                         usb3_pn_con_clear(usb3);
2187                         usb3_set_bit(usb3, PN_CON_EN, USB3_PN_CON);
2188                 }
2189                 spin_unlock_irqrestore(&usb3->lock, flags);
2190         } else {
2191                 usb3_p0_con_clear_buffer(usb3);
2192         }
2193 }
2194
2195 static struct usb_ep_ops renesas_usb3_ep_ops = {
2196         .enable         = renesas_usb3_ep_enable,
2197         .disable        = renesas_usb3_ep_disable,
2198
2199         .alloc_request  = renesas_usb3_ep_alloc_request,
2200         .free_request   = renesas_usb3_ep_free_request,
2201
2202         .queue          = renesas_usb3_ep_queue,
2203         .dequeue        = renesas_usb3_ep_dequeue,
2204
2205         .set_halt       = renesas_usb3_ep_set_halt,
2206         .set_wedge      = renesas_usb3_ep_set_wedge,
2207         .fifo_flush     = renesas_usb3_ep_fifo_flush,
2208 };
2209
2210 /*------- usb_gadget_ops -------------------------------------------------*/
2211 static int renesas_usb3_start(struct usb_gadget *gadget,
2212                               struct usb_gadget_driver *driver)
2213 {
2214         struct renesas_usb3 *usb3;
2215
2216         if (!driver || driver->max_speed < USB_SPEED_FULL ||
2217             !driver->setup)
2218                 return -EINVAL;
2219
2220         usb3 = gadget_to_renesas_usb3(gadget);
2221
2222         /* hook up the driver */
2223         usb3->driver = driver;
2224
2225         pm_runtime_enable(usb3_to_dev(usb3));
2226         pm_runtime_get_sync(usb3_to_dev(usb3));
2227
2228         renesas_usb3_init_controller(usb3);
2229
2230         return 0;
2231 }
2232
2233 static int renesas_usb3_stop(struct usb_gadget *gadget)
2234 {
2235         struct renesas_usb3 *usb3 = gadget_to_renesas_usb3(gadget);
2236
2237         usb3->softconnect = false;
2238         usb3->gadget.speed = USB_SPEED_UNKNOWN;
2239         usb3->driver = NULL;
2240         renesas_usb3_stop_controller(usb3);
2241
2242         pm_runtime_put(usb3_to_dev(usb3));
2243         pm_runtime_disable(usb3_to_dev(usb3));
2244
2245         return 0;
2246 }
2247
2248 static int renesas_usb3_get_frame(struct usb_gadget *_gadget)
2249 {
2250         return -EOPNOTSUPP;
2251 }
2252
2253 static int renesas_usb3_pullup(struct usb_gadget *gadget, int is_on)
2254 {
2255         struct renesas_usb3 *usb3 = gadget_to_renesas_usb3(gadget);
2256
2257         usb3->softconnect = !!is_on;
2258
2259         return 0;
2260 }
2261
2262 static int renesas_usb3_set_selfpowered(struct usb_gadget *gadget, int is_self)
2263 {
2264         gadget->is_selfpowered = !!is_self;
2265
2266         return 0;
2267 }
2268
2269 static const struct usb_gadget_ops renesas_usb3_gadget_ops = {
2270         .get_frame              = renesas_usb3_get_frame,
2271         .udc_start              = renesas_usb3_start,
2272         .udc_stop               = renesas_usb3_stop,
2273         .pullup                 = renesas_usb3_pullup,
2274         .set_selfpowered        = renesas_usb3_set_selfpowered,
2275 };
2276
2277 static ssize_t role_store(struct device *dev, struct device_attribute *attr,
2278                           const char *buf, size_t count)
2279 {
2280         struct renesas_usb3 *usb3 = dev_get_drvdata(dev);
2281         bool new_mode_is_host;
2282
2283         if (!usb3->driver)
2284                 return -ENODEV;
2285
2286         if (!strncmp(buf, "host", strlen("host")))
2287                 new_mode_is_host = true;
2288         else if (!strncmp(buf, "peripheral", strlen("peripheral")))
2289                 new_mode_is_host = false;
2290         else
2291                 return -EINVAL;
2292
2293         if (new_mode_is_host == usb3_is_host(usb3))
2294                 return -EINVAL;
2295
2296         usb3_mode_config(usb3, new_mode_is_host, usb3_is_a_device(usb3));
2297
2298         return count;
2299 }
2300
2301 static ssize_t role_show(struct device *dev, struct device_attribute *attr,
2302                          char *buf)
2303 {
2304         struct renesas_usb3 *usb3 = dev_get_drvdata(dev);
2305
2306         if (!usb3->driver)
2307                 return -ENODEV;
2308
2309         return sprintf(buf, "%s\n", usb3_is_host(usb3) ? "host" : "peripheral");
2310 }
2311 static DEVICE_ATTR_RW(role);
2312
2313 /*------- platform_driver ------------------------------------------------*/
2314 static int renesas_usb3_remove(struct platform_device *pdev)
2315 {
2316         struct renesas_usb3 *usb3 = platform_get_drvdata(pdev);
2317
2318         device_remove_file(&pdev->dev, &dev_attr_role);
2319
2320         usb_del_gadget_udc(&usb3->gadget);
2321         renesas_usb3_dma_free_prd(usb3, &pdev->dev);
2322
2323         __renesas_usb3_ep_free_request(usb3->ep0_req);
2324
2325         return 0;
2326 }
2327
2328 static int renesas_usb3_init_ep(struct renesas_usb3 *usb3, struct device *dev,
2329                                 const struct renesas_usb3_priv *priv)
2330 {
2331         struct renesas_usb3_ep *usb3_ep;
2332         int i;
2333
2334         /* calculate num_usb3_eps from renesas_usb3_priv */
2335         usb3->num_usb3_eps = priv->ramsize_per_ramif * priv->num_ramif * 2 /
2336                              priv->ramsize_per_pipe + 1;
2337
2338         if (usb3->num_usb3_eps > USB3_MAX_NUM_PIPES)
2339                 usb3->num_usb3_eps = USB3_MAX_NUM_PIPES;
2340
2341         usb3->usb3_ep = devm_kzalloc(dev, sizeof(*usb3_ep) * usb3->num_usb3_eps,
2342                                      GFP_KERNEL);
2343         if (!usb3->usb3_ep)
2344                 return -ENOMEM;
2345
2346         dev_dbg(dev, "%s: num_usb3_eps = %d\n", __func__, usb3->num_usb3_eps);
2347         /*
2348          * This driver prepares pipes as follows:
2349          *  - odd pipes = IN pipe
2350          *  - even pipes = OUT pipe (except pipe 0)
2351          */
2352         usb3_for_each_ep(usb3_ep, usb3, i) {
2353                 snprintf(usb3_ep->ep_name, sizeof(usb3_ep->ep_name), "ep%d", i);
2354                 usb3_ep->usb3 = usb3;
2355                 usb3_ep->num = i;
2356                 usb3_ep->ep.name = usb3_ep->ep_name;
2357                 usb3_ep->ep.ops = &renesas_usb3_ep_ops;
2358                 INIT_LIST_HEAD(&usb3_ep->queue);
2359                 INIT_LIST_HEAD(&usb3_ep->ep.ep_list);
2360                 if (!i) {
2361                         /* for control pipe */
2362                         usb3->gadget.ep0 = &usb3_ep->ep;
2363                         usb_ep_set_maxpacket_limit(&usb3_ep->ep,
2364                                                 USB3_EP0_HSFS_MAX_PACKET_SIZE);
2365                         usb3_ep->ep.caps.type_control = true;
2366                         usb3_ep->ep.caps.dir_in = true;
2367                         usb3_ep->ep.caps.dir_out = true;
2368                         continue;
2369                 }
2370
2371                 /* for bulk or interrupt pipe */
2372                 usb_ep_set_maxpacket_limit(&usb3_ep->ep, ~0);
2373                 list_add_tail(&usb3_ep->ep.ep_list, &usb3->gadget.ep_list);
2374                 usb3_ep->ep.caps.type_bulk = true;
2375                 usb3_ep->ep.caps.type_int = true;
2376                 if (i & 1)
2377                         usb3_ep->ep.caps.dir_in = true;
2378                 else
2379                         usb3_ep->ep.caps.dir_out = true;
2380         }
2381
2382         return 0;
2383 }
2384
2385 static void renesas_usb3_init_ram(struct renesas_usb3 *usb3, struct device *dev,
2386                                   const struct renesas_usb3_priv *priv)
2387 {
2388         struct renesas_usb3_ep *usb3_ep;
2389         int i;
2390         u32 ramif[2], basead[2];        /* index 0 = for IN pipes */
2391         u32 *cur_ramif, *cur_basead;
2392         u32 val;
2393
2394         memset(ramif, 0, sizeof(ramif));
2395         memset(basead, 0, sizeof(basead));
2396
2397         /*
2398          * This driver prepares pipes as follows:
2399          *  - all pipes = the same size as "ramsize_per_pipe"
2400          * Please refer to the "Method of Specifying RAM Mapping"
2401          */
2402         usb3_for_each_ep(usb3_ep, usb3, i) {
2403                 if (!i)
2404                         continue;       /* out of scope if ep num = 0 */
2405                 if (usb3_ep->ep.caps.dir_in) {
2406                         cur_ramif = &ramif[0];
2407                         cur_basead = &basead[0];
2408                 } else {
2409                         cur_ramif = &ramif[1];
2410                         cur_basead = &basead[1];
2411                 }
2412
2413                 if (*cur_basead > priv->ramsize_per_ramif)
2414                         continue;       /* out of memory for IN or OUT pipe */
2415
2416                 /* calculate rammap_val */
2417                 val = PN_RAMMAP_RAMIF(*cur_ramif);
2418                 val |= usb3_calc_ramarea(priv->ramsize_per_pipe);
2419                 val |= PN_RAMMAP_BASEAD(*cur_basead);
2420                 usb3_ep->rammap_val = val;
2421
2422                 dev_dbg(dev, "ep%2d: val = %08x, ramif = %d, base = %x\n",
2423                         i, val, *cur_ramif, *cur_basead);
2424
2425                 /* update current ramif */
2426                 if (*cur_ramif + 1 == priv->num_ramif) {
2427                         *cur_ramif = 0;
2428                         *cur_basead += priv->ramsize_per_pipe;
2429                 } else {
2430                         (*cur_ramif)++;
2431                 }
2432         }
2433 }
2434
2435 static const struct renesas_usb3_priv renesas_usb3_priv_r8a7795 = {
2436         .ramsize_per_ramif = SZ_16K,
2437         .num_ramif = 2,
2438         .ramsize_per_pipe = SZ_4K,
2439         .workaround_for_vbus = true,
2440 };
2441
2442 static const struct of_device_id usb3_of_match[] = {
2443         {
2444                 .compatible = "renesas,r8a7795-usb3-peri",
2445                 .data = &renesas_usb3_priv_r8a7795,
2446         },
2447         { },
2448 };
2449 MODULE_DEVICE_TABLE(of, usb3_of_match);
2450
2451 static const unsigned int renesas_usb3_cable[] = {
2452         EXTCON_USB,
2453         EXTCON_USB_HOST,
2454         EXTCON_NONE,
2455 };
2456
2457 static int renesas_usb3_probe(struct platform_device *pdev)
2458 {
2459         struct renesas_usb3 *usb3;
2460         struct resource *res;
2461         const struct of_device_id *match;
2462         int irq, ret;
2463         const struct renesas_usb3_priv *priv;
2464
2465         match = of_match_node(usb3_of_match, pdev->dev.of_node);
2466         if (!match)
2467                 return -ENODEV;
2468         priv = match->data;
2469
2470         irq = platform_get_irq(pdev, 0);
2471         if (irq < 0)
2472                 return -ENODEV;
2473
2474         usb3 = devm_kzalloc(&pdev->dev, sizeof(*usb3), GFP_KERNEL);
2475         if (!usb3)
2476                 return -ENOMEM;
2477
2478         res = platform_get_resource(pdev, IORESOURCE_MEM, 0);
2479         usb3->reg = devm_ioremap_resource(&pdev->dev, res);
2480         if (IS_ERR(usb3->reg))
2481                 return PTR_ERR(usb3->reg);
2482
2483         platform_set_drvdata(pdev, usb3);
2484         spin_lock_init(&usb3->lock);
2485
2486         usb3->gadget.ops = &renesas_usb3_gadget_ops;
2487         usb3->gadget.name = udc_name;
2488         usb3->gadget.max_speed = USB_SPEED_SUPER;
2489         INIT_LIST_HEAD(&usb3->gadget.ep_list);
2490         ret = renesas_usb3_init_ep(usb3, &pdev->dev, priv);
2491         if (ret < 0)
2492                 return ret;
2493         renesas_usb3_init_ram(usb3, &pdev->dev, priv);
2494
2495         ret = devm_request_irq(&pdev->dev, irq, renesas_usb3_irq, 0,
2496                                dev_name(&pdev->dev), usb3);
2497         if (ret < 0)
2498                 return ret;
2499
2500         INIT_WORK(&usb3->extcon_work, renesas_usb3_extcon_work);
2501         usb3->extcon = devm_extcon_dev_allocate(&pdev->dev, renesas_usb3_cable);
2502         if (IS_ERR(usb3->extcon))
2503                 return PTR_ERR(usb3->extcon);
2504
2505         ret = devm_extcon_dev_register(&pdev->dev, usb3->extcon);
2506         if (ret < 0) {
2507                 dev_err(&pdev->dev, "Failed to register extcon\n");
2508                 return ret;
2509         }
2510
2511         /* for ep0 handling */
2512         usb3->ep0_req = __renesas_usb3_ep_alloc_request(GFP_KERNEL);
2513         if (!usb3->ep0_req)
2514                 return -ENOMEM;
2515
2516         ret = renesas_usb3_dma_alloc_prd(usb3, &pdev->dev);
2517         if (ret < 0)
2518                 goto err_alloc_prd;
2519
2520         ret = usb_add_gadget_udc(&pdev->dev, &usb3->gadget);
2521         if (ret < 0)
2522                 goto err_add_udc;
2523
2524         ret = device_create_file(&pdev->dev, &dev_attr_role);
2525         if (ret < 0)
2526                 goto err_dev_create;
2527
2528         usb3->workaround_for_vbus = priv->workaround_for_vbus;
2529
2530         dev_info(&pdev->dev, "probed\n");
2531
2532         return 0;
2533
2534 err_dev_create:
2535         usb_del_gadget_udc(&usb3->gadget);
2536
2537 err_add_udc:
2538         renesas_usb3_dma_free_prd(usb3, &pdev->dev);
2539
2540 err_alloc_prd:
2541         __renesas_usb3_ep_free_request(usb3->ep0_req);
2542
2543         return ret;
2544 }
2545
2546 static struct platform_driver renesas_usb3_driver = {
2547         .probe          = renesas_usb3_probe,
2548         .remove         = renesas_usb3_remove,
2549         .driver         = {
2550                 .name = (char *)udc_name,
2551                 .of_match_table = of_match_ptr(usb3_of_match),
2552         },
2553 };
2554 module_platform_driver(renesas_usb3_driver);
2555
2556 MODULE_DESCRIPTION("Renesas USB3.0 Peripheral driver");
2557 MODULE_LICENSE("GPL v2");
2558 MODULE_AUTHOR("Yoshihiro Shimoda <yoshihiro.shimoda.uh@renesas.com>");
2559 MODULE_ALIAS("platform:renesas_usb3");