include/linux/libata.h

   1 /*
   2  *  Copyright 2003-2005 Red Hat, Inc.  All rights reserved.
   3  *  Copyright 2003-2005 Jeff Garzik
   4  *
   5  *
   6  *  This program is free software; you can redistribute it and/or modify
   7  *  it under the terms of the GNU General Public License as published by
   8  *  the Free Software Foundation; either version 2, or (at your option)
   9  *  any later version.
  10  *
  11  *  This program is distributed in the hope that it will be useful,
  12  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  *  GNU General Public License for more details.
  15  *
  16  *  You should have received a copy of the GNU General Public License
  17  *  along with this program; see the file COPYING.  If not, write to
  18  *  the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
  19  *
  20  *
  21  *  libata documentation is available via 'make {ps|pdf}docs',
  22  *  as Documentation/DocBook/libata.*
  23  *
  24  */
  25
  26 #ifndef __LINUX_LIBATA_H__
  27 #define __LINUX_LIBATA_H__
  28
  29 #include <linux/delay.h>
  30 #include <linux/interrupt.h>
  31 #include <linux/pci.h>
  32 #include <linux/dma-mapping.h>
  33 #include <asm/io.h>
  34 #include <linux/ata.h>
  35 #include <linux/workqueue.h>
  36
  37 /*
  38  * compile-time options
  39  */
  40 #undef ATA_DEBUG                /* debugging output */
  41 #undef ATA_VERBOSE_DEBUG        /* yet more debugging output */
  42 #undef ATA_IRQ_TRAP             /* define to ack screaming irqs */
  43 #undef ATA_NDEBUG               /* define to disable quick runtime checks */
  44 #undef ATA_ENABLE_PATA          /* define to enable PATA support in some
  45                                  * low-level drivers */
  46 #undef ATAPI_ENABLE_DMADIR      /* enables ATAPI DMADIR bridge support */
  47
  48
  49 /* note: prints function name for you */
  50 #ifdef ATA_DEBUG
  51 #define DPRINTK(fmt, args...) printk(KERN_ERR "%s: " fmt, __FUNCTION__, ## args)
  52 #ifdef ATA_VERBOSE_DEBUG
  53 #define VPRINTK(fmt, args...) printk(KERN_ERR "%s: " fmt, __FUNCTION__, ## args)
  54 #else
  55 #define VPRINTK(fmt, args...)
  56 #endif  /* ATA_VERBOSE_DEBUG */
  57 #else
  58 #define DPRINTK(fmt, args...)
  59 #define VPRINTK(fmt, args...)
  60 #endif  /* ATA_DEBUG */
  61
  62 #ifdef ATA_NDEBUG
  63 #define assert(expr)
  64 #else
  65 #define assert(expr) \
  66         if(unlikely(!(expr))) {                                   \
  67         printk(KERN_ERR "Assertion failed! %s,%s,%s,line=%d\n", \
  68         #expr,__FILE__,__FUNCTION__,__LINE__);          \
  69         }
  70 #endif
  71
  72 /* defines only for the constants which don't work well as enums */
  73 #define ATA_TAG_POISON          0xfafbfcfdU
  74
  75 /* move to PCI layer? */
  76 static inline struct device *pci_dev_to_dev(struct pci_dev *pdev)
  77 {
  78         return &pdev->dev;
  79 }
  80
  81 enum {
  82         /* various global constants */
  83         LIBATA_MAX_PRD          = ATA_MAX_PRD / 2,
  84         ATA_MAX_PORTS           = 8,
  85         ATA_DEF_QUEUE           = 1,
  86         ATA_MAX_QUEUE           = 1,
  87         ATA_MAX_SECTORS         = 200,  /* FIXME */
  88         ATA_MAX_BUS             = 2,
  89         ATA_DEF_BUSY_WAIT       = 10000,
  90         ATA_SHORT_PAUSE         = (HZ >> 6) + 1,
  91
  92         ATA_SHT_EMULATED        = 1,
  93         ATA_SHT_CMD_PER_LUN     = 1,
  94         ATA_SHT_THIS_ID         = -1,
  95         ATA_SHT_USE_CLUSTERING  = 1,
  96
  97         /* struct ata_device stuff */
  98         ATA_DFLAG_LBA48         = (1 << 0), /* device supports LBA48 */
  99         ATA_DFLAG_PIO           = (1 << 1), /* device currently in PIO mode */
 100         ATA_DFLAG_LOCK_SECTORS  = (1 << 2), /* don't adjust max_sectors */
 101         ATA_DFLAG_LBA           = (1 << 3), /* device supports LBA */
 102
 103         ATA_DEV_UNKNOWN         = 0,    /* unknown device */
 104         ATA_DEV_ATA             = 1,    /* ATA device */
 105         ATA_DEV_ATA_UNSUP       = 2,    /* ATA device (unsupported) */
 106         ATA_DEV_ATAPI           = 3,    /* ATAPI device */
 107         ATA_DEV_ATAPI_UNSUP     = 4,    /* ATAPI device (unsupported) */
 108         ATA_DEV_NONE            = 5,    /* no device */
 109
 110         /* struct ata_port flags */
 111         ATA_FLAG_SLAVE_POSS     = (1 << 1), /* host supports slave dev */
 112                                             /* (doesn't imply presence) */
 113         ATA_FLAG_PORT_DISABLED  = (1 << 2), /* port is disabled, ignore it */
 114         ATA_FLAG_SATA           = (1 << 3),
 115         ATA_FLAG_NO_LEGACY      = (1 << 4), /* no legacy mode check */
 116         ATA_FLAG_SRST           = (1 << 5), /* use ATA SRST, not E.D.D. */
 117         ATA_FLAG_MMIO           = (1 << 6), /* use MMIO, not PIO */
 118         ATA_FLAG_SATA_RESET     = (1 << 7), /* use COMRESET */
 119         ATA_FLAG_PIO_DMA        = (1 << 8), /* PIO cmds via DMA */
 120         ATA_FLAG_NOINTR         = (1 << 9), /* FIXME: Remove this once
 121                                              * proper HSM is in place. */
 122
 123         ATA_QCFLAG_ACTIVE       = (1 << 1), /* cmd not yet ack'd to scsi lyer */
 124         ATA_QCFLAG_SG           = (1 << 3), /* have s/g table? */
 125         ATA_QCFLAG_SINGLE       = (1 << 4), /* no s/g, just a single buffer */
 126         ATA_QCFLAG_DMAMAP       = ATA_QCFLAG_SG | ATA_QCFLAG_SINGLE,
 127
 128         /* various lengths of time */
 129         ATA_TMOUT_EDD           = 5 * HZ,       /* hueristic */
 130         ATA_TMOUT_PIO           = 30 * HZ,
 131         ATA_TMOUT_BOOT          = 30 * HZ,      /* hueristic */
 132         ATA_TMOUT_BOOT_QUICK    = 7 * HZ,       /* hueristic */
 133         ATA_TMOUT_CDB           = 30 * HZ,
 134         ATA_TMOUT_CDB_QUICK     = 5 * HZ,
 135
 136         /* ATA bus states */
 137         BUS_UNKNOWN             = 0,
 138         BUS_DMA                 = 1,
 139         BUS_IDLE                = 2,
 140         BUS_NOINTR              = 3,
 141         BUS_NODATA              = 4,
 142         BUS_TIMER               = 5,
 143         BUS_PIO                 = 6,
 144         BUS_EDD                 = 7,
 145         BUS_IDENTIFY            = 8,
 146         BUS_PACKET              = 9,
 147
 148         /* SATA port states */
 149         PORT_UNKNOWN            = 0,
 150         PORT_ENABLED            = 1,
 151         PORT_DISABLED           = 2,
 152
 153         /* encoding various smaller bitmaps into a single
 154          * unsigned long bitmap
 155          */
 156         ATA_SHIFT_UDMA          = 0,
 157         ATA_SHIFT_MWDMA         = 8,
 158         ATA_SHIFT_PIO           = 11,
 159
 160         /* size of buffer to pad xfers ending on unaligned boundaries */
 161         ATA_DMA_PAD_SZ          = 4,
 162         ATA_DMA_PAD_BUF_SZ      = ATA_DMA_PAD_SZ * ATA_MAX_QUEUE,
 163
 164         /* Masks for port functions */
 165         ATA_PORT_PRIMARY        = (1 << 0),
 166         ATA_PORT_SECONDARY      = (1 << 1),
 167 };
 168
 169 enum hsm_task_states {
 170         HSM_ST_UNKNOWN,
 171         HSM_ST_IDLE,
 172         HSM_ST_POLL,
 173         HSM_ST_TMOUT,
 174         HSM_ST,
 175         HSM_ST_LAST,
 176         HSM_ST_LAST_POLL,
 177         HSM_ST_ERR,
 178 };
 179
 180 enum ata_completion_errors {
 181         AC_ERR_OTHER            = (1 << 0),
 182         AC_ERR_DEV              = (1 << 1),
 183         AC_ERR_ATA_BUS          = (1 << 2),
 184         AC_ERR_HOST_BUS         = (1 << 3),
 185 };
 186
 187 /* forward declarations */
 188 struct scsi_device;
 189 struct ata_port_operations;
 190 struct ata_port;
 191 struct ata_queued_cmd;
 192
 193 /* typedefs */
 194 typedef int (*ata_qc_cb_t) (struct ata_queued_cmd *qc, unsigned int err_mask);
 195
 196 struct ata_ioports {
 197         unsigned long           cmd_addr;
 198         unsigned long           data_addr;
 199         unsigned long           error_addr;
 200         unsigned long           feature_addr;
 201         unsigned long           nsect_addr;
 202         unsigned long           lbal_addr;
 203         unsigned long           lbam_addr;
 204         unsigned long           lbah_addr;
 205         unsigned long           device_addr;
 206         unsigned long           status_addr;
 207         unsigned long           command_addr;
 208         unsigned long           altstatus_addr;
 209         unsigned long           ctl_addr;
 210         unsigned long           bmdma_addr;
 211         unsigned long           scr_addr;
 212 };
 213
 214 struct ata_probe_ent {
 215         struct list_head        node;
 216         struct device           *dev;
 217         const struct ata_port_operations *port_ops;
 218         struct scsi_host_template *sht;
 219         struct ata_ioports      port[ATA_MAX_PORTS];
 220         unsigned int            n_ports;
 221         unsigned int            hard_port_no;
 222         unsigned int            pio_mask;
 223         unsigned int            mwdma_mask;
 224         unsigned int            udma_mask;
 225         unsigned int            legacy_mode;
 226         unsigned long           irq;
 227         unsigned int            irq_flags;
 228         unsigned long           host_flags;
 229         void __iomem            *mmio_base;
 230         void                    *private_data;
 231 };
 232
 233 struct ata_host_set {
 234         spinlock_t              lock;
 235         struct device           *dev;
 236         unsigned long           irq;
 237         void __iomem            *mmio_base;
 238         unsigned int            n_ports;
 239         void                    *private_data;
 240         const struct ata_port_operations *ops;
 241         struct ata_port *       ports[0];
 242 };
 243
 244 struct ata_queued_cmd {
 245         struct ata_port         *ap;
 246         struct ata_device       *dev;
 247
 248         struct scsi_cmnd        *scsicmd;
 249         void                    (*scsidone)(struct scsi_cmnd *);
 250
 251         struct ata_taskfile     tf;
 252         u8                      cdb[ATAPI_CDB_LEN];
 253
 254         unsigned long           flags;          /* ATA_QCFLAG_xxx */
 255         unsigned int            tag;
 256         unsigned int            n_elem;
 257         unsigned int            orig_n_elem;
 258
 259         int                     dma_dir;
 260
 261         unsigned int            pad_len;
 262
 263         unsigned int            nsect;
 264         unsigned int            cursect;
 265
 266         unsigned int            nbytes;
 267         unsigned int            curbytes;
 268
 269         unsigned int            cursg;
 270         unsigned int            cursg_ofs;
 271
 272         struct scatterlist      sgent;
 273         struct scatterlist      pad_sgent;
 274         void                    *buf_virt;
 275
 276         /* DO NOT iterate over __sg manually, use ata_for_each_sg() */
 277         struct scatterlist      *__sg;
 278
 279         ata_qc_cb_t             complete_fn;
 280
 281         struct completion       *waiting;
 282
 283         void                    *private_data;
 284 };
 285
 286 struct ata_host_stats {
 287         unsigned long           unhandled_irq;
 288         unsigned long           idle_irq;
 289         unsigned long           rw_reqbuf;
 290 };
 291
 292 struct ata_device {
 293         u64                     n_sectors;      /* size of device, if ATA */
 294         unsigned long           flags;          /* ATA_DFLAG_xxx */
 295         unsigned int            class;          /* ATA_DEV_xxx */
 296         unsigned int            devno;          /* 0 or 1 */
 297         u16                     id[ATA_ID_WORDS]; /* IDENTIFY xxx DEVICE data */
 298         u8                      pio_mode;
 299         u8                      dma_mode;
 300         u8                      xfer_mode;
 301         unsigned int            xfer_shift;     /* ATA_SHIFT_xxx */
 302
 303         unsigned int            multi_count;    /* sectors count for
 304                                                    READ/WRITE MULTIPLE */
 305
 306         /* for CHS addressing */
 307         u16                     cylinders;      /* Number of cylinders */
 308         u16                     heads;          /* Number of heads */
 309         u16                     sectors;        /* Number of sectors per track */
 310 };
 311
 312 struct ata_port {
 313         struct Scsi_Host        *host;  /* our co-allocated scsi host */
 314         const struct ata_port_operations *ops;
 315         unsigned long           flags;  /* ATA_FLAG_xxx */
 316         unsigned int            id;     /* unique id req'd by scsi midlyr */
 317         unsigned int            port_no; /* unique port #; from zero */
 318         unsigned int            hard_port_no;   /* hardware port #; from zero */
 319
 320         struct ata_prd          *prd;    /* our SG list */
 321         dma_addr_t              prd_dma; /* and its DMA mapping */
 322
 323         void                    *pad;   /* array of DMA pad buffers */
 324         dma_addr_t              pad_dma;
 325
 326         struct ata_ioports      ioaddr; /* ATA cmd/ctl/dma register blocks */
 327
 328         u8                      ctl;    /* cache of ATA control register */
 329         u8                      last_ctl;       /* Cache last written value */
 330         unsigned int            bus_state;
 331         unsigned int            port_state;
 332         unsigned int            pio_mask;
 333         unsigned int            mwdma_mask;
 334         unsigned int            udma_mask;
 335         unsigned int            cbl;    /* cable type; ATA_CBL_xxx */
 336         unsigned int            cdb_len;
 337
 338         struct ata_device       device[ATA_MAX_DEVICES];
 339
 340         struct ata_queued_cmd   qcmd[ATA_MAX_QUEUE];
 341         unsigned long           qactive;
 342         unsigned int            active_tag;
 343
 344         struct ata_host_stats   stats;
 345         struct ata_host_set     *host_set;
 346
 347         struct work_struct      packet_task;
 348
 349         struct work_struct      pio_task;
 350         unsigned int            hsm_task_state;
 351         unsigned long           pio_task_timeout;
 352
 353         void                    *private_data;
 354 };
 355
 356 struct ata_port_operations {
 357         void (*port_disable) (struct ata_port *);
 358
 359         void (*dev_config) (struct ata_port *, struct ata_device *);
 360
 361         void (*set_piomode) (struct ata_port *, struct ata_device *);
 362         void (*set_dmamode) (struct ata_port *, struct ata_device *);
 363
 364         void (*tf_load) (struct ata_port *ap, const struct ata_taskfile *tf);
 365         void (*tf_read) (struct ata_port *ap, struct ata_taskfile *tf);
 366
 367         void (*exec_command)(struct ata_port *ap, const struct ata_taskfile *tf);
 368         u8   (*check_status)(struct ata_port *ap);
 369         u8   (*check_altstatus)(struct ata_port *ap);
 370         void (*dev_select)(struct ata_port *ap, unsigned int device);
 371
 372         void (*phy_reset) (struct ata_port *ap);
 373         void (*post_set_mode) (struct ata_port *ap);
 374
 375         int (*check_atapi_dma) (struct ata_queued_cmd *qc);
 376
 377         void (*bmdma_setup) (struct ata_queued_cmd *qc);
 378         void (*bmdma_start) (struct ata_queued_cmd *qc);
 379
 380         void (*qc_prep) (struct ata_queued_cmd *qc);
 381         int (*qc_issue) (struct ata_queued_cmd *qc);
 382
 383         void (*eng_timeout) (struct ata_port *ap);
 384
 385         irqreturn_t (*irq_handler)(int, void *, struct pt_regs *);
 386         void (*irq_clear) (struct ata_port *);
 387
 388         u32 (*scr_read) (struct ata_port *ap, unsigned int sc_reg);
 389         void (*scr_write) (struct ata_port *ap, unsigned int sc_reg,
 390                            u32 val);
 391
 392         int (*port_start) (struct ata_port *ap);
 393         void (*port_stop) (struct ata_port *ap);
 394
 395         void (*host_stop) (struct ata_host_set *host_set);
 396
 397         void (*bmdma_stop) (struct ata_queued_cmd *qc);
 398         u8   (*bmdma_status) (struct ata_port *ap);
 399 };
 400
 401 struct ata_port_info {
 402         struct scsi_host_template       *sht;
 403         unsigned long           host_flags;
 404         unsigned long           pio_mask;
 405         unsigned long           mwdma_mask;
 406         unsigned long           udma_mask;
 407         const struct ata_port_operations *port_ops;
 408         void                    *private_data;
 409 };
 410
 411 struct ata_timing {
 412         unsigned short mode;            /* ATA mode */
 413         unsigned short setup;           /* t1 */
 414         unsigned short act8b;           /* t2 for 8-bit I/O */
 415         unsigned short rec8b;           /* t2i for 8-bit I/O */
 416         unsigned short cyc8b;           /* t0 for 8-bit I/O */
 417         unsigned short active;          /* t2 or tD */
 418         unsigned short recover;         /* t2i or tK */
 419         unsigned short cycle;           /* t0 */
 420         unsigned short udma;            /* t2CYCTYP/2 */
 421 };
 422
 423 #define FIT(v,vmin,vmax)        max_t(short,min_t(short,v,vmax),vmin)
 424
 425 extern void ata_port_probe(struct ata_port *);
 426 extern void __sata_phy_reset(struct ata_port *ap);
 427 extern void sata_phy_reset(struct ata_port *ap);
 428 extern void ata_bus_reset(struct ata_port *ap);
 429 extern void ata_port_disable(struct ata_port *);
 430 extern void ata_std_ports(struct ata_ioports *ioaddr);
 431 #ifdef CONFIG_PCI
 432 extern int ata_pci_init_one (struct pci_dev *pdev, struct ata_port_info **port_info,
 433                              unsigned int n_ports);
 434 extern void ata_pci_remove_one (struct pci_dev *pdev);
 435 #endif /* CONFIG_PCI */
 436 extern int ata_device_add(const struct ata_probe_ent *ent);
 437 extern void ata_host_set_remove(struct ata_host_set *host_set);
 438 extern int ata_scsi_detect(struct scsi_host_template *sht);
 439 extern int ata_scsi_ioctl(struct scsi_device *dev, int cmd, void __user *arg);
 440 extern int ata_scsi_queuecmd(struct scsi_cmnd *cmd, void (*done)(struct scsi_cmnd *));
 441 extern int ata_scsi_error(struct Scsi_Host *host);
 442 extern int ata_scsi_release(struct Scsi_Host *host);
 443 extern unsigned int ata_host_intr(struct ata_port *ap, struct ata_queued_cmd *qc);
 444 extern int ata_ratelimit(void);
 445
 446 /*
 447  * Default driver ops implementations
 448  */
 449 extern void ata_tf_load(struct ata_port *ap, const struct ata_taskfile *tf);
 450 extern void ata_tf_read(struct ata_port *ap, struct ata_taskfile *tf);
 451 extern void ata_tf_to_fis(const struct ata_taskfile *tf, u8 *fis, u8 pmp);
 452 extern void ata_tf_from_fis(const u8 *fis, struct ata_taskfile *tf);
 453 extern void ata_noop_dev_select (struct ata_port *ap, unsigned int device);
 454 extern void ata_std_dev_select (struct ata_port *ap, unsigned int device);
 455 extern u8 ata_check_status(struct ata_port *ap);
 456 extern u8 ata_altstatus(struct ata_port *ap);
 457 extern void ata_exec_command(struct ata_port *ap, const struct ata_taskfile *tf);
 458 extern int ata_port_start (struct ata_port *ap);
 459 extern void ata_port_stop (struct ata_port *ap);
 460 extern void ata_host_stop (struct ata_host_set *host_set);
 461 extern irqreturn_t ata_interrupt (int irq, void *dev_instance, struct pt_regs *regs);
 462 extern void ata_qc_prep(struct ata_queued_cmd *qc);
 463 extern int ata_qc_issue_prot(struct ata_queued_cmd *qc);
 464 extern void ata_sg_init_one(struct ata_queued_cmd *qc, void *buf,
 465                 unsigned int buflen);
 466 extern void ata_sg_init(struct ata_queued_cmd *qc, struct scatterlist *sg,
 467                  unsigned int n_elem);
 468 extern unsigned int ata_dev_classify(const struct ata_taskfile *tf);
 469 extern void ata_dev_id_string(const u16 *id, unsigned char *s,
 470                               unsigned int ofs, unsigned int len);
 471 extern void ata_dev_config(struct ata_port *ap, unsigned int i);
 472 extern void ata_bmdma_setup (struct ata_queued_cmd *qc);
 473 extern void ata_bmdma_start (struct ata_queued_cmd *qc);
 474 extern void ata_bmdma_stop(struct ata_queued_cmd *qc);
 475 extern u8   ata_bmdma_status(struct ata_port *ap);
 476 extern void ata_bmdma_irq_clear(struct ata_port *ap);
 477 extern void ata_qc_complete(struct ata_queued_cmd *qc, unsigned int err_mask);
 478 extern void ata_eng_timeout(struct ata_port *ap);
 479 extern void ata_scsi_simulate(u16 *id, struct scsi_cmnd *cmd,
 480                               void (*done)(struct scsi_cmnd *));
 481 extern int ata_std_bios_param(struct scsi_device *sdev,
 482                               struct block_device *bdev,
 483                               sector_t capacity, int geom[]);
 484 extern int ata_scsi_slave_config(struct scsi_device *sdev);
 485
 486 /*
 487  * Timing helpers
 488  */
 489 extern int ata_timing_compute(struct ata_device *, unsigned short,
 490                               struct ata_timing *, int, int);
 491 extern void ata_timing_merge(const struct ata_timing *,
 492                              const struct ata_timing *, struct ata_timing *,
 493                              unsigned int);
 494
 495 enum {
 496         ATA_TIMING_SETUP        = (1 << 0),
 497         ATA_TIMING_ACT8B        = (1 << 1),
 498         ATA_TIMING_REC8B        = (1 << 2),
 499         ATA_TIMING_CYC8B        = (1 << 3),
 500         ATA_TIMING_8BIT         = ATA_TIMING_ACT8B | ATA_TIMING_REC8B |
 501                                   ATA_TIMING_CYC8B,
 502         ATA_TIMING_ACTIVE       = (1 << 4),
 503         ATA_TIMING_RECOVER      = (1 << 5),
 504         ATA_TIMING_CYCLE        = (1 << 6),
 505         ATA_TIMING_UDMA         = (1 << 7),
 506         ATA_TIMING_ALL          = ATA_TIMING_SETUP | ATA_TIMING_ACT8B |
 507                                   ATA_TIMING_REC8B | ATA_TIMING_CYC8B |
 508                                   ATA_TIMING_ACTIVE | ATA_TIMING_RECOVER |
 509                                   ATA_TIMING_CYCLE | ATA_TIMING_UDMA,
 510 };
 511
 512
 513 #ifdef CONFIG_PCI
 514 struct pci_bits {
 515         unsigned int            reg;    /* PCI config register to read */
 516         unsigned int            width;  /* 1 (8 bit), 2 (16 bit), 4 (32 bit) */
 517         unsigned long           mask;
 518         unsigned long           val;
 519 };
 520
 521 extern void ata_pci_host_stop (struct ata_host_set *host_set);
 522 extern struct ata_probe_ent *
 523 ata_pci_init_native_mode(struct pci_dev *pdev, struct ata_port_info **port, int portmask);
 524 extern int pci_test_config_bits(struct pci_dev *pdev, const struct pci_bits *bits);
 525
 526 #endif /* CONFIG_PCI */
 527
 528
 529 static inline int
 530 ata_sg_is_last(struct scatterlist *sg, struct ata_queued_cmd *qc)
 531 {
 532         if (sg == &qc->pad_sgent)
 533                 return 1;
 534         if (qc->pad_len)
 535                 return 0;
 536         if (((sg - qc->__sg) + 1) == qc->n_elem)
 537                 return 1;
 538         return 0;
 539 }
 540
 541 static inline struct scatterlist *
 542 ata_qc_next_sg(struct scatterlist *sg, struct ata_queued_cmd *qc)
 543 {
 544         if (sg == &qc->pad_sgent)
 545                 return NULL;
 546         if (++sg - qc->__sg < qc->n_elem)
 547                 return sg;
 548         return qc->pad_len ? &qc->pad_sgent : NULL;
 549 }
 550
 551 #define ata_for_each_sg(sg, qc) \
 552         for (sg = qc->__sg; sg; sg = ata_qc_next_sg(sg, qc))
 553
 554 static inline unsigned int ata_tag_valid(unsigned int tag)
 555 {
 556         return (tag < ATA_MAX_QUEUE) ? 1 : 0;
 557 }
 558
 559 static inline unsigned int ata_dev_present(const struct ata_device *dev)
 560 {
 561         return ((dev->class == ATA_DEV_ATA) ||
 562                 (dev->class == ATA_DEV_ATAPI));
 563 }
 564
 565 static inline u8 ata_chk_status(struct ata_port *ap)
 566 {
 567         return ap->ops->check_status(ap);
 568 }
 569
 570
 571 /**
 572  *      ata_pause - Flush writes and pause 400 nanoseconds.
 573  *      @ap: Port to wait for.
 574  *
 575  *      LOCKING:
 576  *      Inherited from caller.
 577  */
 578
 579 static inline void ata_pause(struct ata_port *ap)
 580 {
 581         ata_altstatus(ap);
 582         ndelay(400);
 583 }
 584
 585
 586 /**
 587  *      ata_busy_wait - Wait for a port status register
 588  *      @ap: Port to wait for.
 589  *
 590  *      Waits up to max*10 microseconds for the selected bits in the port's
 591  *      status register to be cleared.
 592  *      Returns final value of status register.
 593  *
 594  *      LOCKING:
 595  *      Inherited from caller.
 596  */
 597
 598 static inline u8 ata_busy_wait(struct ata_port *ap, unsigned int bits,
 599                                unsigned int max)
 600 {
 601         u8 status;
 602
 603         do {
 604                 udelay(10);
 605                 status = ata_chk_status(ap);
 606                 max--;
 607         } while ((status & bits) && (max > 0));
 608
 609         return status;
 610 }
 611
 612
 613 /**
 614  *      ata_wait_idle - Wait for a port to be idle.
 615  *      @ap: Port to wait for.
 616  *
 617  *      Waits up to 10ms for port's BUSY and DRQ signals to clear.
 618  *      Returns final value of status register.
 619  *
 620  *      LOCKING:
 621  *      Inherited from caller.
 622  */
 623
 624 static inline u8 ata_wait_idle(struct ata_port *ap)
 625 {
 626         u8 status = ata_busy_wait(ap, ATA_BUSY | ATA_DRQ, 1000);
 627
 628         if (status & (ATA_BUSY | ATA_DRQ)) {
 629                 unsigned long l = ap->ioaddr.status_addr;
 630                 printk(KERN_WARNING
 631                        "ATA: abnormal status 0x%X on port 0x%lX\n",
 632                        status, l);
 633         }
 634
 635         return status;
 636 }
 637
 638 static inline void ata_qc_set_polling(struct ata_queued_cmd *qc)
 639 {
 640         qc->tf.ctl |= ATA_NIEN;
 641 }
 642
 643 static inline struct ata_queued_cmd *ata_qc_from_tag (struct ata_port *ap,
 644                                                       unsigned int tag)
 645 {
 646         if (likely(ata_tag_valid(tag)))
 647                 return &ap->qcmd[tag];
 648         return NULL;
 649 }
 650
 651 static inline void ata_tf_init(struct ata_port *ap, struct ata_taskfile *tf, unsigned int device)
 652 {
 653         memset(tf, 0, sizeof(*tf));
 654
 655         tf->ctl = ap->ctl;
 656         if (device == 0)
 657                 tf->device = ATA_DEVICE_OBS;
 658         else
 659                 tf->device = ATA_DEVICE_OBS | ATA_DEV1;
 660 }
 661
 662
 663 /**
 664  *      ata_irq_on - Enable interrupts on a port.
 665  *      @ap: Port on which interrupts are enabled.
 666  *
 667  *      Enable interrupts on a legacy IDE device using MMIO or PIO,
 668  *      wait for idle, clear any pending interrupts.
 669  *
 670  *      LOCKING:
 671  *      Inherited from caller.
 672  */
 673
 674 static inline u8 ata_irq_on(struct ata_port *ap)
 675 {
 676         struct ata_ioports *ioaddr = &ap->ioaddr;
 677         u8 tmp;
 678
 679         ap->ctl &= ~ATA_NIEN;
 680         ap->last_ctl = ap->ctl;
 681
 682         if (ap->flags & ATA_FLAG_MMIO)
 683                 writeb(ap->ctl, (void __iomem *) ioaddr->ctl_addr);
 684         else
 685                 outb(ap->ctl, ioaddr->ctl_addr);
 686         tmp = ata_wait_idle(ap);
 687
 688         ap->ops->irq_clear(ap);
 689
 690         return tmp;
 691 }
 692
 693
 694 /**
 695  *      ata_irq_ack - Acknowledge a device interrupt.
 696  *      @ap: Port on which interrupts are enabled.
 697  *
 698  *      Wait up to 10 ms for legacy IDE device to become idle (BUSY
 699  *      or BUSY+DRQ clear).  Obtain dma status and port status from
 700  *      device.  Clear the interrupt.  Return port status.
 701  *
 702  *      LOCKING:
 703  */
 704
 705 static inline u8 ata_irq_ack(struct ata_port *ap, unsigned int chk_drq)
 706 {
 707         unsigned int bits = chk_drq ? ATA_BUSY | ATA_DRQ : ATA_BUSY;
 708         u8 host_stat, post_stat, status;
 709
 710         status = ata_busy_wait(ap, bits, 1000);
 711         if (status & bits)
 712                 DPRINTK("abnormal status 0x%X\n", status);
 713
 714         /* get controller status; clear intr, err bits */
 715         if (ap->flags & ATA_FLAG_MMIO) {
 716                 void __iomem *mmio = (void __iomem *) ap->ioaddr.bmdma_addr;
 717                 host_stat = readb(mmio + ATA_DMA_STATUS);
 718                 writeb(host_stat | ATA_DMA_INTR | ATA_DMA_ERR,
 719                        mmio + ATA_DMA_STATUS);
 720
 721                 post_stat = readb(mmio + ATA_DMA_STATUS);
 722         } else {
 723                 host_stat = inb(ap->ioaddr.bmdma_addr + ATA_DMA_STATUS);
 724                 outb(host_stat | ATA_DMA_INTR | ATA_DMA_ERR,
 725                      ap->ioaddr.bmdma_addr + ATA_DMA_STATUS);
 726
 727                 post_stat = inb(ap->ioaddr.bmdma_addr + ATA_DMA_STATUS);
 728         }
 729
 730         VPRINTK("irq ack: host_stat 0x%X, new host_stat 0x%X, drv_stat 0x%X\n",
 731                 host_stat, post_stat, status);
 732
 733         return status;
 734 }
 735
 736 static inline u32 scr_read(struct ata_port *ap, unsigned int reg)
 737 {
 738         return ap->ops->scr_read(ap, reg);
 739 }
 740
 741 static inline void scr_write(struct ata_port *ap, unsigned int reg, u32 val)
 742 {
 743         ap->ops->scr_write(ap, reg, val);
 744 }
 745
 746 static inline void scr_write_flush(struct ata_port *ap, unsigned int reg,
 747                                    u32 val)
 748 {
 749         ap->ops->scr_write(ap, reg, val);
 750         (void) ap->ops->scr_read(ap, reg);
 751 }
 752
 753 static inline unsigned int sata_dev_present(struct ata_port *ap)
 754 {
 755         return ((scr_read(ap, SCR_STATUS) & 0xf) == 0x3) ? 1 : 0;
 756 }
 757
 758 static inline int ata_try_flush_cache(const struct ata_device *dev)
 759 {
 760         return ata_id_wcache_enabled(dev->id) ||
 761                ata_id_has_flush(dev->id) ||
 762                ata_id_has_flush_ext(dev->id);
 763 }
 764
 765 static inline unsigned int ac_err_mask(u8 status)
 766 {
 767         if (status & ATA_BUSY)
 768                 return AC_ERR_ATA_BUS;
 769         if (status & (ATA_ERR | ATA_DF))
 770                 return AC_ERR_DEV;
 771         return 0;
 772 }
 773
 774 static inline unsigned int __ac_err_mask(u8 status)
 775 {
 776         unsigned int mask = ac_err_mask(status);
 777         if (mask == 0)
 778                 return AC_ERR_OTHER;
 779         return mask;
 780 }
 781
 782 static inline int ata_pad_alloc(struct ata_port *ap, struct device *dev)
 783 {
 784         ap->pad_dma = 0;
 785         ap->pad = dma_alloc_coherent(dev, ATA_DMA_PAD_BUF_SZ,
 786                                      &ap->pad_dma, GFP_KERNEL);
 787         return (ap->pad == NULL) ? -ENOMEM : 0;
 788 }
 789
 790 static inline void ata_pad_free(struct ata_port *ap, struct device *dev)
 791 {
 792         dma_free_coherent(dev, ATA_DMA_PAD_BUF_SZ, ap->pad, ap->pad_dma);
 793 }
 794
 795 #endif /* __LINUX_LIBATA_H__ */