packaging: Create directories for building RPM

Merge branch 'master' of git+ssh://git.samba.org/data/git/sahlberg/dbench

add examp[les of synchronizecache10 to iscsi and scsi sample loadfiles

add support for SYNCHRONIZECACHE10 to both iscsi and scsi backends

The nfs read operation was not properly memcpying the received buffer.

Add a new directive WRITEPATTERN that specifies the pattern to use when writing through the nfs backend

add printing of sense key and ascq when a scsi command fails to the iscsi backend

Add configure checking for presence of libsmbclient-dev
and build without SMB support if not available.

Add pritning of which optional backends are available int he build
at the end of the configure script

For now : support for raw scsi through the linux sg interface  and smb
support are optional.

NFS backend:
use clnt_control() to set the XID for all ONC-RPC transactions explicitely.
this allows us to guarantee that all threads use non-colliding
XID values.

(with very many clients and very many operations, the birthday effect
will sooner or later create a collission otherwise and this can trip
up the replay cache in the nfs server to respond "unexpectedly"
to the dbench client.)

increase the rw buffer for nfsv3 read/write commands to 1M

this allows (when using tcp) to use much larger i/o sizes (for those servers that support them)

on ubuntu 10 on amd64,  knfsd can handle READ3 up to 512k
larger reads than this will be truncated to 512k

on this platform  librpc/rpcgen  is also limited on the amount of data it can send.
It appears that going above 256k writes,   the rpcgen generated code crashes
inside librpc

ymmv

add a check in configure that libpopt is available

add a script to build a dbench rpm and a specfile

install all the other iscsi/scsi/smb/nfs loadfiles

rename the nfs_2 loadfile from .load to .txt

store example loadfiles under docdir   not datadir

install manpages under man/man1   not under man

store the example loadfiles under share/dbench/loadfiles

change datadir so it points to share/dbench instead of just share

dont build/install tbench for now

Add DESTDIR to the makefile

Add WRITE10 support to dbench/iscsi

To use writes you must specify --allow-scsi-writes on the
commandline

Add a new LOOP/ENDLOOP construct that can loop over multiple lines in
the loadfile

When using multiple [...] blocks in RANDOMSTRING
all [...] blocks would be replacved by the string picked for the firs
toccurence.

Update the code so we use different strings for each for "extra
randomness".

new iscsi persistent out examples

Add a few loadfile examples related to Persistent Reservation out, and
some scripts to run dbench instances in parallel in order to test
that requires parallelism

Signed-off-by: Breno Leitao <leitao@linux.vnet.ibm.com>

If --warmup=x is specified, make the warmup phase exactly this long
regardless of whether all threads have done any i/o yet or not.

This allows for running loadfiles where there are no read/write i/o at all.
Without being stuck inside the warmup phase indefinitely.

dont try to modify offset if size is 0
it will generate a division by zero fault and crash the thread

remove two unused variables

PROUT example in iscsi.txt loadfile

A simple example that shows the PROUT command in action

Signed-off-by: Breno Leitao <leitao@linux.vnet.ibm.com>

PROUT support

Add Persistent reserve out in dbench. Now it's possible to use
the PROUT command in load files in order to execute a lot of actions

Signed-off-by: Breno Leitao <leitao@linux.vnet.ibm.com>

Fix dbench for client.txt

client.txt contains filenames with $, this conflicts with the RANDOMSTRING
feature

The nfs backend needs #define _FILE_OFFSET_BITS 64
or else we will wrap and wont be able to write beyong the 4gb boundary.

Add a new loadfile command :
    RANDOMSTRING <idx> <string>

    This creates a string and stores in <idx> slot 0-9 for future reference.
    All occurences of "[<characters>] in <string> will be substituted for
    one randomly picked character in the specified set.

    These random slots can later be referenced from other loadfile commands
    where $<digit> will be subsituted for the current string value.

    See loadfiles/smb_3.txt for an example

remove an invalid comment

Add a way where you can tell the loadfile to add to the previous value of a
parameter in the loeadfile.
This is useful for loadfiles where one might want to perform sequential read/writes

The syntax in the loadfile is "+value"   which will be replaced by the previous plus value

See loadfile/smb_2.txt for an example

Add a new directive to the loadfile :
"REPEAT <number>"

This directive will repeat the next line <number> of times

See  loadfiles/smb_1.txt for an example

dont assume that all smb loadfiles will always use /clients/client*   so dont force this path segment to the smb_share variable

dont strncpy a null password

make sure we use the same abi when talking to libc and make sure we always use the same setting for file offset bits

Grrrrr    different distributions ship different libsmbclient  with different APIs
but still use the same so version number

Add support for writing to random 64 bit offsets for nfs WRITE3

Add more advanced "random' number use for loadfiles.
Make it possible to use random number and add alignment, modulo and
offset to them so it is possible in nfs for example to specify offset as
*/0x1000%5000000
meaning : random number between 0 and 500000 aligned to 4096

update the nfs backend to accept 64 bit offsets

fixup an incorrect html tag

add a webpage for the smb backend

Document the two new smb options

--smb-user=[DOMAIN/]USER%PASSWORD
and
--smb-share=//SERVER/SHARE[/PATH]

Add handling of /clients/client? to the SMB backend

remove a debug message

Mention that you can specify a path in the --smb-share argument.

--smb-share=//SERVER/SHARE[/PATH]

change the syntax to use --smb-share=//SERVER/SHARE instead of a separate --smb-server and a --smb-share argument

Add a DELTREE and READDIR operation

Add several new functions for the SMB backend :

OPEN/CREATE
CLOSE
READ
WRITE
UNLINK

change the status for SMB commands to be either of SUCCESS, ERROR or *

update the example loadfile and document this

update the framework code in child.c to accept SUCCESS/ERROR as the status string

change the commands for SMB to be all uppercase and add checking the status to them

Add support to log in to the SMB server/share
and for the MKDIR and RMDIR operations

Add initial example loadfile for these two operations

initial parsing of command line arguments for smb

Add smb.o to the makefile

Add a blank file for the SMB backend.

Fix the webpage with the example loadfile for iSCSI.

4kb is actually 8 blocks, not 4.

link with zlib so we can read gzip compressed loadfiles

add machinereadable output for the data printed every second
@W@1@1085@0.74@1@21.302@

first field is W R or C   representing the state of the run
Warmup, Running or Cleanup

add a new option --machine-readable

This prints the list of operations using ':' as a separator :

 Operation                Count    AvgLat    MaxLat
 --------------------------------------------------
:GETATTR3:625:1.429:20.554:
:LOOKUP3:625:0.854:21.356:
:READ3:624:0.891:7.811:

egrep for "^:" to find these datalines.

The summary is printed using ';' as a separator :

;0.995267;1;1;9.738;

egrep "^;" to find this line

add an init function to the nfs backend to test we can reach the server before we start spawning childprocesses

teach NFS READ3 operation about doing I/O to a random offset in the file.

update the usage output to include scsi and iscsi as backends.

Fix a typo.

update the manpage with --iscsi-port

mention we support iscsi on the features list

link to the iscsi page

add a web page for iscsi

updated git tree for download

update incorrect git address on the web page

if we have a data-in without the S-bit, then there is more data to read
so loop for next pdu.

add documentation for TESTUNITREADY

make it possible to use "*" to specify a random argument in the loadfile.
update the iscsi example loadfile to handle "*"

fix bug when setting default port for iscsi

add a parameter to se the iscsi port to use

documentation

document the iscsi cmd line arguments

example laodfile for iscsi

initial support for iSCSI.
very primitive support which only supports a subset of iSCSI sufficient to talk to a STGT target

when using random lba, make it align on an xferlen boundary

update documentation for the scsi backend

add a mechanism to use random LBA in scsi read/write

implement WRITE10

also make sure the lba is wrapped if it points to something larget than the device so that loadfiles will not fail when used against a smaller device

fix a debug statement to print also the directory name  (and not
whatever the top of stack hyappened to point at :-)

add a "warmup" argument so we can specify explicitely how long the warmup period should be

document the --scsi option

add read6 support

update read10 and implement readcapacity10

add link to my samba.org page

updates to the scsi backend.   implementing TESTUNITREADY and READ10
commands

test whether linux scsi generic ioctl() is available, in which case we
can build a scsi backend

fix memory leak for reads

we must explicitely release the memory where the filehandle is held since librpc is broken

free the memory we allocate to the child name

iclear the allocated memory.  we will later try to read this as a string and convert it to an integer so make sure it starts out as 0

when we fail to lookup a handle, try doing a recursive lookup and re-scan and re-LOOKUP3 the objects from the server starting at / and see if this helps instead of failing immediately.

document the trunc-io option

iWe dont really need the data sent back from the server in a read so make it
conditional and skip the memcpy() if the buffer we want to read into is NULL

 add a parameter trunc-io-X   when used it will truncate all reads/writes larger than this to X.

this to allow loadfiles to run on nfs servers that habve a small limit for rpc pdu sizes

100 bytes is much too small for a buffer to hold an NFS filename.
Make it default to 1024 bytes.

rebase all html links to /web  instead of /
so we can point outside of the /web subdirectory

link to the manpage from the header