r3031: added support for lock cancelation, which effectively just triggers an early lock timeout

added support for more of the bizarre special lock offset semantics of w2k3
(This used to be commit d5bfc910b1200fb283e26572dc57fcf93652fd32)

r3030: added testing of lock cancel, and some more special offsets (locks
with the top bit set are special)
(This used to be commit f732a983d4fde29d5ad893ad35fd182ee3d8a75b)

r3029: implemented byte range lock timeouts.

This adds a pvfs_wait_message() routine which uses the new messaging
system, event timers and talloc destructors to give a nice generic
async event handling system with a easy to use interface. The
extensions to pvfs_lock.c are based on calls to pvfs_wait_message()
routines.

We now pass all of our smbtorture locking tests, although while
writing this code I have thought of some additonal tests that should
be added, particularly for lock cancel operations. I'll work on that
soon.

This commit also extends the smbtorture lock tests to test the rather
weird 0xEEFFFFFF locking semantics that I have discovered in
win2003. Win2003 treats the 0xEEFFFFFF boundary as special, and will
give different error codes on either side of it. Locks on both sides
are allowed, the only difference is which error code is given when a
lock is denied. Anyone like to hazard a guess as to why? It has
me stumped.
(This used to be commit 4395c0557ab175d6a8dd99df03c266325949ffa5)

r3028: use talloc_free() instead of talloc_unlink(), as the
event_context_merge() code leaves the events as grandchildren of the
events context, not children, so talloc_unlink() will not work after
the merge
(This used to be commit 2d0dfe607dcfb522669d6fb3d566cf121d84274a)

r3027: got rid of some configure checks we don't need any more
(This used to be commit 6a3f356b763b0577e2ad3e7ea74bee932c04a46b)

r3026: - added automatic retry to messages when the servers listen queue is
  full. This means callers can just "send and forget" rather than
  having to check for a temporary failure. The mechanism takes nice
  advantage of the timed events handling is our events code. A message
  will only fail now if we completely run out of some resource (such
  as memory).

- changed the test code not to do retries itself, but only to warn on real failures
(This used to be commit 8cddc610a25e64c1ad39dd6a2fc2e7f467e04fc9)

r3025: don't warn about no path in a service, as some backends (like cifs) don't need a path
(This used to be commit a8c49a0de3f806bddaf6bd594ec052cf9f4a3fab)

r3024: run the *_connect() NTVFS initialisation operation as root, to allow
backends to open databases and perform any other privileged
operations that might be needed.
(This used to be commit 54fd395025656d9b264ba1c1fab6e3ce8ca3d357)

r3023: added immediate send of messages when they are first queued. This makes things a bit more efficient
(This used to be commit 8380225d326e4bfb3f15fddc72c097870713132a)

r3022: Work on unmarshalling arrays of structs in a buffer (Python string) for
spoolss.  Doesn't quite work yet.
(This used to be commit 9045645ddf4eb8b5596d220ed936c8731641ef0a)

r3021: under heavy load the listen queue for messaging unix domain socket can fill up, leading to refused
connections. The caller needs to retry. This adds testing of the retry in LOCAL-MESSAGING
(This used to be commit 2c568d4dc20303061a89c815b9a9a0bafc283633)

r3020: better error handling in socket_unix
(This used to be commit 64514ff5b7734667a1364de925114091fe208b3a)

r3019: make the LOCAL-MESSAGING test a 2 process test
(This used to be commit 68890247c1247f5f9e299ac1f579052cd022e79f)

r3018: handle STATUS_MORE_ENTRIES from socket_recv() in the messaging code
(This used to be commit 13739b68d8357d5d330f12b851d0311feb81e545)

r3017: nicer memory handling for event_context_merge()
(This used to be commit 1cef44505e5de9b8ae5206522b624082ad2343b2)

r3016: - converted the events code to talloc

- added the new messaging system, based on unix domain sockets. It
  gets over 10k messages/second on my laptop without any socket
  cacheing, which is better than I expected.

- added a LOCAL-MESSAGING torture test
(This used to be commit 3af06478da7ab34a272226d8d9ac87e0a4940cfb)

r3015: fixed typo noticed by abartlett
(This used to be commit b367209a9f94e471efed233639467babbb2b99d7)

r3014: got rid of the old intra-smbd messaging system in preparation for the new one
(This used to be commit 283e38aeb210e048302dc2759a75879cfc81eeb5)

r3013: added support for unix domain sockets in the generic socket library. I
will shortly be using this for a rewrite of the intra-smbd messaging
library, which is needed to get lock timeouts working properly (and
share modes, oplocks etc)
(This used to be commit 6f4926d846965a901e40d24546eab356c4a537c7)

r3012: added initial support for byte range locking in the posix vfs. This is
enough for us to pass locktest, but does not yet support lock timeouts
and some of the other esoteric features.
(This used to be commit 58a92abd88f190bc60894a68e0528e95ae33fe39)

r3011: separated the locktest code into a separate module in smbtorture
(This used to be commit f4a91be63502c0bb32c52c0558dfc7d4d0a21fae)

r3010: Do some more PyInt vs PyLong checks.
(This used to be commit b19dc6cd9c1ac44d970b092f09cf96c737a90fdd)

r3009: Fix up unmarshall functions to return Python dict instead of a NTSTATUS.
We can now unmarshall a single printer returned from an EnumPrinters.
(This used to be commit 89da7a9196d40699881f12c9a5fe62301aafd4cf)

r3007: uint32 values need to be stored in Python longs, as on 32-bit machines
Python ints can only hold int32 values.
(This used to be commit 7c5ada63bf5d876a1b67df2cf7bd44942e4b0a98)

r3006: Poptify
(This used to be commit 5c46747c36aa09289c6b2df3927833aec78059fd)

r3005: added talloc wrappers around tdb_open() and ldb_connect(), so that the
caller doesn't have to worry about the constraint of only opening a
database a single time in a process. These wrappers will ensure that
only a single open is done, and will auto-close when the last instance
is gone.

When you are finished with a database pointer, use talloc_free() to
close it.

note that this code does not take account of the threads process
model, and does not yet take account of symlinks or hard links to tdb
files.
(This used to be commit 04e1171996612ddb15f84134cadded68f0d173b2)

r3004: removed some unused functions
(This used to be commit 247421ee648d1935b68a47195fe1709bb861a7d5)

r3001: Expose unmarshalling functions for structures marked "public" in the
idl.  This allows us to pass a buffer of bytes returned from a spoolss
call and convert it to a Python dictionary.  Works for enumprinters level
1!
(This used to be commit 4bc497a2994b12845a46b2d19f60bb81c9869fc9)

r2997: Added delete on close tests for readonly files.
Jeremy.
(This used to be commit 93efa870400a3f69700e69d30319ffbdbdf94820)

r2994: More cleanups.  Move the generation of NTSTATUS and WERROR exceptions
from inside a swig %exception block and into the argout typemap.  This
will allow us to wrap functions that don't require exception handling, and
also get rid of some ugly code in dcerpc.i
(This used to be commit 558076cc8ddbdb563869f7d35150310217f30c31)

r2993: fix comment

metze
(This used to be commit 23a2c5c1586e5ea0261bc84571486658a262740c)

r2992: drsuapi uses WERROR not NTSTATUS

metze
(This used to be commit 757f67c08b0b1309d8a0b900539111c7bc430b0e)

r2991: add drsuapi_DsGetDomainControllerInfo() idl and torture test

metze
(This used to be commit 98ca7640c59aa8694abde03f5661b8908cf088bb)

r2990: Add support to pidl for autogenerating ndr_size_*() functions. Adding
the [gensize] property to a struct or union will make pidl generate a
ndr_size_*() function.

(not all nasty bits of NDR are completely covered yet by the
 ndr_size*() functions, support for those will be added when necessary)

I also have a local patch (not applied now) that simplifies the pidl output
and eliminates the number of functions required. It would, however, make
pidl more complex.
(This used to be commit 7c823f886afd0c4c6ee838f17882ca0658417011)

r2989: fix the printing of unions with negative cases when :print is used
(This used to be commit d8152f896119418d95d7697cc2ca23f5319c32a9)

r2988: this should fix support for negative switch levels in PIDL
(This used to be commit 21ed51d47f7efd493ad64b564fb6362ef8fb067f)

r2987: added support for signed 32 bit integers in pidl
(This used to be commit 24122eb93e39de8db3675618b6c227c95eb58d9c)

r2986: Add correct value to dict when generating wrapper for functions that
return WERROR values.

Clean up WERROR vs NTSTATUS handling a bit.
(This used to be commit e6756e3ee0af3e7e98f6deaf9dc83af9aac1b586)

r2985: got rid of the unused tdb_lockkeys() and tdb_unlockkeys() functions

they have been broken for 4 years (ever since they were added) and
have been never used, which makes them prime candidates for
destruction.
(This used to be commit 0b53ab85aae4569c04495f07c18a65fd6b47bf4c)

r2984: fixed the error code for a non-terminal component of a path name not existing
(This used to be commit c6a922dbd844c69bbba83c259169655d17e9f87f)

r2983: report a failure if a server doesn't update the write time at all
after 2 minutes
(This used to be commit b2298a1c5f0330a262ac855479060fd677fe8059)

r2982: added a test that shows the amount of time a server takes to update
the write time on a file after a write.
(This used to be commit efee3c90f90b1e9dd3351933d27fe8a085c3657f)

r2981: Fix incorrect locks/unlocks in tdb_lockkeys()/tdb_unlockkeys().
Spotted by Taj Khattra <taj.khattra@gmail.com>.
Jeremy.
(This used to be commit a7d92301bbf45cb9e475e4876fdbb37644ad5871)

r2975: Try to emulate NT_STATUS_IS_ERR() functionality for WERRORs.  Unfortunately
this means enumerating all the ones we don't think are errors.
(This used to be commit a079e044f0ef23c6c4307c9da35019ec3e8f1d2a)

r2974: fix the build

metze
(This used to be commit 1bb71e7a8699bfd32d171a48c4c3b5f35faf3e51)

r2973: Allow comma's inside parentheses in property arguments
(This used to be commit ab2a788fe75ddaf8ff493477f2006a03959e6ab5)

r2972: make names more consistent

metze
(This used to be commit 7aa91db53ed5811f0900dd61d63d15e71255285e)

r2971: fix DsBind idl

metze
(This used to be commit 9e50b3214b9de84811640296c19d6068936dfd54)

r2970: - give somefields names and typdef enums for the possible values

- do more crackname tests in the torture test

- move server code for cracknames to a different file

metze
(This used to be commit 18050ea6037b3c0c7cfe975eb9c872368b9e3328)

r2969: inet_ntoa() takes an address in network byte order, so now that we
parse the RHS as IDL, we need to use htonl() to convert back to
network byte order before we can display the IP
(This used to be commit 45508b85dabf8aa66bff9aeebf99c1faf3d475ec)

r2968: fixed the byte order problem with the new RHS parsing on ncacn_ip_tcp
(This used to be commit cc00f9b6b87783d189df00de0ce9ae92b907e21a)

r2967: Add some printer enum constants from Samba3's rpc_spoolss.h
(This used to be commit 7983a99479164d04281dd6c34d63733afa3c3612)

r2966: Handle conversion of DATA_BLOB fields from Python in a slightly nicer
manner.  I'm hoping to get rid of DATA_BLOB's but for the moment they
make it easy to get some spoolss action happening quickly.
(This used to be commit 15f8f73f8bfec099973fb8bf167020ae50346cf6)

r2965: Ignore *.pyc files in torture directory.

Allow test module name to be specified on command line for pytorture
module.

Start spoolss torture test.
(This used to be commit 44bab84f765f6a4d37733a353fc6b74b09c1b39a)

r2964: Add spoolss to list of wrapped client functions.
(This used to be commit 96d31ff19d2fa5b0c5a0ee23000a97cb77637968)

r2963: Handle structures that contain more than one union as members.
(This used to be commit 6a47a079c003c2a139665ad2b5ede5d139049bd1)

r2962: Tweak to get conversion function for pointers to union compiling again.
(This used to be commit 8c9c94d578651c5884db0aa0feb6e16858274fbb)

r2961: fixed a silly typo
(This used to be commit f76a1cf640a909aa2a4e26e65f59020f9ab575f4)

r2960: during a lunchtime discussion I found out that all powerpc processors
can correctly (and quickly!) handle unaligned little endian memory
accesses, just like i386. This should reduce code size and speeds
things up quite a lot on ppc, at the expense of some inline asm code
(whcih means it only works with gcc)
(This used to be commit 2a0c427c2bf2f8b0739f12c78151b819388c44d4)

r2958: the warnings from the swig code in pidl were totally swamping valid
warnings, making real errors impossible to spot.

this fixes the warnings, and probably fixes some pidl/python bugs as
well.
(This used to be commit 2f1e9954e3381b1864a6fd9fa8b2231478179d4d)

r2956: Fix towers_length for now. I'm currently working on a pidl extension
that can generate these kinds of functions
(This used to be commit ebca2516502560edfd4056fbb4cfc9718a108efa)

r2954: add server cracknames code:

- we currently only do it for our REALM

metze
(This used to be commit e2df8c4285d3430085594a3a3b5534c514acd1f9)

r2953: add NTSTATUS_TALLOC_CHECK(x)

metze
(This used to be commit a2cc9517208adedbcbed4b01d18a1478f75d70df)

r2952: add idl and torture test for DsCrackNames
(I need to find out what the fields mean but it works)

metze
(This used to be commit eff51fc623f2e7b57e7e53eb81760684815db2f4)

r2951: fixed the intptr_t test for discard_const()
(This used to be commit 3318cf2722597e57d1731152b2607f6b167e45b9)

r2950: 0x40000 is clearer than 262144
(This used to be commit c17d9254d42e5966fbdfeeda18023c8c0203dad1)

r2949: added some range checks in samr.idl
(This used to be commit 8921e34f989977efc5f9d4f5eabf21bbb5f52115)

r2948: added support for the [range(low,high)] attribute in pidl. This allows
range checking of any integer value, to help protect against denial of
service attacks (which could otherwise cause large memory allocations)
(This used to be commit dbe6430d78f1b9aa59969074077e4afa5adf7570)

r2941: added pvfs_flush() implementation to the posix backend
(This used to be commit dac00ef3b0d0f8467367d7b6ff77db7b63a042cc)

r2940: Complain when there is an attempt to register a backend for a subsystem that does
not (yet) exist
(This used to be commit 0130713fbe3d838964542a700839c4e276b18547)

r2939: Use /* */ style comments
(This used to be commit c5d4fae3b157c5559b8b15dde16451e91c0fc022)

r2938: Use IDL to dissect the RHS of floors in protocol towers
(This used to be commit 273d0049b5339e3288b264e5a4393bfab1d4e239)

r2937: Make sure all memory is initialized
(This used to be commit edf28c42f3c9b41c82a4f642ddae23efbb12c944)

r2934: - changed the unixuid module to use the nt_user_token instead of the server supplied info structure.

- added SID_WORLD and SID_NETWORK to the foreign sids in the
  provisioning, as these are auto-added to the nt_user_token (why is
  that done? Andrew?)
(This used to be commit 1dff12fba88827660a2647457867bf4ff6bc8d3d)

r2933: Only pull a union once when it occurs in a subcontext
(This used to be commit 309623447eef9ae554e2f25713c2123ab578cc6e)

r2932: character expansion in strlower_m or strupper_m is considered fatal
(as it could cause a overflow). Print a message giving the character
values involved in the expansion so it can be debugged if it happens.
(This used to be commit 2a6f59f376a132fcbce8c8e9d1b38d8aae3e8561)

r2931: use next_codepoint() to ensure we properly handle multi-byte characters in pvfs_unix_path()
(This used to be commit 0acf95d84c51d564f7215d34364c37ca74a2a150)

r2930: added a security context cache to the unixuid module. The module
doesn't actually leave us in the requested sec context between
requests yet, but it does prevent us from doing the samdb lookup on
every packet.

This change speeds up the BASE-MANGLE test against Samba4 with 5000
operations from 61 seconds to 16 seconds. For reference, Samba3 takes
27 seconds for the same test (the string and filename handling in
Samba4 is much more efficient than Samba3)
(This used to be commit da0481ac75a01270897da5aa24dbb2b431928b30)

r2929: longhorn does not produce sorted directory listings! This is
excellent, as it means we don't lose any compatibility by also not
giving sorted listings. I was very much afraid that applications had
begun to rely on this (as its guaranteed by w2k NTFS).

no longer mark a non-sorting server as an error
(This used to be commit 1d21c9a9d1879f5b3de15d251b6bb379c326002d)

r2928: - fixed the handling of reserved names (rejecting them with ACCESS_DENIED)

- don't check for '.' specially in checking for legal names. Longhorn
  doesn't do this any more, and its a real pain. Longhorn allows for
  filenames ending in '.', and with as many '.' elements as you like.
(This used to be commit 0a475175c53016bfa5b8246819676ddcd8b66feb)

r2927: imported the hash2 name mangling code from Samba3 into Samba4, but
heavily modified to suit the Samba4 architecture.

Samba4 with posix backend now passes the BASE-MANGLE test
(This used to be commit ed52d69e8a065b6a8df2fb73c89be67acfdbca65)

r2926: name->dos.attrib is not valid unless name->exists is true
(This used to be commit f85a0b725d3bf67531e6874d4e8558fb050bb66f)

r2925: added the definition for a new rpc fault code I am seeing on epmapper from lhorn
(This used to be commit 9ef399a769805ecfc78fc32e066b20e8efe34290)

r2922: Add note about 'server-side' binding strings
(This used to be commit 666611d0343d61847341d8159d69e488f041a7ad)

r2921: Add a few more protocols and fix the numbers associated with some of
the current ones. It took me three hours to realise that the DCOM standard
contains false protocol numbers (apparently someone converted the protocol
numbers to hex twice, i.e. 13 -> 0c and 14 to 0d). There are no longer
duplicates in the list with protocol numbers now.
(This used to be commit f355cd426462a72575ef3c3b769f676334976986)

r2920: Support passing a handle to a SAMR pipe to a RPC Binding or Select
Host dialog so that one can select a domain from the list of known
domains.
(This used to be commit 5e0bab891199c888bdf87faa29acc38d9ca5151b)

r2916: longhorn client doesn't bother setting the directory bit in ntcreatex
when opening directories. This change allows samba4 server to work
with longhorn client.
(This used to be commit 4a8b0302eff37ccfcb66b91259ee5da20879c652)

r2915: Open domain first before enumerating users and groups
(This used to be commit 9560a6c8cc650c3a519b14c79f497e6bd9ef387e)

r2914: ... and support enumerating values (data is not handled yet, only the names)
(This used to be commit b3bc055ac73ff239c2b267717ee91669ecdd4c9b)

r2913: - Don't print hive name if it is NULL (regtree)
- Initialise hive name (reg_interface)
- Fix LDB backend (enumerating keys works now!)
(This used to be commit 5086d6b2494f236ef67096b2dd4da4f7402a65c5)

r2912: Test for the sort-of weird file stamp semantics. The last_write seems to be
updated only by an arbitrary close() after the file was actually written to.

Volker
(This used to be commit ab52ebfdccc65ca510d74ce8e0205b45b58550ef)

r2911: Fix bug in opening relative keys
(This used to be commit e7c256a92cc6cbe1cd6cc11a8fb37feba272d01c)

r2910: I noticed that the samr torture test was doing its own DOS->UNIX
string conversion. For RPC, all string conversions are supposed to be
done by the NDR layer, using string flags set in the IDL. The reason
this wasn't working is that I had been too lazy to do the STR_ASCII
string types properly at the NDR layer when initially writing
ndr_basic.c.

This commit fixes the ndr_basic code properly to do all ASCII
varients, by re-using the non-ascii code and a "byte_mul" local
variable. I have also removed the manual string conversion in the SAMR
torture test code.
(This used to be commit aad0e7e9d890bb56447f1f933b8f2bb78a3ee269)

r2909: fix some RAW-SEARCH torture mem leaks
(This used to be commit 75ca5ba5091c9046159531b917ff17a519013556)

r2908: fix typo
(This used to be commit f544f830630c8d0bd37a66dc06683621c4dbcdde)

r2907: auto destroy iconv memory handles on exit, to make valgrind leak
reports easier to read (less noisy)
(This used to be commit e3009492b85ac90836aa9341687df5869f4ea291)

r2906: fixed a memory leak in the smbclient -L code
(This used to be commit 0181fe06b4736661871515a7e2ab0d67bc8568fe)

r2904: - fixed the old style SMBsearch to return the pvfs shortname, not a truncated long name.

- short name can be up to 12 bytes, not 11
(This used to be commit 657103ec6264bf4c2986fedd3fc6577746395d49)

r2903: a considerably more efficient (both in terms of CPU and memory)
convert_string_talloc() implementation.

the previous version used a minimum of 512 bytes, which is way above the average
of what is needed.
(This used to be commit abcd841a8530ba3273d56c9001ea277611507be3)

r2902: make toupper_w() and tolower_w() slightly faster by putting the most common
conditions first
(This used to be commit 878f6b565f4e80eefbb08f44551b3b4f647d7aa7)