more locktest improvements

the current preset tests show a very interesting NT bug - it sometimes
refuses a lock that it shouldn't.

fixed message text

if the stat cache is off then don't initialise it

added -A analyze mode to locktest - it can now automatically prune
the list of locks that cause a failure

found a much simpler case that kills the posix locking

fixed a uninit memory read that insure found

added ability to present lock tests

Fix for debug statement crash.
Jeremy.

unicode code pages are detected as compiler intermediate file so set to
nostrip

Fix based on Elrond's code to reduce the store size on removing dead records.
Jeremy.

Fixed the bug locktest.c found, it was an off-by-one error in the non-overlap
case.
Jeremy.

Fixed silly bug where I wasn't checking for matching fd's in closing a file.
This caused smbd crashes on SIGKILL.
Jeremy.

Added range info to the panic message to track down the bug with
locktest.
Jeremy.

improved the lock test program

- clear dead locks at startup

- fixed a bug which caused lock records to not decrease in size

added a nasty lock testing program

it opens 2 connections to each of 2 servers, and opens 2 fnums on the
same file on each connection (a total of 8 file descriptors)

then it does random lock/unlock/reopen requests in a 100 byte range on
the file and compares the results from the 2 servers.

strangely enough, NT fails this test against itself right now - I'm
still trying to figure that out.

Fix for stacking locks in brlock and POSIX. Windows only allows a read lock
to overlay a write lock on the same fnum. When overlaying read locks onto
a write lock, the number of locks is counted, and the first unlock removes
the write lock and downgrades this to a read lock. Do the same when mapping
to POSIX.
Jeremy.

Added read overlay write lock on same fnum test to locktest2.
Added locktest5 for locking stacks.
Jeremy.

Insure uninitialized memory read fixes.
Jeremy.

merge 2.0 changes

Fixed wild pointer diff found by insure.
Jeremy.

Implemented the last (I hope:-) part of the locking puzzle, the reference
counting when Windows downgrades a write lock to a read lock, then reference
counts the unlocks to match the locks.
With this code the POSIX unlock isn't done until the final Windows unlock.
Jeremy.

added support for deleting printers into the spoolss system

split the username in the vuser structure into a separate
userdom_struct. As the name implies this also contains a domain
(unused at the moment).

This will be important shortly, as operation in appliance mode needs
the domain to be always carried with the username.

and yet another memory leak - this one in the client

fixed a memory leak (calling hash_table_init twice)

fixed a memory leak

Moved uglyness needed in fcntl locking (64->32 bit mapping, NFS
errors etc.) into locking/posix.c, where it is needed. fcntl_lock in lib/util.c
is now very small and clean.
Added (*lock) op to vfs layer.
Jeremy.

Added sys_fork() and sys_getpid() functions to stop the overhead
of doing a system call every time we want to just get our pid.
Jeremy.

locking/posix.c: Fixed double-free nasty crash bug found by insure.
utils/make_smbcodepage.c:
utils/make_unicodemap.c: Insure 'make install' fixes.
Jeremy.

handle tabs in printcap files

this is needed for lprng

allow a DEFAULT_PRINTING to be specified in CFLAGS

fixed typo

added TDB_INTERNAL, TDB_NOLOCK and TDB_NOMMAP flags.

TDB_INTERNAL replaces the old method of passing a null filename

 - added some error checking
 - removed the VTP hook in smbd

fixed dptr_wcard handling (need to use strdup)

fixed parsing of broken NT short name

handle the special rule of *.* for old style listings when old_list is
true

removed more cruft from our old wildcard matching code

go back to ascii in SMB_FIND_FILE_BOTH_DIRECTORY_INFO

NT gives out unicode, but NT clients can't handle a unicode response!

fixed our smbsearch code. We now store the mask with the dptr, this
turns out to be essential for a correct implementation (there ins't
enough room to store all possible masks in the status return
structure!)

fix handing of ascii_to_unistr

- get the findclose code right
- handle broken NT response to trans2 findfirst

added cli_list_old() to allow for old style directory listing from
masktest

some cleanups

we don't need fnmatch.c any more

changed masktest to test the internal algorithm against one server,
rather than 2 servers

- removed all our old wildcard matching code and replaced it with a
call to ms_fnmatch(). This also removes all the Win9X semantics stuff
and a bunch of other associated cruft.

- moved the stat cache code into statcache.c

- fixed the uint16 alignment requirements of ascii_to_unistr() and
  unistr_to_ascii()

- trans2 SMB_FIND_FILE_BOTH_DIRECTORY_INFO returns the short name as
  unicode always (at least thats what NT4 does)

- fixed some errors in the in-memory tdb code. Still ugly, but doesn't
  crash as much

YIPEE!!!!!

We finally have a perfect emulation of Microsoft wildcard
matching. The routine ms_fnmatch() does wildcard matching with all MS
wildcards (including the unicode wildcards), and masktest against a
NT4 workstation with hundreds of thousands of random exmaples has not
found a single error.

amazingly it is only about 60 lines of code, but it has taken us years
to get it right. I didn't sleep much last night :)

put tdb utility functions in a separate file

Removed tdb locking calls (picky Andrew...:-)

Moved deletion of vfs handle into smbd/conn.c as it was being done too
soon in smbd/service.c (file operations were being done after the
handle was closed).

It looks cleaner in smbd/conn.c as it is part of the closing of a conn
struct anyway.

Jeremy.

Ok - this is the *third* implementation of this (third time's the charm :-).

This implementation keeps all POSIX lock records in a separate in memory
tdb database only known about in locking/posix.c. In addition, the pending
close fd's are also held in a tdb which has an array of fd's indexed by
device and inode.

The walk-split code uglyness has been moved to posix.c from brlock.c,
which is the only place that needs to know about it, and the extra
functions hacked into brlock to expose internal state have been removed.

This implementation passes smbtorture locktest4, the only thing I need
to check now for completeness is what to do about lock upgrade/downgrades
which Win32 allows under some *very* strange circumstances.

Jeremy.

Split off of POSIX locking into separate unit as Andrew requested.
Done so I don't lose my edits... :-).
Jeremy.

Added info level 1005 to netsharegetinfo (is the share a DFS root)
Added dfs_server announcement in set_default_server_announce_type()

Added tdb_get/set_int_byblob, which takes a size_t len and then implemented
the tdb_get/set_int string functions in terms of them. Will be useful in storing
POSIX pending close records (which are ints but indexed by dev/inode pairs).
Jeremy.

Forgot to close when "posix locking" is set to False.
Jeremy.

Added optimization where we are single opener (don't free POSIX locks).
Jeremy.

Made changes suggested by Andrew review.
fd_close now calls fd_close_posix() directly.
set_posix_lock/release_posix_lock() now handle the reference counting.
More changes due when this gets moved to the file locking/posix.c
Jeremy.

Ok - this is more subtle than it looks :-).
When a file is being closed, once it passes the fnum and tid tests then
the locking context should be ignored when removing all locks. This is
what is done in the brl close case, but when you have outstanding
POSIX locks, then you cannot remove all the brl locks in one go, you
have to get the lock list and call do_unlock individually. As this
uses global_smbpid as the locking context, you need to make sure
that this is set correctly for the specific lock being removed. I
now do this by storing the smbpid in each entry in the unlock list returned from
the query call. I removed the smbpid from fsp (not needed) and
things seem ok (even with the stupid smbpid tricks that smbtorture plays :-).

Jeremy.

Fixed subtle unlocking bug when a file is closed. We need to store the
smbpid used when a file was opened in the files_struct. Else we use
the wrong global_smbpid when we are closing the file and trying to
remove the brl locks - this causes the brl locks to be left when the
file is closed as the samba_context check fails.
Jeremy.

Did the rewrite Andrew wanted where all knowledge of POSIX locking is
removed from the smbd/open.c code.
We now use a dlink list of structures indexed by dev/inode to store
all pending fd's for close. This could be rewritten to use lib/hash.c
if this is discovered to be too slow in use.
Andrew, please take a look and let me know if this is what you
had in mind.
Jeremy.

Fixed crash bugs Andrew pointed out with LOCK4 smbtorture
test. Was miscounting posix locks, plus was not taking into account
the case where other_fsp == fsp in the 'move locks' case. DOH ! This
code will be re-written anyway :-).
Jeremy.

Fixed range check on writeX.
Jeremy.

Tidyup of smbecho.
Jeremy.

file winbindd_ntdom.h was initially added on branch SAMBA_TNG.

file ntdom_config.h was initially added on branch SAMBA_TNG.

quick hack to get smbtorture working again

Added the hard code :-).

HEAD should now map brl locks correctly into POSIX locks, including the
really nasty case of large range unlock.

There is a lot of pretty ASCII art in locking/brlock.c explaining
exactly how this code works. If it is unclear, please ask me.

Jeremy.

moved trans2.h and nterr.h into includes.h with all our other includes

split clientgen.c into several parts

the next step is splitting out the auth code, to make adding lukes
NTLMSSP support easier

added TDB_MODIFY flag - patch from from luke

fixed a memory leak in nmblookup

fixed a memory leak of devmode in spoolss

this stuff is screaming out for talloc() rather than malloc/free

don't qsort a list less than 2 entries

Added the code that keeps fd's open across a close if there are other fsp's
open on the same dev/inode pair with existing POSIX locks.

This is done at the smbd/open layer, so smbd just calls fd_close() and
the transfer of any open fd's is done under the covers of fd_close().
When an fsp is closed and no other fsp's open on the same dev/inode
pair have existing POSIX locks then all fd's associated with this fsp
are closed.

Now only the hard part of doing the POSIX range unlock code when read
locks overlap remains for full POSIX/SMB lock integration....

Jeremy.

Now that fsp's are created on successful file open, the structure member
fsp->open is no longer needed (if an fsp pointer is valid, then it's open :-).

NB for Luke, this patch also did not apply to TNG. TNG is not yet
identical w.r.t file serving with HEAD. This makes it impossible for
me to help maintain TNG. Please fix asap.

lib/substitute.c: Removed unused variable (pidstr).

Jeremy.

dump in a binary format

use an size_t not a ssize_t when checking for out of bounds errors

moved INSURE hook into util.c

fixed another memory leak

fixed a parameter bug found by insure

moved the INSURE hook into util.c

more pstring/fstring errors found by insure

fixed a locking database bug - it was actually harmless except that
smbstatus could display the wrong filename when files change dev/inum
after a rename

don't close high fd's in smbrun when using insure (prevents closing
error fd)

another fstring/pstring fix

fixed another spoolss memory leak

I am falling in love with insure - it is finding _lots_ of memory
problems

fixed a memory leak I caused last week with my lines[] changes

split out standard_sub_basic() again to fix a bug where %p was being
substituted in the loadparm code and thus leaving lpq with no printer

we can't pass a fstring to a routine expecting a pstring

check for a valid snum when running a printing command

Makefile.in change for split of printfsp.c

split fsp specific routines out of printing.c to fix linking problem
in TNG

fixed two uninitialised memory references

trick to get full stack trace when using the free version of insure

insure caught an uninitialised memory reference - ensure it starts as
zero

avoided a memory leak in the ubi code by deleting a mangled cache
entry before adding to ensure that we don't ever add a duplicate entry

this code can be removed when ubi gets fixed

fixed a prs memory leak (weren't freeing input buffer)

if using insure then don't close fd 2