r4962: add infrastructure to use raw krb5 auth in dcerpc client code

Note this doesn't work currently because the gensec_modules are not ready for that yet

metze
(This used to be commit 7b09a3f725baca5d4483b7ec24a9cb6151557bb5)

r4959: fix compiler warning

metze
(This used to be commit e849db13dce1233a37c5b175cf8bea0a473ba6d7)

r4958: fix compiler warnings

metze
(This used to be commit 522af7ecc0020b7c56182ca628f6d1623abe303e)

r4957: the fetchfile _recv() function was neglecting to steal the data and
free the connection context. This left a whole lot of state hanging
around and didn't give the memory to the caller properly
(This used to be commit 3e13e1d526563d91cb2342ae68455e54eb49a9bd)

r4956: - moved the definition of the mangle context structure into a pvfs_shortname

- made the mangle cache size configurable
(This used to be commit 4adbd01812a53395f175bd6d8e402ad5451f7561)

r4955: fixed a couple of minor memory leaks in the auth_sam code
(This used to be commit 2eba223bda43a81e7aa795e58e551b0b556ddcfa)

r4954: we don't need the separate event_remove_*() calls any more, as you now
remove an event by calling talloc_free().
(This used to be commit 8f19b6886cc58a56d52aecfc83a175197061e533)

r4953: - enable easy valgrind use in all our test scripts

- when valgrind isn't set, then setup MALLOC_CHECK_ to abort on error
(This used to be commit 21e629e80e5b320616135d3f3641801dc29594e6)

r4952: removed a bogus talloc_steal() that was trying to cope with the
inverted memory hierarchy. Now the memory hierarchy is logical its not
needed (and can cause a double free in RPC-SCHANNEL)
(This used to be commit f8a950b57d7137c6fd0a77d063d946b4f9b3f014)

r4951: some of the code dealing with libcli was getting too complex trying to
handle the inverted memory hierarchy that a normal session
establishment gave. The inverted hierarchy came from that fact that
you first establish a socket, then a transport, then a session and
finally a tree. That leads to the socket being at the top of the
memory hierarchy and the tree at the bottom, which makes no sense from
the users point of view, as they want to be able to free the tree and
have everything disappear.

The core problem was that the libcli interface didn't distinguish
between establishing a primary context and a secondary context. If you
establish a 2nd session on a transport then you want the transport to
be referenced by the session, whereas if you establish a primary
session then you want the transport to be a child of the session.

To fix this I have added "parent_ctx" and "primary" arguments to the
libcli intialisation functions. This makes using the library much
easier, and gives us a memory hierarchy that makes much more sense.

I was prompted to do this by a bug in the cifs backend, which was
caused by the socket not being properly torn down on a disconnect due
to the inverted memory hierarchy.
(This used to be commit 5e8fd5f70178992e249805c2e1ddafaf6840739b)

r4950: removed some excessive debugging messages
(This used to be commit 4a351901aa49090700d89274559d6dda76f06b7d)

r4949: First version of a fetchfile composite function which connects to a server and
loads a file. Needs a smb url parsing wrapper.

Volker
(This used to be commit fa435bf7c878d4a5beb6afb2ed6e2990abc11e82)

r4948: Typo fixes in comments.

rafal
(This used to be commit 97d40f1603eeed1b5ff3f2c7d668858fef20f130)

r4945: the te element isn't needed any more

In general, now that events are children of the structure they are
handling events for, the caller only needs to keep the event handle
around if it plans on changing the event flags later
(This used to be commit 8c8955155476827408c107af38089c8320631526)

r4944: every event_add_*() caller was having to call talloc_steal() to take
control of the event, so instead build that into the function. If you
pass NULL as mem_ctx then it leaves it as a child of the events
structure.
(This used to be commit 7f981b9ed96f39027cbfd500f41e0c2be64cbb50)

r4943: Smplified the events handling code a lot. The first source of
complexity was that events didn't automatically cleanup
themselves. This was because the events code was written before we had
talloc destructors, so you needed to call event_remove_XX() to clean
the event out of the event lists from every piece of code that used
events. I have now added automatic event destructors, which in turn
allowed me to simplify a lot of the calling code.

The 2nd source of complexity was caused by the ref_count, which was
needed to cope with event handlers destroying events while handling
them, which meant the linked lists became invalid, so the ref_count ws
used to mark events for later destruction.

The new system is much simpler. I now have a ev->destruction_count,
which is incremented in all event destructors. The event dispatch code
checks for changes to this and handles it.
(This used to be commit a3c7417cfeab429ffb22d5546b205818f531a7b4)

r4942: converted the cifs backend to not use event_context_merge(). Instead,
is supplies the server event context during the connect.
(This used to be commit 133e67bb1fa661b0e0d340091be4160f9af04fe3)

r4941: - all needed data is now in sam.ldb and hacked.ldb is not needed anymore by the hacked ldap backend
- readd the schema naming context container object as it's needed for a w2k3 dc join

metze
(This used to be commit c583f806231652cce9879e9fc4237a5ab0774346)

r4940: Add a variable to hold a list of typedefs for which we shouldn't generate
a dissector for.  A hand written dissector needs to be added to eparser.c
for the plugin to link.
(This used to be commit d4f7f6b0b41cb572320a5aeaf771c5af2b7bf13d)

r4939: make a few more private pointers type safe (this might help abartlet
track down a bug he just told me about)
(This used to be commit fb326cbb32ef7eebb7073777d834d6bea25069a7)

r4938: allow the caller to supply an existing event_context if they want to
in smb_composite_connect_send(). This makes doing parallel calls much
easier.
(This used to be commit 442308970c123b9fb25615673049e1c1c234a0b9)

r4937: simplify the connect code in the same way
(This used to be commit 347dfa47249d55c61e1e7c82d10444a71aca8a85)

r4936: moved to a convention where the completion function is only called in
one place. This makes the code more robust, and simpler (it would have
prevented the error that volker found).
(This used to be commit 420b53091ee784d7891fb62d48e2f5a225b4dbf8)

r4935: fixed a bug where "c->status = xxx_handler(x);" could write to c after
it is freed. The problem is that the handler might complete the
request, and called the c->async.fn() async handler. That handler
might free the request handle.
(This used to be commit c4faceadc74e0849f6197ccbec9952f6c94f6176)

r4930: Update my copyright.
(This used to be commit 362151788bed06d934f111459abe7f6491362906)

r4927: parse the NBT session request in the smb server. This gets rid of that
annoying "not parsing session request" message on each SMB connection
(This used to be commit b06b8dd2f4f4fea750b05fd29d68372828159f16)

r4924: continue the effort to simplify and generalise the composite
interface. This patch removes the "stage" variable, which is really
better suited to the backend state structures
(This used to be commit 39da684ea8bc72d7a4a12c00eaad56b4f32890a9)

r4923: Avoid using krb5-config in the path if a krb5 prefix was already set.

Andrew Bartlett
(This used to be commit ff8298bb90b78dc52c11e2cdecf5041b9e243f35)

r4922: fixed an infinite loop in the name resolve code when handling a method
in smb.conf that isn't implemented in the library
(This used to be commit dd5b43ed37b37feec4708f8f13033b42eb6a838c)

r4919: if a caller doesn't provide an event context to the resolver library,
then create one. This fixes a crash in the RAW-NEGNOWAIT test for
'host' resolution.
(This used to be commit 3268d523cc381b9b3077f794bb53daf0865d139c)

r4916: added "host" name resolution using fork() per gethostbyname()

comments welcome, but please think about the alternatives first :-)
(This used to be commit 3d40b479907226be349137117e0d2bd718efa1a8)

r4915: free temp context _before_ the async callback, as the async callback might destroy our top level context
leaving the tmp context freed (so a double free)
(This used to be commit b20c0561b8ec3ec7010f846be7a39165783e15c2)

r4914: Fill in the realm for the self-join.

Andrew Bartlett
(This used to be commit bc901ecfb4babe72858185e79b91f6a53c04b71f)

r4911: make sure we fill in the transport called name on port 445 as well
(thanks to abartlet for spotting this bug)
(This used to be commit 8b653f12f21e7a8eee8e60cefb193505c2df7f8f)

r4909: fixed name_trn_id generation (thanks to metze for spotting the bug!)
(This used to be commit 9d2d16ce5fd57cad01ddaf1112beed916cc2088d)

r4901: a bit more info on nbt packets under high debug level
(This used to be commit 9a34af29388d8ca837c670d054a76d1f75098cbd)

r4900: build fix for IRIX 6.5
(This used to be commit f6ff9e6f39efdb312384ebb651b8e0f01e9e8df1)

r4899: fixed build
(This used to be commit 852f1e73b4b4241a61372279318c23369488d3bc)

r4898: - removed the unused wins_srv_*() code

- expanded the generic async name resolver to try multiple methods

- added wins resolutions to the list of methods tried

- fixed up the random trn id generation to use the good random generator
(This used to be commit 266fd2751c01808e5a18d4094032af50554ceb7a)

r4897: Unbreak the LDAP server.  Somehow the generic service structures
(which seem just a little too complex) changed, but this code was not
updated or tested.

Also clarify the existing code, by not reusing variables.

Andrew Bartlett
(This used to be commit eb46adade4a0b9f0977479eb767c0bc7936a9585)

r4896: make sure the event context doesn't go away while waiting for event completion
(This used to be commit c1063919c069b0b36dd3da6dc6853236629804e3)

r4895: I missed this in my previous 'use secrets.ldb' commit.

Andrew Bartlett
(This used to be commit 53b98c674b28a85eec9748a079c950bd7fa88384)

r4894: namecache.c is not used any more either
(This used to be commit 24927e69d824a1f3c01b2f63876afdfc6064d5ac)

r4893: Move to using secrets.ldb for the Kerberos verify, instead of
secrets.tdb from Samba3.

Andrew Bartlett
(This used to be commit 21bfda2a0d1c8373f8800269ed9b982e1b9a19e5)

r4892: we don't need nameserv.h any more
(This used to be commit 1c83c80ef2b7e5f9eb5cd2242e37d136aed181b8)

r4891:  - added a generic resolve_name() async interface in libcli/resolve/,
   which will eventually try all resolution methods setup in smb.conf

 - only resolution backend at the moment is bcast, which does a
   parallel broadcast to all configured network interfaces, and takes
   the first reply that comes in (this nicely demonstrates how to do
   parallel requests using the async APIs)

 - converted all the existing code to use the new resolve_name() api

 - removed all the old nmb code (yay!)
(This used to be commit 239c310f255e43dd2d1c2433f666c9faaacbdce3)

r4890: Try to cope with mechanism mismatch in the client speaks first version
of the SPNEGO state-machine.  (Such as on LDAP and HTTP)

Andrew Bartlett
(This used to be commit c1cae6b3b1efe109a09e449ed2e09983431eac7e)

r4889: make sure ndr print flags are initialised in ndrdump
(This used to be commit c5c65ad8fb21e515535286c52847f3eb990f8036)

r4888: use the neater calling convention
(This used to be commit d93b6a5b8e9e4bf86a96262db21aa3fc1490e91d)

r4887: removed a bogus cast
(This used to be commit a034556faa5d15fee44a58be3aea8aee8ffae3c8)

r4886: fixed two places where we process the send side of a socket after the
recv side in the same event. That's a bad idea, as the first callback
could decide to destroy the socket.
(This used to be commit bf74ea34fc0e3c31e220c8f5a9217c95f3ca1d52)

r4885: added a new NBT client library. Features include:

 - structures defined using IDL in nbt.idl
 - build around our events structure, and talloc
 - fully async
 - supports all NBT packet fields as per rfc1002
 - easy interfaces for name query and status

For the moment there are just a couple of test functions in
namequery.c, test_name_query() and test_name_status(). These will be
removed when we hook the new library into libcli/ fully

The new library will also be a fairly good basis for a nbt
server. Although it can't be a server as-is, I wrote it with the needs
of a server in mind (for example, extremely scalable idtree based
packet handling)
(This used to be commit ae7e625bfa4b4a3ee32c64566064b6a4c84ee4b9)

r4884: - 2nd part of support ndr_size_ generation on unions as well as structures

- added "nopull" and "nopush" flags, to allow for externally written parsers for sub-structures
(This used to be commit f65f239978425de795a0e188aaad3d5d1167da32)

r4883: support ndr_size_ generation on unions as well as structures
(This used to be commit 852ad354b481f130f80213f2924ad44d10340b21)

r4865: Fix up subtree name when dissecting unions.  E.g in LSA, The subtree
used to be called something like "Level, R->out.info" but now is called
"Lsa PolicyInformation".
(This used to be commit be2bb36856bee1c2882e063beb7c04ac5e5889de)

r4863: schema_find_attribute() should be static
(This used to be commit e7262dccce1ccc563fad48023c733c1d13929b4b)

r4862: - better structure schema tests
- fix check for deletion of required attributes on modify
  removed by mistake with the previous commits
(This used to be commit 0315159daf157b64ef3452372dd74199600e24b8)

r4859: changed a numbe rof things:

- Try to no tcopy memory if not necessary
- let the searches hang around until we finish the operation
- greatly simplify the modify operation

still todo:

- check attributes syntax
- check objectclasses type, we cannot allow to add a new structural
  objectclass to an exixting entry unless the existing one is a parent
- more tests
(This used to be commit c6257379e094881987cd11e05502129b2ce1c5a0)

r4858: a better fix for alignment of enumerated types (I'm not even sure why
the last fix worked at all)
(This used to be commit 99cef2e5a0412ede455cb1579541550efa49502a)

r4844: - Remove the unused attrsyn structure
- Change 0 to NULL when checking allocations
- Introduce the schema_attr_cmp hepler function
- Do not allow auxiliary classes to be missing
- Try to ease code readability and try to get
  main code out of loops when possibile.
(This used to be commit a30f647b8abe6b77ef73018f58af2f8a11689b91)

r4843: fixed the alignment handling of enumerated types
(This used to be commit d2946dfabbc727633cdb17c3956fc120e214140c)

r4842: Set the end of a structure so that when you click on the proto tree,
the hex display window highlights the part of the buffer occupied by
the structure.  Cool!
(This used to be commit b5c13fc6b8fe3f8dfa5ada73d33bd13cd607ebc4)

r4841: Handle levels that are signed integer types.
(This used to be commit 40d49d6279431bf1af343e3eb22038ef9d8b39e6)

r4833: added LOCAL-SOCKET to the list of tests that are expected to pass
(This used to be commit 480a4e3d9029fbeca876c736e7c87bc3352b4b4c)

r4832: added simple testing of tcp sockets to LOCAL-SOCKET test
(This used to be commit c06b25c269fb34601e931079ff5658f6e19956bc)

r4831: added udp support to our generic sockets library.

I decided to incorporate the udp support into the socket_ipv4.c
backend (and later in socket_ipv6.c) rather than doing a separate
backend, as so much of the code is shareable. Basically this adds a
socket_sendto() and a socket_recvfrom() call and not much all.

For udp servers, I decided to keep the call as socket_listen(), even
though dgram servers don't actually call listen(). This keeps the API
consistent.

I also added a simple local sockets testsuite in smbtorture,
LOCAL-SOCKET
(This used to be commit 9f12a45a05c5c447fb4ec18c8dd28f70e90e32a5)

r4828: don't apply the schema until we get it working properly
(This used to be commit 37a133c8171087aceec4f377d513f7c28d726b14)

r4819: its just not my day today ....
(This used to be commit e54a97f8a67a04427b36cb4afac204c4e5f4502a)

r4818: missed version.h here
(This used to be commit 03953803519e5284b4092db12c6279370456c857)

r4817: ccache was being made ineffective on all the build farm machines
because the version number was being auto-updated and included in all
C files. With this change it is only included where needed.
(This used to be commit 520cff73c6dc62ba1050cf7ca5145d50b5f2bb4e)

r4816: Note that NTTIME is 4-byte aligned which makes the comment about alignment
for NTTIME_hyper make a bit more sense.
(This used to be commit 03c1dcb59658e92da6f7643350c06f9efa42f6c4)

r4815: Handle uint8 and uint16 bitmap types.

Break out arguments to proto_register_protocol() so they can be renamed
easily.  Unfortunately the "pidl_" prefix will have to stick around if/when
the old dissectors are removed because the filter and short names clash.
(This used to be commit f2ce80e3350337ef795eb32f2478d218c2e382c3)

r4814: cope with perl not being in /usr/bin for idl building
(This used to be commit 1fc9448ccb0c2038c128e13535fce83d32f39058)

r4813: this is a temporary solution to a link problem we have on some
platforms. The problem is that some loaders (for example the IRIX 6.5
machine us4 in the build farm) must have libs listed after object
files that depend on them on the link line. If you put the libs first
then all the symbols in the libs remain unresolved.

I think the correct fix for this is to separate xxx_LINK_LIBS out from
the current xxx_LINK_FLAGS, and use xxx_LINK_FLAGS followed by
xxx_LINK_LIST followed by xxx_LINK_LIBS. I'm hoping metze or jelmer,
as our build wizards, might take a look at this when they get time.

This interim fix should work fine, but its rather ugly, as it lists
the flags and libs twice in each link.
(This used to be commit db7d43fbb95748c85316b41ad3dc4eb967ed8a08)

r4812: removed dependence on Data::Dumper

if you need Dumper for debugging (and it is damn useful!) then please
use the require trick in MyDumper() from pidl so we don't end up
depending on it. Too many systems don't have it.
(This used to be commit b9f32d2812bde0a4389971487006f9c553b5e3c1)

r4811: now that the event context is at the socket level, the event cleanup
should be there too
(This used to be commit 058ae5527e3daeb50eeea9e0ecee858c84e7e17d)

r4810: fixed anonymous connections with smbclient. Thanks to jbm for pointing this out.
(This used to be commit 7da0af98a0e0bc743d3c64be30b37cbc45e00737)

r4806: - add some data to the configuration naming context

- add some stuff to make w2k3 dc join to get the correct
  values

metze
(This used to be commit d1490635622023f5c672eea70260265960ac48b6)

r4804: add more emuns and bitmaps

metze
(This used to be commit 3381617a031db1dfb9dc7fc30f13e260f1dc589a)

r4801: remove the two bogus ctype.h includes
(This used to be commit b221c3dbb9a7af88f917562b6f907fd0617eb05f)

r4800: proper fix for the _GNU_SOURCE problem with comparison_fn_t
(This used to be commit 4181b38fac426cfc786e52cdd43fdeddbc26651f)

r4799: comparison_fn_t is under __USE_GNU on GNU systems, therefore, we need _GNU_SOURCE defined in the test
(This used to be commit b4200a462354cb605eb6af41427027147798de6e)

r4798: When dissecting structures, name the protocol tree after the field name,
not the field type (i.e DACL and SACL instead of dom_sid).
(This used to be commit 2c0e77869f9f04a75785990c79e611134643f89e)

r4797: Add the name of what we are pointing to when dissecting pointers.
(This used to be commit 6fc162738f86f8f7df013623e57a21970a8b6f36)

r4796: Get rid of unecessary #include
(This used to be commit 2950dbd87c8ff535277b817268c8a601eee42ba2)

r4795: stronget type checking in composite connect function
(This used to be commit e16f67c931ba93011d52fdf14312d12a9b09c49a)

r4794: - disabled the ntacl command line utilities until they are rewritten to use the same
  acl format as we use in pvfs (and hopefully use common code too)

- removed a lot of old cruft from our autoconf tests. This may well break some builds,
  but then we can fix them properly instead of the "if solaris version 5.1.2" crap

This was prompted by someone sending me solaris 10 patches that
patched the configure script with if statements for several more
versions of solaris to check for and do special stuff. That is just
silly.
(This used to be commit 1ea59d1146f041e9befbb435e901c6d7d497c52c)

r4793: minor doc updates
(This used to be commit ad1af519eb1a138e44cc94676f845b8ba65e3371)

r4792: use type safety int the test suite too
(This used to be commit 4a963e3b7aa38f0f6907bcd8acaaeb8c7982cafa)

r4791: used the new talloc type safety macros to make the "void *private"
pointers in the composite code type safe.

This is a bit of an experiement, I'd be interested in comments on
whether we should use this more widely.
(This used to be commit 0e1da827b380998355f75f4ef4f424802059c278)

r4790: added type checking helper macros in talloc. These take advantage of
the type names that talloc already keeps around for pointers, and
allows the user to type check void* private pointers. It can also be
used to implement polymorphism in C, as I'm sure someone would have
pointed out to me sooner or later :-)
(This used to be commit c283e1a3efac3a92e29a35856e20eb61ef4c221e)

r4787: Clean up gepdump code somewhat.
(This used to be commit 128e97cef614bc62ff3327aa15cd5eb636e67a58)

r4786: forgot to commit the exclusion for schema checking against our control entries
(This used to be commit e895fcf4a33aeaf228d8b4b367c4e768506275bb)

r4785: add schema objects to provision
but let schema checking be disabled by default until we can pass all test with it enabled
(This used to be commit e2c1ee1dd896c978e9be72fcbe4abce42482b7c9)

r4784: finally make schema module use a single ldb
add the new test-schema test
(This used to be commit 42a20f6fa4073fc5ea1ca6254137a4ef53caee01)

r4783: got rid of another void* in the composite code. This brings us down to
the minimal level I think (one private pointer for the composite
function, and one private pointer for the caller)
(This used to be commit 0240bf928163e32e7c69be88fe3ed4987dd18778)

r4782: volker quite rightly pointed out that there is too much of a
proliferation of void* in the composite code. This removes two of the
void* pointers from the main composite structure.
(This used to be commit 5a89a5ed0fa022fb380bf72065904633270f34aa)

r4781: the tolower() in schema.c is a premature optimisation. I suspect the
"distinguishedName" checking in that module is incorrect and should be
removed, but meanwhile, lets not make it slow down the compile of
every other module.
(This used to be commit 6534ce650bef7405e0926c9b75b185943429ed18)

r4780: tolower() requires ctype.h
(This used to be commit e22bfa8ae295db009158292b87fe389afa13717e)

r4779: demonstrate doing 50 parallel loadfile operations, with a callback for completion
(This used to be commit b8c5269482cd7c2611d785bb8831eebae2f905d2)