r4891:  - added a generic resolve_name() async interface in libcli/resolve/,
   which will eventually try all resolution methods setup in smb.conf

 - only resolution backend at the moment is bcast, which does a
   parallel broadcast to all configured network interfaces, and takes
   the first reply that comes in (this nicely demonstrates how to do
   parallel requests using the async APIs)

 - converted all the existing code to use the new resolve_name() api

 - removed all the old nmb code (yay!)
(This used to be commit 239c310f255e43dd2d1c2433f666c9faaacbdce3)

r4890: Try to cope with mechanism mismatch in the client speaks first version
of the SPNEGO state-machine.  (Such as on LDAP and HTTP)

Andrew Bartlett
(This used to be commit c1cae6b3b1efe109a09e449ed2e09983431eac7e)

r4889: make sure ndr print flags are initialised in ndrdump
(This used to be commit c5c65ad8fb21e515535286c52847f3eb990f8036)

r4888: use the neater calling convention
(This used to be commit d93b6a5b8e9e4bf86a96262db21aa3fc1490e91d)

r4887: removed a bogus cast
(This used to be commit a034556faa5d15fee44a58be3aea8aee8ffae3c8)

r4886: fixed two places where we process the send side of a socket after the
recv side in the same event. That's a bad idea, as the first callback
could decide to destroy the socket.
(This used to be commit bf74ea34fc0e3c31e220c8f5a9217c95f3ca1d52)

r4885: added a new NBT client library. Features include:

 - structures defined using IDL in nbt.idl
 - build around our events structure, and talloc
 - fully async
 - supports all NBT packet fields as per rfc1002
 - easy interfaces for name query and status

For the moment there are just a couple of test functions in
namequery.c, test_name_query() and test_name_status(). These will be
removed when we hook the new library into libcli/ fully

The new library will also be a fairly good basis for a nbt
server. Although it can't be a server as-is, I wrote it with the needs
of a server in mind (for example, extremely scalable idtree based
packet handling)
(This used to be commit ae7e625bfa4b4a3ee32c64566064b6a4c84ee4b9)

r4884: - 2nd part of support ndr_size_ generation on unions as well as structures

- added "nopull" and "nopush" flags, to allow for externally written parsers for sub-structures
(This used to be commit f65f239978425de795a0e188aaad3d5d1167da32)

r4883: support ndr_size_ generation on unions as well as structures
(This used to be commit 852ad354b481f130f80213f2924ad44d10340b21)

r4865: Fix up subtree name when dissecting unions.  E.g in LSA, The subtree
used to be called something like "Level, R->out.info" but now is called
"Lsa PolicyInformation".
(This used to be commit be2bb36856bee1c2882e063beb7c04ac5e5889de)

r4863: schema_find_attribute() should be static
(This used to be commit e7262dccce1ccc563fad48023c733c1d13929b4b)

r4862: - better structure schema tests
- fix check for deletion of required attributes on modify
  removed by mistake with the previous commits
(This used to be commit 0315159daf157b64ef3452372dd74199600e24b8)

r4859: changed a numbe rof things:

- Try to no tcopy memory if not necessary
- let the searches hang around until we finish the operation
- greatly simplify the modify operation

still todo:

- check attributes syntax
- check objectclasses type, we cannot allow to add a new structural
  objectclass to an exixting entry unless the existing one is a parent
- more tests
(This used to be commit c6257379e094881987cd11e05502129b2ce1c5a0)

r4858: a better fix for alignment of enumerated types (I'm not even sure why
the last fix worked at all)
(This used to be commit 99cef2e5a0412ede455cb1579541550efa49502a)

r4844: - Remove the unused attrsyn structure
- Change 0 to NULL when checking allocations
- Introduce the schema_attr_cmp hepler function
- Do not allow auxiliary classes to be missing
- Try to ease code readability and try to get
  main code out of loops when possibile.
(This used to be commit a30f647b8abe6b77ef73018f58af2f8a11689b91)

r4843: fixed the alignment handling of enumerated types
(This used to be commit d2946dfabbc727633cdb17c3956fc120e214140c)

r4842: Set the end of a structure so that when you click on the proto tree,
the hex display window highlights the part of the buffer occupied by
the structure.  Cool!
(This used to be commit b5c13fc6b8fe3f8dfa5ada73d33bd13cd607ebc4)

r4841: Handle levels that are signed integer types.
(This used to be commit 40d49d6279431bf1af343e3eb22038ef9d8b39e6)

r4833: added LOCAL-SOCKET to the list of tests that are expected to pass
(This used to be commit 480a4e3d9029fbeca876c736e7c87bc3352b4b4c)

r4832: added simple testing of tcp sockets to LOCAL-SOCKET test
(This used to be commit c06b25c269fb34601e931079ff5658f6e19956bc)

r4831: added udp support to our generic sockets library.

I decided to incorporate the udp support into the socket_ipv4.c
backend (and later in socket_ipv6.c) rather than doing a separate
backend, as so much of the code is shareable. Basically this adds a
socket_sendto() and a socket_recvfrom() call and not much all.

For udp servers, I decided to keep the call as socket_listen(), even
though dgram servers don't actually call listen(). This keeps the API
consistent.

I also added a simple local sockets testsuite in smbtorture,
LOCAL-SOCKET
(This used to be commit 9f12a45a05c5c447fb4ec18c8dd28f70e90e32a5)

r4828: don't apply the schema until we get it working properly
(This used to be commit 37a133c8171087aceec4f377d513f7c28d726b14)

r4819: its just not my day today ....
(This used to be commit e54a97f8a67a04427b36cb4afac204c4e5f4502a)

r4818: missed version.h here
(This used to be commit 03953803519e5284b4092db12c6279370456c857)

r4817: ccache was being made ineffective on all the build farm machines
because the version number was being auto-updated and included in all
C files. With this change it is only included where needed.
(This used to be commit 520cff73c6dc62ba1050cf7ca5145d50b5f2bb4e)

r4816: Note that NTTIME is 4-byte aligned which makes the comment about alignment
for NTTIME_hyper make a bit more sense.
(This used to be commit 03c1dcb59658e92da6f7643350c06f9efa42f6c4)

r4815: Handle uint8 and uint16 bitmap types.

Break out arguments to proto_register_protocol() so they can be renamed
easily.  Unfortunately the "pidl_" prefix will have to stick around if/when
the old dissectors are removed because the filter and short names clash.
(This used to be commit f2ce80e3350337ef795eb32f2478d218c2e382c3)

r4814: cope with perl not being in /usr/bin for idl building
(This used to be commit 1fc9448ccb0c2038c128e13535fce83d32f39058)

r4813: this is a temporary solution to a link problem we have on some
platforms. The problem is that some loaders (for example the IRIX 6.5
machine us4 in the build farm) must have libs listed after object
files that depend on them on the link line. If you put the libs first
then all the symbols in the libs remain unresolved.

I think the correct fix for this is to separate xxx_LINK_LIBS out from
the current xxx_LINK_FLAGS, and use xxx_LINK_FLAGS followed by
xxx_LINK_LIST followed by xxx_LINK_LIBS. I'm hoping metze or jelmer,
as our build wizards, might take a look at this when they get time.

This interim fix should work fine, but its rather ugly, as it lists
the flags and libs twice in each link.
(This used to be commit db7d43fbb95748c85316b41ad3dc4eb967ed8a08)

r4812: removed dependence on Data::Dumper

if you need Dumper for debugging (and it is damn useful!) then please
use the require trick in MyDumper() from pidl so we don't end up
depending on it. Too many systems don't have it.
(This used to be commit b9f32d2812bde0a4389971487006f9c553b5e3c1)

r4811: now that the event context is at the socket level, the event cleanup
should be there too
(This used to be commit 058ae5527e3daeb50eeea9e0ecee858c84e7e17d)

r4810: fixed anonymous connections with smbclient. Thanks to jbm for pointing this out.
(This used to be commit 7da0af98a0e0bc743d3c64be30b37cbc45e00737)

r4806: - add some data to the configuration naming context

- add some stuff to make w2k3 dc join to get the correct
  values

metze
(This used to be commit d1490635622023f5c672eea70260265960ac48b6)

r4804: add more emuns and bitmaps

metze
(This used to be commit 3381617a031db1dfb9dc7fc30f13e260f1dc589a)

r4801: remove the two bogus ctype.h includes
(This used to be commit b221c3dbb9a7af88f917562b6f907fd0617eb05f)

r4800: proper fix for the _GNU_SOURCE problem with comparison_fn_t
(This used to be commit 4181b38fac426cfc786e52cdd43fdeddbc26651f)

r4799: comparison_fn_t is under __USE_GNU on GNU systems, therefore, we need _GNU_SOURCE defined in the test
(This used to be commit b4200a462354cb605eb6af41427027147798de6e)

r4798: When dissecting structures, name the protocol tree after the field name,
not the field type (i.e DACL and SACL instead of dom_sid).
(This used to be commit 2c0e77869f9f04a75785990c79e611134643f89e)

r4797: Add the name of what we are pointing to when dissecting pointers.
(This used to be commit 6fc162738f86f8f7df013623e57a21970a8b6f36)

r4796: Get rid of unecessary #include
(This used to be commit 2950dbd87c8ff535277b817268c8a601eee42ba2)

r4795: stronget type checking in composite connect function
(This used to be commit e16f67c931ba93011d52fdf14312d12a9b09c49a)

r4794: - disabled the ntacl command line utilities until they are rewritten to use the same
  acl format as we use in pvfs (and hopefully use common code too)

- removed a lot of old cruft from our autoconf tests. This may well break some builds,
  but then we can fix them properly instead of the "if solaris version 5.1.2" crap

This was prompted by someone sending me solaris 10 patches that
patched the configure script with if statements for several more
versions of solaris to check for and do special stuff. That is just
silly.
(This used to be commit 1ea59d1146f041e9befbb435e901c6d7d497c52c)

r4793: minor doc updates
(This used to be commit ad1af519eb1a138e44cc94676f845b8ba65e3371)

r4792: use type safety int the test suite too
(This used to be commit 4a963e3b7aa38f0f6907bcd8acaaeb8c7982cafa)

r4791: used the new talloc type safety macros to make the "void *private"
pointers in the composite code type safe.

This is a bit of an experiement, I'd be interested in comments on
whether we should use this more widely.
(This used to be commit 0e1da827b380998355f75f4ef4f424802059c278)

r4790: added type checking helper macros in talloc. These take advantage of
the type names that talloc already keeps around for pointers, and
allows the user to type check void* private pointers. It can also be
used to implement polymorphism in C, as I'm sure someone would have
pointed out to me sooner or later :-)
(This used to be commit c283e1a3efac3a92e29a35856e20eb61ef4c221e)

r4787: Clean up gepdump code somewhat.
(This used to be commit 128e97cef614bc62ff3327aa15cd5eb636e67a58)

r4786: forgot to commit the exclusion for schema checking against our control entries
(This used to be commit e895fcf4a33aeaf228d8b4b367c4e768506275bb)

r4785: add schema objects to provision
but let schema checking be disabled by default until we can pass all test with it enabled
(This used to be commit e2c1ee1dd896c978e9be72fcbe4abce42482b7c9)

r4784: finally make schema module use a single ldb
add the new test-schema test
(This used to be commit 42a20f6fa4073fc5ea1ca6254137a4ef53caee01)

r4783: got rid of another void* in the composite code. This brings us down to
the minimal level I think (one private pointer for the composite
function, and one private pointer for the caller)
(This used to be commit 0240bf928163e32e7c69be88fe3ed4987dd18778)

r4782: volker quite rightly pointed out that there is too much of a
proliferation of void* in the composite code. This removes two of the
void* pointers from the main composite structure.
(This used to be commit 5a89a5ed0fa022fb380bf72065904633270f34aa)

r4781: the tolower() in schema.c is a premature optimisation. I suspect the
"distinguishedName" checking in that module is incorrect and should be
removed, but meanwhile, lets not make it slow down the compile of
every other module.
(This used to be commit 6534ce650bef7405e0926c9b75b185943429ed18)

r4780: tolower() requires ctype.h
(This used to be commit e22bfa8ae295db009158292b87fe389afa13717e)

r4779: demonstrate doing 50 parallel loadfile operations, with a callback for completion
(This used to be commit b8c5269482cd7c2611d785bb8831eebae2f905d2)

r4778: I forgot to set the session key for the spnego path. Fixed.
(This used to be commit 870af4e2f2055013424d9dbe2df2c51faa810eec)

r4777: added a smb_composite_sesssetup() async composite function. This
encapsulates all the different session setup methods, including the
multi-pass spnego code.

I have hooked this into all the places that previously used the
RAW_SESSSETUP_GENERIC method, and have removed the old
RAW_SESSSETUP_GENERIC code from clisession.c and clitree.c. A nice
side effect is that these two modules are now very simple again, back
to being "raw" session setup handling, which was what was originally
intended.

I have also used this to replace the session setup code in the
smb_composite_connect() code, and used that to build a very simple
replacement for smbcli_tree_full_connection().

As a result, smbclient, smbtorture and all our other SMB connection
code now goes via these composite async functions. That should give
them a good workout!
(This used to be commit 080d0518bc7d6fd4bc3ef783e7d4d2e3275d0799)

r4776: Add more debugs to SamSync test.

Andrew Bartlett
(This used to be commit 70860779ae4d6be6d592e3635b091f0a5f29df6a)

r4775: use schema_attr_cmp wrapper to check for the special dn/distinguishedName case alias
(This used to be commit 18cd6cb67404830b8a5d28fa4106dadb275a5222)

r4774: It appears the SensitiveData contains the password history, as the
remaining data.  Pity - I was looking for kerberos keys :-)

Andrew Bartlett
(This used to be commit 37a81aad74b9f7e982469cd36e56e6f9608b9123)

r4773: Handle arrays of scalar types as function arguments.

Add hf for function return value.

Rename struct field members to be named after the structure name
and element name rather than element name and element type.

Remember which structure or function we are processing and use it
to generate hf fields according to the naming scheme above.
(This used to be commit fd14622d132c3f2dfd837ea7beccd0fc11a6bf3e)

r4772: fixed checking of the conformant size for dom_sid2
(This used to be commit 0d31523aaed7a8995970dc9933a6a9d9b8536ee0)

r4771: Fix some indentation.
(This used to be commit b2a3b0221680fb54b058631846559e6151a7b562)

r4770: Change from processing ndr_*.[ch] files all at once to line-by-line.
I'm hoping this will allow better mapping hf fields to the structures
they are present in which isn't possible at the moment.  (Line mode
allows us to use /foo/ .. /bar/ regexps and to store state during the
processing.
(This used to be commit 75b6df15f2edfac99fbcd7cefb7b404591a1ecb6)

r4769: added a smb_composite_connect() function that provides a simple async
interface to a complete SMB connection setup. Internally it does:

  - socket connection
  - session request (if needed)
  - negprot
  - session setup
  - tcon

This is the first example of a composite function that builds on other
composite components (the socket connection is a composite function,
which is used as a building block for this function). I think this
will be quite common in composite functions in the future, building up
ever more complex composite functions from smaller building blocks,
while hiding the details from the caller.

There are two things missing from this now. The first is async name
resolution routines (wins, bcast, DNS etc), and the second is that
this code currently only does a NT1 style session setup. I'll work on
adding spnego and old style session setup support next.
(This used to be commit 6bc9e17f5c5236f662c7c8f308d03e6d97379b23)

r4768: Until I can prove it, we should not have these elements marked as
size_is() base arrays.

Andrew Bartlett
(This used to be commit 3d3063b1f65efe3b9eb814f7425afa3278095a68)

r4767: handle the different NBT session request refusals, and map them to
reasonable NT_STATUS values
(This used to be commit b193a9cb0c851a4ec55ad9956a815be93eea35e4)

r4766: Add another useful helper function: samdb_msg_set_value()

Andrew Bartlett
(This used to be commit a43f7392f791081f227a0e05aeed894885f33232)

r4765: simplify the async socket code to always go via the event handler
rather than short-circuiting in the unlikely event the OS returns an
immediate success on a non-blocking connect
(This used to be commit db4380717041485e216f965103f9e803518b45c3)

r4764: Add some more structs to keep the proto.h compile happy.

Andrew Bartlett
(This used to be commit e5e4dd0d3499e0c63cddd5669cf2875cee7d4e3f)

r4763: Join Samba4 to itself during the provision process.

Andrew Bartlett
(This used to be commit feca96fe5a1612592757f53f7aa4eb5a39fd24ff)

r4762: Store the results of a 'net join' in the LDB.

Like Samba3, the storage of the primary domain password is keyed off
the domain name, so we can join multiple domains, and just swap
'workgroup =' around.

Andrew Bartlett
(This used to be commit 54a231780e028c6433cac296f2fbc64e39632dfd)

r4759: use ldb_attr_cmp() to compare attribute names

check required attributes are not deleted on modify operation
if the objectclass is deleted then deny the operation if
orphan atributes are left behind
(This used to be commit 8c11038d67c495f8d5f06cf1fdfe976088864b45)

r4758: - added async support to the session request code

- added async support to the negprot client code

- removed two unused parameters from smbcli_full_connection() code

- converted smbclient to use smbcli_full_connection() rather than
  reinventing everything itself
(This used to be commit 71cbe2873473e039b4511511302cb63f1c50bce8)

r4757: added the ability of the clisocket level of libcli to handle async
socket connections. This was complicated by a few factors:

 - it meant moving the event context from clitransport to clisocket,
   so lots of structures changed

 - we need to asynchronously handle connection to lists of port
   numbers, not just one port number. The code internally tries each
   port in the list in turn, without ever blocking

 - the man page on how connect() is supposed to work asynchronously
   doesn't work in practice (now why doesn't this surprise me?). The
   getsockopt() for SOL_ERROR is supposed to retrieve the error, but
   in fact the next (unrelated) connect() call on the same socket also
   gets an error, though not the right error. To work around this I
   need to tear down the whole socket between each attempted port. I
   hate posix.

Note that clisocket.c still does a blocking name resolution call in
smbcli_sock_connect_byname(). That will be fixed when we add the async
NBT resolution code.

Also note that I arranged things so that every SMB connection is now
async internally, so using plain smbclient or smbtorture tests all the
async features of this new code.
(This used to be commit 468f8ebbfdbdf37c757fdc4863626aa9946a8870)

r4756: a slight tidy up in the events code
(This used to be commit d2f76c3671df0b0232982e2fbfd5c049c9fb674f)

r4755: the recent change in the definition of lp_passwordserver() breaks this
old code, so I'm just removing it, as it needs replacing anyway
(This used to be commit cae7748d675e35bfb89b81349624258bc76fac1a)

r4754: tidied up the composite function infrastructure to make it easier to
have composite functions that are not made up of functions that
operate on smbcli_request structures.
(This used to be commit 4f6055b4fb7e287a29544ff1ca4e22f698efc478)

r4753: added the ability for the generic socket library to handle async
connect(). This required a small API change (the addition of
a socket_connect_complete() method)
(This used to be commit b787dd166f5cca82b3710802eefb41e0a8851fc3)

r4748: removed unnecessary distinguishedName from provisioning
(This used to be commit 31919995fd30d63b9dc89ca78d274f5c0de77206)

r4745: remove the distinguishedName attribute adds from samr. See the
discussion on samba-technical about this.
(This used to be commit e9dff03f79db00636e2b6d93a22e40a3cefed876)

r4744: until we decide what to do about attribute aliasing (see my recent
samba-technical posting), this is an interim solution that makes us
work pretty much like w2k3 does.
(This used to be commit 789325145651f2f6fc8716aa4bced83a2eb31994)

r4730: remove unused struct elements

part of this went in in the last commit...

metze
(This used to be commit 9ea9e1ced59e7962164972b1dc2d53e0277d4449)

r4729: add dummy "winbind" service

- this creates a new task and then starts a process_model "single"
  with service "winbind_task"

- that means with -M single everything is in one process

  with - M standard winbind is a seperate process but didn't fork for each connection
  with -M thread winbind is a seperate thread but didn't thread for each connection

- the dummy server listen s on /tmp/.winbind/echo
  and for better testing with telnet also on 127.0.255.1 port 55555

metze
(This used to be commit 5190f60dedc4076d94fbf77e02eb3b5312d953ec)

r4728: split up server_services into:
- stream_socket services
  the smb, ldap and rpc service which sets up a srtam socket end then
  waits for connections
and
- task services
  which this you can create a seperate task that do something
  (this is also going through the process_model subsystem
  so with -M standard a new process for this created
  with -M thread a new thread ...

I'll add datagram services later when we whave support for datagram sockets in lib/socket/

see the next commit as an example for service_task's

metze
(This used to be commit d5fa02746c6569b09b6e05785642da2fad3ba3e0)

r4727: add a reference to the event context
to that the destructor don't double free the registered events
when the event context is first in the talloc_free() hierarchie

fixes a bug with process_model_thread and the talloc_steal(conn, ev)

metze
(This used to be commit 05c3d1c4a6a6350cc8b5fb2ee8201ae6feed3d3d)

r4726: - use the name tcon and tid instead of conn and cnum

- make use of talloc destructors

metze
(This used to be commit 8308da6ce4a95f8c10e22949ef00e9e64f2dbb85)

r4725: make "password server" a string list

metze
(This used to be commit 5287ec0818cf38cc5d3ef2a21518c98b700116fb)

r4723: Predefine libnet_JoinDomain as it's used in proto.h
(This used to be commit 041bf4ee7de6026b032e5b4455e092a1ef3b8ee4)

r4722: Start to add 'net join' to Samba4.

Andrew Bartlett
(This used to be commit a9b960609142e15ba5950eb1b22944eb6df18d9c)

r4721: Changes to libnet_passwd to take advantage of the new easier to call
RPC client libs, and to make the fallback between the various SAMR
levels easier to manage.

I'm starting to enjoy the structure that libnet has actually, and I'm
about to build 'net join' on that basis (and I didn't want to have to
duplicate the password set code).

Andrew Bartlett
(This used to be commit f1dd179a50d2c9c81b90a621459c93b0d60e2609)

r4720: Reformat, rename, and convert to enums parts of the LSA IDL specification.

Andrew Bartlett
(This used to be commit d360f30948723687ec1504765e52db366f17cfa2)

r4719: snprintf.c is used outside of samba, so don't use our special types
(This used to be commit 8033ef6b710df3b5bb2a249db97986b7d4c2e018)

r4718: don't use the deprecated __va_copy() unless va_copy() is unavailable
(This used to be commit 603ef69be075821e3ffe2084bb5cfb0bc9cce180)

r4717: fixed our usage of VA_COPY to be more standards compliant
(This used to be commit 48b52584ab7db747feaf7ad4382bd3877935ee26)

r4716: add a real ugly hack to get all ldap queries of an
w2k3 dc join working

I just commit that to not lose it if my home box would crash...

you need a hacked.ldb with some stuff in it, I'll explain later

and you need --option="ldapsrv:hacked=yes"

so what is left now is KRB5 support for DCERPC in the server
as the EVENT LOG of w2k3 says...

metze
(This used to be commit d72760d26ffe531e34bcbec623b986761152ae5b)

r4715: alwys add the distinguishedName attribute

the w2k3 dc join needs that

metze
(This used to be commit 29bc75ba28f8c73fe22878948ed43c41faee474c)

r4714: move the ldb code to the new talloc interface (eg remove _p suffix)
this helps standalone building of ldb

renew the schema module
split code into functions to improve readability and code reuse

add and modify works correctly but we need a proper testsuite

Simo
(This used to be commit a681ae365ff1b5a2771b42ebd90336651ce1e513)

r4713: Add initial support for QueryTrustedDomainInfo on LSA.
(more info levels to come)

Andrew Bartlett
(This used to be commit 175ae7599ee06d8856ffb8912c7fe4e68ebe5feb)

r4712: slight tidy up in alter_context server
(This used to be commit 20ab5bed34c852509b7f3e4c778ff23f4379b36e)