r17525: This is a merge from the Google Summer of Code 2006 project by Martin Kühl
<mkhl@samba.org>.

Martin took over the work done last year by Jelmer, in last year's
SoC.  This was a substanital task, as the the ldb modules API changed
significantly during the past year, with the addition of async calls.

This changeset reimplements and enables the ldb_map ldb module and
adapts the example module and test case, both named samba3sam, to the
implementation.

The ldb_map module supports splitting an ldb database into two parts
(called the "local" and "remote" part) and storing the data in one of
them (the remote database) in a different format while the other acts
as a fallback.
This allows ldb to e.g. store to and load data from a remote LDAP
server and present it according to the Samba4 schema while still
allowing the LDAP to present and modify its data separately.

A complex example of this is the samba3sam module (by Jelmer
Vernooij), which maps data between the samba3 and samba4 schemas.

A simpler example is given by the entryUUID module (by Andrew
Bartlett), which handles some of the differences between AD and
OpenLDAP in operational attributes.  It principally maps objectGUID,
to and from entryUUID elements.  This is also an example of a module
that doesn't use the local backend as fallback storage.

This merge also splits the ldb_map.c file into smaller, more
manageable parts.

r17524: Lets see if we can try and get the socket_wapper includes to be
pre-processed last, and get AIX and some other hosts to pass make test
again (I think the macros were being over-overridden).

Andrew Bartlett

r17523: FIXME is a macro (I think) on some platforms (AIX), and this caused pain.

Andrew Bartlett

r17522: Fix another declaration after statement.

Andrew Bartlett

r17520: If the blkid library fails, I don't see any reason to return more of
an error than if we don't have it.  We might not be on a volume that
can store/return such a GUID.

(Try to fix one of the build farm failures).

Andrew Bartlett

r17517: Fix declaration after statement, which breaks the build on older GCC.

Andrew Bartlett

r17516: Change helper function names to make more clear what they are meant to do

r17515: Fix warnings

r17514: Simplify the way to set ldb errors and add another
helper function to set them.

r17513: ldb_set_errstring is an ldb private string, samdb uses DEBUG() statements

r17507: pread and pwrite depends on HAVE_PREAD/HAVE_PWRITE not HAVE_PREAD_DECL/HAVE_PWRITE_DECL
and common/io.h already defines pread and pwrite as static if they are not.

remove unneded defines

r17505: we are setting the timeout with the provide function right after.

r17504: Do not use the invented unixID but use the rfc2307 uidNumber and gidNumber attributes instead
Do not change unixName right now, we don't have an attribute to use in the posixGroup class,
and I think we should remove its usage altogether and look up users and groups by their uid/gid only.

Simo.

r17503: Add a useful function to search for a DN

r17499: Open the main database only the minimum times during a provision.

This causes things to operate as just one transaction (locally), and
to make a minimum of TCP connections when connecting to a remote LDAP
server.

Taking advantage of this, create another file to handle loading the
Samba4 specific schema extensions.  Also comment out 'middleName' and
reassign the OID to one in the Samba4 range, as it is 'stolen' from a
netscape range that is used in OpenLDAP and interenet standards for
'ref'.

Andrew Bartlett

r17495: run LOCAL-CRYPTO-MD4 and LOCAL-CRYPTO-MD5 with make test

metze

r17494: add tests for the example values from rfc 1320 (MD4)

metze

r17493: fix typo

metze

r17492: add a test with the example values from rfc1321 (MD5)

metze

r17491: I forgot to commit this...fix make test...sorry:-)

metze

r17490: add all test values from rfc 2202

metze

r17489: run the crypto tests with test

metze

r17488: - add SHA1 and HMACSHA1 functions, based on rfc 2104,2202,3174
- and add torture tests also based on the rfc's

metze

r17484: Make last version of the function generating random set of changes
more fair to each of the fields (ie. don't create new code at midnight
after a long day...).

This will be useful for testing multiple changes at once and verifying
correctness. A few testing runs already demostrated some missing pieces.

rafal

r17478: Add BENCH-READWRITE test to simulate read/write workload from simultaneous async clients. This code is based on concept from Mathias Dietz <mdietz@de.ibm.com>

r17474: Allow the partitions module to load modules for specific backends.

Andrew Bartlett

r17473: Split loading a list of modules and initialising them into a seperate
function.

Andrew Bartlett

r17472: Remove unused variable.

rafal

r17471: Add a function generating pseudorandom set of changes to test
user modify routines.

rafal

r17450: A bit more protection against memory allocation errors.

rafal

r17449: Add another field to the test before expanding the whole test
to more complex form.

rafal

r17448: Define macros to set fields in api function modifying user account.

rafal

r17447: Add more fields to user modify routines.

rafal

r17442: print out credentials on the "secret" objectClass and "trustedDomain"
objectclass

metze

r17441: add some more attribute with credentials in them

metze

r17438: extend the comment

metze

r17434: update our index

r17433: remove obsoleted RFCs

r17432: display more GUID values nicely,
they all have rangeLower=16 rangeUpper=16
and attribute syntax 2.5.5.10

metze

r17430: implement the LDAP_SERVER_PERMISSIVE_MODIFY control in the client

metze

r17429: implement the LDAP_SERVER_SHOW_DELETED control in the client

metze

r17420: add client support for the LDAP_SERVER_DOMAIN_SCOPE control

metze

r17419: add client support for the LDAP_SERVER_SEARCH_OPTIONS support.

with this you can limit a search to a specific partitions
or a search over all partitions without getting referrals.
(Witch is the default behavior on the Global Catalog Port)

metze

r17418: add client support for the LDAP_SERVER_SD_FLAGS control

metze

r17417: Try to fix random failures in the build farm for 3_0.

Volker

r17416: display the attributeSecurityGUID nicely.

this attriute is used to group multiple attribute
to a propertySet for access control.

metze

r17415: the ldif handlers can't do search as this now blocks foerever
because the handlers are called within the async callbacks
in side the main search.

Also it makes no sense to give the sddl encoder the sid of the primary
domain when we need a description of a real security_descriptor,
this only makes sense for the defaultSecurityDescriptor...

metze

r17414: add new error code

metze

r17413: add a new case for the this:

top->level1->level2->level3

level3 has a deny destructor
talloc_free(level1)

result: top->level3

metze

r17412: fix missing colon

r17411: Try and compile on older versions of GnuTLS.

Andrew Bartlett

r17398: avoid a memleak when we are returned 0 results and make a more creative use of memory contexts

r17397: Add const, and use a more local memory context.

Andrew Bartlett

r17396: Bump the time up again.  RPC-SAMR can slow, I probably need to break
it up again...

Andrew Bartlett

r17395: Add some more time to the default runtime.   Now 7.5 mins.

Andrew Bartlett

r17394: Pregenerate all the files for TLS.  Make the 'make test' startup *much* faster.

Andrew Bartlett

r17381: - we don't need debug messages twice
- also user_info->mapped is maybe uninitialized
  in auth_password_check() as it we do the mapping in
  auth_password_check_send()

that to Kai Blin <kai.blin@gmail.com> and valgrind to find
this bug

metze

r17380: An expanded test, cross-referencing the global catalog to the main port.

Andrew Bartlett

r17379: Pre-generate DH parameters, to avoid doing this at runtime in our testsuite.

Andrew Bartlett

r17377: This attribute is maintained by the modules, don't override it.

Andrew Bartlett

r17370: Fix tdb searches, we need to return an LDAP_REPLY_DONE packet when done.
Awesome how this didn't break everything around...

r17368: Add 'const' to ldb_match_msg().

Andrew Bartlett

r17362: session_info and smbpid are available from the ntvfs_handle
so we don't need them on the pvfs_file struct.

also we don't need to check is the handle has the correct session
as this is job of the frontend server

metze

r17361: check that file handles are only accessable
by the correct session in the SMB frontend server

metze

r17360: add some comments

metze

r17359: cs.wisc.edu/~cao/cs739/draft-leach-cifs-v1-spec-01.txt
says that with the 0xffff fid all files only for the given pid
should be flushed

Does samba3 handle this correct?

metze

r17357: - fix the build
- generate the IDL_NDR_* variables before using them
  (this was the reason I didn't noticed this error)

metze

r17352: Don't do a modify on the objectClasses, as OpenLDAP doesn't like
this.  Instead, handle this one in the add.

Andrew Bartlett

r17351: Remove extra LDB partition we don't actually use (these are in the
main database, under cn=templates).

Andrew Bartlett

r17350: Avoid a couple of memleaks, unnecessary code and use a more linear style

r17349: We can't just return sucess here, modules below us expect the async
reply rules to be followed.

Add code to do a fake async callback on the skipped records.

Andrew Bartlett

r17344: move the gensec_update_request structure into the header file
and add a private_data for the backends.

metze

r17343: let auth_winbind use IRPC against the winbind task.
(currently this uses the sync IRPC_CALL(), but when
auth_check_password will be async for the backend this will
change to IRPC_CALL_SEND()

the old module which uses the samba3 protocol against winbind
is still available as 'winbind_samba3'

metze

r17342: implement a SamLogon via IRPC in samba4's winbind

metze

r17341: pass a messaging context to auth_context_create()
and gensec_server_start().

calling them with NULL for event context or messaging context
is no longer allowed!

metze

r17340: initialize elements od dcesrc_call_state in one central place
and pass the messaging context to the call

metze

r17339: pass the event context and messaging context together to the
smb ejs functions

metze

r17337: make better usage of the composite api
and create an event context explicit

metze

r17336: make the logic a bit more easier to understand...

metze

r17332: May as well make this a round number

r17331: Oops, how did I commit this empty file...

Andrew Bartlett

r17330: Enable the partitions module.

This module redirects various samdb requests into different modules,
depending on the prefix.  It also makes moving to an LDAP backend
easier, as it is just a different partition backend.

This adds yet another stage to the provision process, as we must setup
the partitions before we setup the magic attributes.

Andrew Bartlett

r17329: - after a composite_continue() we need to call return;
- add some comments

metze

r17328: make better usage of the composite api

metze

r17327: when the connect with the ipv6 socket was ok,
we need to inform the caller...

metze

r17326: make better usage of the composite api

metze

r17325: make better usage of the composite api

metze

r17324: make better usage of the composite api

metze

r17323: make better use of the composite api and fix the memory
hierachy

metze

r17322: make better use of the composite api

metze

r17321: give better error codes

metze

r17320: - print the debug message before the composite context get received by the caller
- steal pipe2 to the state structure so we don't need to take about freeing is later

metze

r17319: make better usage of the composite api

metze

r17318: make better usage of the composite api

metze

r17317: - add a composite_create() function that allocates and initialize
  the composite_context structue, we should try to convert all code
  to use this because there're a lot of places where the we have
  bugs with this task...
- add a composite_continue_smb2() helper

We should try to hide the internals of the composite code from the users
to avoid errors (and I found a lot of them... and will fix then step by step)

metze

r17306: fix compiler warning

metze

r17305: allow 'declare [...] union foo;'

metze

r17304: Improve ldb_tdb error strings a bit more.

Andrew Bartlett

r17303: More testing results: Don't try and call a NULL callback, and use the
correct parameter, as this is called for more than just 'add'.

Andrew Bartlett

r17302: Testing!

This confirms that records are replicated into the correct databases,
and that the case insensitive flags really work.

Andrew Bartlett