r617: Sync some minor updates with repository:

  - start handing idl string types
  - comments
  - generate field types
  - code to select field types and bases
(This used to be commit 3d4148c07c46d5d99bd91e1985540cc4e59db2bc)

r615: Implement samr_OpenGroup, samr_QueryGroupInfo, samr_SetGroupInfo,
samr_DeleteDomainGroup.

I've added the hidden attribute numMembers that must be maintained by
Add/DelGroupMember for the GroupInfoAll query.

Volker
(This used to be commit 945d7478605c1bd67e4162ebb0635ab7da11faaf)

r614: Clean out the POSIX assumptions from the Samba4 auth subsystem.

This removes the code that tried to lookup posix groups, as well as
the code that was tied to the SAM_ACCOUNT.

This should make auth_ldb much easier to write :-)

Andrew Bartlett
(This used to be commit e096ee2112adecaa69b6b3eb155a4e8f80dfc0f7)

r613: Fix the RPC-SAMR torture test, for my session_key changes.

Andrew Bartlett
(This used to be commit a04b074c049db832f4c02a35d951d40875fce6d1)

r612: fixed a timezone call typo noticed by abartlet
(This used to be commit 329c5ccd74680381b30c4a2235010c766ac46ecc)

r611: Fix breakage from my last commit:

Now that all session keys are DATA_BLOBs, fix the callers.

This assumes some things about the behaviour of certain crypto
algorithms, without the ability to test it on session keys != 16 bytes
in length.  We will just need to retest when we get the KRB5 support
in (DES keys are 8 bytes).

Andrew Bartlett
(This used to be commit e4355a7ec1eba92bdecef8cc478272897276dbae)

r610:  - Merge the Samba3 'ntlm_auth --diagnostics' testsuite to Samba4.
  - This required using NETLOGON_NEG_AUTH2_FLAGS for the
    SetupCredentials2 negotiation flags, which is what Samba3 does,
    because otherwise the server uses different crypto.
  - This tests the returned session keys, which we decrypt.

 - Update the Samba4 notion of a 'session key' to be a DATA_BLOB in
   most places.

 - Fix session key code to return NT_STATUS_NO_SESSION_KEY if none is
   available.

 - Remove a useless argument to SMBsesskeygen_ntv1

 - move netr_CredentialState from the .idl to the new credentials.h

Andrew Bartlett
(This used to be commit 44f8b5b53e6abd4de8a676f78d729988fadff320)

r609: allow ldbedit to take a list of attributes to edit, just like
ldbsearch. This allows you to edit the description of all users using
something like:

  ldbedit 'objectclass=user' description

and not get overwhelmed with fields. It also allows you to edit HIDDEN attributes
by specifying them explicitly
(This used to be commit dd83d39de23cdf8c574005829972dae8dc6bee6a)

r608: - a couple of very minor fixes to the CreateGroup code

- added samr_GetUserPwInfo() samr server call
(This used to be commit 0250f5d6aaf4f9325ace707c69f5e24bcd7a0ed9)

r607: When our code is looking for an 'empty' data blob
some of it tests the .length, other code checks the
.data.

Ensure that we always NULL the .data, so that talloc-based
blobs behave just like their direct malloc equivalents.

Andrew Bartlett
(This used to be commit 64121aa1a9d037d3969f24be62f4521611c89888)

r606: added a HIDDEN attribute on fields in ldb (in @ATTRIBUTES). This allows you to mark
an attribute as only appearing in searches that explicitly name it. It will be used
for attributes like nTSecurityDescriptor
(This used to be commit f5cd3d733b71368ea652f8a4d653d87f45ff983f)

r605: Implement CreateDomainGroup, essentially cut&paste from CreateUser2.

Volker
(This used to be commit 59241c0c9aa2d64d66eb04e81aa5500681604061)

r604: Better dumping of in,out,ref properties.
(This used to be commit 209f5a25a950e8780e9512b71fbb12b1cdbe1a17)

r602: Autogenerated packet-dcerpc-samr.c now compiles!
(This used to be commit 0c1069b56e7c80e2b428f6a6b550eacd5ac3d762)

r601: added the server code for all the samr_SetUserInfo and samr_QueryUserInfo levels except for the password
set levels.

This means that a large part of the RPC-SAMR torture test now runs correctly against Samba4
(This used to be commit ec0a51898f543578e755207d81ed5c1524861c64)

r600: Get rid of trailing whitespace which freaks out emacs' fontification.
(This used to be commit d0383e9a7a0a5bee9a52ddc81d5f89c9f01c269b)

r597: Start generating parser code - only supports uint16, uint32 and policy
handle types.
(This used to be commit 1e02ccd94edc87f4107d21f7f778f1a88c9e197d)

r596: log all ldb searches at level 4 in samdb
(This used to be commit defaf0d817a7c207da59692245aa65bc30c9bd19)

r595: nicer handling on max_size multiplier
(This used to be commit 994baba7ebc267cb3051109aee022d71472aa6b6)

r594:  - make sure all users in the domain have the same base sid!

 - added proper ldap time construction to provisioning
(This used to be commit 0f12584b4b1b90aa20c6a4a5199829b5beba2a1d)

r593: add a constant for the records size multiplier for max_size in samr_EnumDomainUsers
(This used to be commit 252b11112ce22152de3d53d0ba657879346ff243)

r591: don't need to init non-ref out ptrs (thanks to abartlet for spotting this)
(This used to be commit 3ac0cff83752b98ee7b8af7f4f9a33ffe9ae05e7)

r589: Fix IDL dump module so --dump and --diff options to pidl.pl work
again.  Still a few problems left though.
(This used to be commit e921a5879f8a5a867dce61e684a0010a5dab9472)

r587: added server code for samr_EnumDomainUsers, and started adding
samr_SetUserInfo and samr_QueryUserInfo
(This used to be commit e0db9659a85b59e52fbe033a94b411d6c64d9f9c)

r586: removed --clientfns from build_idl.sh (tim removed that code from pidl)
(This used to be commit d1dcde1d913803a44b07a1937262ae627680072c)

r583: fixed two bugs in the handling of index entry deletion
(This used to be commit 7b5f3370e6c078bf506ac3eb24fb330d4aee7688)

r582: added the LMSessKey in SamInfo and SamInfo2, thanks to work by abartlet

added test code for SamLogon validation level 2 and 3, so we test both
SamInfo and SamInfo2
(This used to be commit 321dbb61cc0743379ceb6b8fff6a0ca37f308bc2)

r578: initial server side implementation of samr_CreateUser(),
samr_CreateUser2(), samr_LookupNames(), samr_OpenUser(),
and samr_DeleteUser()

this uses a user template in the SAM db, of objectclass "userTemplate"
and dn CN=TemplateUser,CN=Templates,$BASEDN. Using a template allows
an admin to add any default user attributes that they might want to
the user template and all new users will receive those attributes.
(This used to be commit 10b6e0011b5952c98432dc2d4b2058ac89a9cc2d)

r577: extended the LookupNames test to check for correct handling of unmapped names
(This used to be commit e3b31625f476cb1b8a4d5003dee2c574582c9b46)

r576: added a ldap_timestring() function (needed for fields like whenChanged in SAM db)
(This used to be commit b2a63555189fea41184a2cac796945bca4e98995)

r575: moved the SID_NAME_USE enum into samr.idl
(This used to be commit 2cb06b39d91ef18b21c18e9376ccbd8076aeecf8)

r574:  - another attempt at const cleanliness in ldb

 - fixed a problem with searching for values containing an '=' sign

 - fixed the semantics of attempting an attribute deletion on an attribute that doesn't exist.

 - added some more ldb_msg_*() utilities
(This used to be commit 62b4ec367d170330d837b0f1fe5cd13205a53b59)

r550: Remove clientfns.pm module - it was a bad idea.

Start to resurrect eparser.pm for auto-generating ethereal dissectors
for rpc.
(This used to be commit 993a18dd35fb0b09c088eb2bb38d3e14ff755130)

r549: added support for DOS error codes in NTSTATUS returns. This uses a
range of NTSTATUS codes that are normally invalid to prevent conflicts
with real error codes.

use the new DOS facility to fix the ERRbaduid return that volker found
(This used to be commit 10fdfb52398857b604fff9684ee65a96d970bdaa)

r514: added a context pointer to the samdb interface, as suggested by
metze. Also added a reference count so that a client can close the
connection handle and still used a derived domain handle.
(This used to be commit b1cd98188d6f1f8236f5dbc7a3605a39ae27fb73)

r513: added a generic ldb debug system to allow the Samba debug functions to
be cleanly interfaced to ldb
(This used to be commit 74b89d5f960d6b936751e3f057b4540eb80b79cd)

r511: fix some const handling
(This used to be commit be94cc4032b23fd99823902ddcd1472a72314a88)

r510: converted the samdb code to give ldb a talloc context rather than letting ldb use malloc
(This used to be commit a3edd4bca8769cd804a5908286c7a18ca5c8fa00)

r509: fixed a memory handling bug that affects ldb with memory pools that
change with each request
(This used to be commit 18695cefa16b867427e3ca2fb0d787d850ea25c3)

r508: fixed a place where we used free() on memory from a talloc(). The new
talloc code catches errors like this.
(This used to be commit 22aa425c96030f55f6202bca1e1a876b0bc03f03)

r507: the new ldb code will use talloc_free() a lot, so I have made
talloc_free() O(1) in preparation. This also halves the number of
malloc() calls and increases our internal consistency checking,
without breaking valgrind testing.
(This used to be commit 2331d4e76e40ff08215853f747f7063213ac92ce)

r506: got rid of unused function secrets_get_trusted_domains()
(This used to be commit bb74a94e2610620987a44ab7289115a8ee361529)

r504: fixed a bad call to list_union()
(This used to be commit 4404056cd5fd65d72a38ea474fe330281b3ee19e)

r503: we don't need to include ldb_parse.h any more
(This used to be commit 85e57684b4dc4edcfd6d4cd1492d63810f8ce211)

r502: modified ldb to allow the use of an external pool memory
allocator. The way to use this is to call ldb_set_alloc() with a
function pointer to whatever memory allocator you like. It includes a
context pointer to allow for pool based allocators.
(This used to be commit 3955c482e6c2c9e975a4bb809ec8cb6068e48e34)

r491: regtree and gregedit also depend on LIBCMDLINE (popt stuff)

metze
(This used to be commit ace939a5882bd35295246b5816a3344f70d20e29)

r490: - expanded the test suite to test modify and delete operations

- made yet another attempt to make ldb const clean.

- "make test" now runs both the tdb and ldap backend tests, and run the ldbtest utility
  with and without indexing

- added prototypes in ldb.h for ldb_msg_*() public functions
(This used to be commit 01e87406768cb5a98ac8530a2f361a4987a36cd3)

r476: i forgot the argument to get_time_zone()
(This used to be commit 34ff18839c97dbb77c76097b4484ebec398da192)

r469: considerably improved the ChangePasswordUser3() IDL thanks to an idea from abartlet
(This used to be commit 5f30c3b077b59fc7ec40644e3af7236292100c6b)

r468: fixed timegm() on broken systems
(This used to be commit a3d639d04ff25deabd299ea24917adde9192ed38)

r467: hopefully get the buildfarm compiling fine now...

metze
(This used to be commit d15f0e18bb43608c611cfe78fc79db9ee10e1eb2)

r466: implemented samr_OpenDomain() and samr_GetDomPwInfo() server side calls

if you take a look at samr_GetDomPwInfo() then you will get a fairly good idea
of what I am planning for the database oriented SAMR server implementation.
(This used to be commit bba0044a514cf86cbcf14bc82dd6c49808c22dab)

r465: we need common.h in two more rpc server pipes
(This used to be commit d96b68169a5ab46cc0550732d4fe94af75e06fd6)

r464: a big improvement to the API for writing server-side RPC
servers. Previously the server pipe code needed to return the RPC
level status (nearly always "OK") and separately set the function call
return using r->out.result. All the programmers writing servers
(metze, jelmer and me) were often getting this wrong, by doing things
like "return NT_STATUS_NO_MEMORY" which was really quite meaningless
as there is no code like that at the dcerpc level.

I have now modified pidl to generate the necessary boilerplate so that
just returning the status you want from the function will work. So for
a NTSTATUS function you return NT_STATUS_XXX and from a WERROR
function you return WERR_XXX. If you really want to generate a DCERPC
level fault rather than just a return value in your function then you
should use the DCESRV_FAULT() macro which will correctly generate a
fault for you.

As a side effect, this also adds automatic type checking of all of our
server side rpc functions, which was impossible with the old API. When
I changed the API I found and fixed quite a few functions with the
wrong type information, so this is definately useful.

I have also changed the server side template generation to generate a
DCERPC "operation range error" by default when you have not yet filled
in a server side function. This allows us to correctly implement
functions in any order in our rpc pipe servers and give the client the
right information about the fault.
(This used to be commit a4df5c7cf88891a78d82c8d6d7f058d8485e73f0)

r463: build ldb with debugging when standalone
(This used to be commit 77269e7ad6f569585d5fad37ee63169c4eee3f01)

r462: added an explanation about the rather complex ltdb_key() function
(This used to be commit 894e44022d16d9ff43f421fb15495845710000ab)

r459: added an initial provision.ldif - this is temporary, and needs to be
replaced with a more sophisticated provisioning system
(This used to be commit 86604bef236568028e84e6b1e8d935c3cfd70112)

r458: this is the (very primitive) beginnings of a SAMR server for
Samba4. I'm committing this now so I can get comments on the approach.

Note that you need to do something like this to initialise the SAM db:

 edit script/provision.pl
 script/provision.pl > provision.ldif.out
 bin/ldbadd /path/to/private/sam.ldb provision.ldif.out
(This used to be commit e2002e40a5abe0cd33a2056b1da8ba5732f9021f)

r457: added some more samr tests to help me work out the right error codes
in our new samr server
(This used to be commit 0f2503111498e809237e0155962db55dfde8cbfb)

r456:  - added -i option to ldbsearch

 - fixed sorting bug in ldb index handing
(This used to be commit cdd48e2b9b3ca6be5503eec401e09db162408ac8)

r454: allow a non-URL form of a filename to be used in ldb_connect(). This
makes it a little easier to work with the ldb tools
(This used to be commit 03df31cef025b2087531579437d6bae1ec36e82f)

r453: added a comment about indexing on objectclass
(its usually a bad idea)
(This used to be commit f88760c3cc81324d3d339702b411603139af6224)

r452: move from first-fit to best-fit in tdb record allocation. For a
situation where we are continually increasing the size of a record
(such as ldb index records) this reduces the resulting tdb size by a
factor of over 100x, due to reductions in fragmentation. It appears to
have no noticable effect on the speed in other cases.
(This used to be commit b61d7f8bbc0c01d648ce204ffb6ea657e0b04c03)

r451: More NTLMSSP work.

The work here is trying to get the LM_KEY option for NLTMSSP
operating, however until that functions properly, it is now controlled
by some new smb.conf options, defaulting off.

Andrew Bartlett
(This used to be commit c63eb35b45c6db6e4c5302d1832bb5cef49a14f6)

r448: Fix 'auth' in Samba4, by making 'auth methods' a normal smb.conf
paramter, without special links to other variables.

When we get 'server role' ideas back into Samba4, we can fix this properly.

The default is:

guest, sam_ignoredomain

which is the expected behaviour for a stand-alone server.

Andrew Bartlett
(This used to be commit 56ebc4275fedc8141d43a4ae9a4f4f0e1eccaf49)

r445: fixed the bind_nak code
(This used to be commit f3799e7720e13e12b59168cf4afbf2dfe87868f7)

r444:  - added the beginnings of a ldb test suite and benchmark

 - updated the test slapd config to use bdb and indexing
(This used to be commit 7ad0858c060ee212a33434dc4be75e7a0cd1a0e3)

r443: Update Samba4 to the auth and NTLMSSP code from Samba3.

Not all the auth code is merged - only those parts that are actually
being used in Samba4.

There is a lot more work to do in the NTLMSSP area, and I hope to
develop that work here.  There is a start on this here - splitting
NTLMSSP into two parts that my operate in an async fashion (before and
after the actual authentication)

Andrew Bartlett
(This used to be commit 5876c78806e6a6c44613a1354e8d564b427d0c9f)

r442: fixed some uninitialised variables pointed out by gcc -O3
(This used to be commit ff31cfb941b77e99e648011a6b7639b2a5923a6a)

r441: added an example of how to use the remote rpc interface
(This used to be commit 62f59d1180cb97cbfd6e046072131fc486ade4bd)

r437: fixed handling of a corner case with multi-valued indexing
(This used to be commit b38612185657512419c4b3dc806cf1183e0db0cb)

r436: fixed indexing of objectclass with subclasses
(This used to be commit 4d92e6f79f52ec0d580dfda2a91b4afc95838ff4)

r435: a major upgrade for ldb

 - added the ability to mark record attributes as being CASE_INSENSITIVE, WILDCARD or INTEGER.

 - added the ability to support objectclass subclasses, and to search by a parent class

 - added internal support for case insensitive versus case sensitive
   indexing (not UTF8 compliant yet)

 - cleaned up a number of const warnings

 - added a number of helper functions for fetching integers, strings and doubles

 - added a in-memory cache for important database properties, supported by a
   database sequence number

 - changed some variable names to avoid conflicts with C++
(This used to be commit f2bf06f25c2e6c744817711c7bedbd1d3b52f994)

r432: fix the linking of the reg* tools

metze
(This used to be commit 089f6f063fdd7e54c0a2a95d27bab1813fbc2307)

r425: add some comments to ugly code parts

we should take care of 'char *' and 'const char *' and DO NOT mix them!

Jelmer: please fix this

metze
(This used to be commit cd609eb2fe9303825d5562047d57fd553b2601bd)

r424: let this code compile on every machine hopefully

metze
(This used to be commit 3e911db7c2cbcb38667f06e6b0282bce1b7991cb)

r420: added nicer names for the field bits in userinfo21

added tests for the level 23 and 25 password change methods
(This used to be commit d49f7a6a0d1895de3d654a5b46c6aec3a57fde76)

r419: Data::Dumper is not portable

use it only for debugging in a local tree

metze
(This used to be commit 7c53e05b4874143e8e8cd0034ab5a6a986e7994c)

r412: as we decide to not do 3.0.2a releases anymore,
remove the generation stuff from VERSION and mkversion.sh

metze
(This used to be commit 6658e75358a82e3e6f104487d8bb19514af4e7a7)

r411: make swig should not be the first make rule...

add make default -> all before

metze
(This used to be commit ddf6a575ff173fcf1e4898fc73459c52f554e043)

r392: added IDL for 3 more netlogon Delta levels, thanks to a dump from Richard Renard
(This used to be commit 2d8772ec9607c4e06bbc559b35979e27d4b988d9)

r390: added my best guess for how session keys are supposed to work when you
use NTLMSSP sign or seal at the RPC layer

It doesn't work yet, but then again neither does the old code (which
just assumed the SMB session key was used, which of course makes no
sense on a ncacn_ip_tcp connection)
(This used to be commit e8782329269bc78d36d8ca83fb7a4e38b9c6b167)

r389: added a test for set user info level 26 (set password extended)

thanks to Luke Howard for this test
(This used to be commit 891653e7d40f581016085e2c32e2802eea7e7ade)

r388: added IDL for 3 more set user info levels (all of which set the
password). That makes 8 ways to change a password just on the SAMR
pipe!

Thanks to Luke Howard from PADL for this.
(This used to be commit c8a49a7e004468d13f656f67eac4b7b4e1759022)

r387: more C++ friendly changes
(This used to be commit ac0c525a8b8a05cc275fb9f4c1dcfd749604c85f)

r386: Another torture test to survive.

Believe it or not, w2k3 returns ERRSRV:ERRbaduid DOS error code if you pass in
a wrong vuid. We (Samba 3) currently return NT_STATUS_NETWORK_ACCESS_DENIED.

Volker
(This used to be commit 37221b81f124887ab3cb652f237067ff4b56151e)

r383: Scripting extensions using swig.  This commit includes only a (LGPL)
python interface to tdb and a rudimentary build system.

Configure with --with-python and make swig to build and append
$(builddir)/scripting/swig/python to PYTHONPATH.
(This used to be commit bbc15d6f84b6a247ae87b253752a86a38f1d6798)

r382: More C++ friendliness fixes.
(This used to be commit e96f3a2005cf6f4da2ecd4670a35eab1b4f250d0)

r381: make the code more C++ friendly
(This used to be commit 8acecc7f27e25ab876fffffe43ae75b5f77aff77)

r380: make sure that ldbedit -a works with all tdb and LDAP backends
(This used to be commit b5cb5a1e62a4b9df6f163082498942553662436e)

r374: allow for a policy_handle fetch using a handle type of
DCESRV_HANDLE_ANY. This is needed for operations like samr_Close()
that take any handle type.
(This used to be commit 6fbbfc4462388c4c86f9f0ddd3cdd99225512ef2)

r373: use a much larger default tdb hash size in ldb
(This used to be commit 54f47c45b8f828ad5ddaa630d0c1e673f2c74b7a)

r372: automatically create a fake BDC machine account and delete it
afterwards for the RPC-NETLOGON test. This makes it much simpler to
run the test and also means that it doesn't distrurb any existing
domain join you might have.
(This used to be commit feac996794d5cc16e3612fb2901668a9b1e1d274)

r365: improved the IDL for samr_Connect5()
(This used to be commit 4b4f025504cb5b92c8b119259f1df622cd72ec7c)

r364: finally worked out the ancient samr_ChangePasswordUser() interface

yay!
(This used to be commit 0221566cf5ff7dc5ce0de9af451b935ed8615f4e)

r363: nicer error handling in pidl
(This used to be commit cafc8a5e763834a26432c467abfe84f140bb7d80)

r362: after setting domain info query it again so we can see what attributes stick
(This used to be commit b2ebaf95b75b050ad02ca967867337cd81faa859)

r361: allow anonymous browsing
(This used to be commit 845730501e24629aa3db4698f097dd73c14bca3b)

r360: use the STYPE_* definitions from srvsvc.idl
(This used to be commit 32707fe3c0fd7139b597fef1c2b096992e51bdc6)

r359: moved the share type definitions to srvsvc.idl

I'd like to see more protocol defininitions in the IDL files and less
in smb.h where possible.
(This used to be commit 854b875bbe447955fb0c3876f046931d0bfde06c)