r12998: A big update to samldb.c

This updates the module to handle both SID allocation and nextRid
updating while importing users.  (As imported users already have a
SID, so don't go via the allocation step).  We also ensure that SIDs
in the database are unquie at create time.

Furthermore, at allocation time, we double-check the SID isn't already
in use, and that we don't create a foriegnSecurityPrincipal for a
'local' sid.

Also create random samAccountName entries for users without one (we
were setting $000000-000000000000).

We may want to seperate the uniqueness code from the rest of samldb,
and into a module with the objectguid code, which needs similar
checks.  These checks also need to apply to modification, or those
modifications denied outright.

Also update part of the testsuite to validate this.

Andrew Bartlett

r12997: Feed the right event context to libnet in ejsnet and the auth code.
This should give better behaviour in SWAT.

Fix authentication as Samba, rather than System, users in SWAT.

Andrew Bartlett

r12996: Restrict this search to domain objects.

Andrew Bartlett

r12995: Don't allow overrides on "name" from above, as it can't be correct.

Andrew Bartlett

r12989: move the control parsing and handleng functions to cmdline.c
so that they can be used by the other ldb tools as well

r12988: delete an ancient file that misteriously survived till now.

r12984: add parse code and ldbsearch cmdline code for
NOTIFICATION LDAP Controls
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/ldap/ldap/ldap_server_notification_oid.asp

this doesn't work yet, but it shows that we need to extend ldb to correctly
handle async requests...

metze

r12983: - fix using a DIRSYNC cookie from the command line
- also w2k doesn't work correct with max_attrs = 0, so we should use
  a high number, with this I'm getting the same results from w2k and w2k3

metze

r12982: fix parsing of LDAP DIRSYNC cookies

metze

r12979: Grr, I forgot to commit this file (from Brad Henry's libnet_site
patch) before the power went out :-)

Andrew Bartlett

r12977: Some code to implement the client side of the Dirsync control
Still investigating how it works.

Simo.

r12976: Patch from Brad Henry <j0j0@riod.ca>:

This patch pulls the AD site name generation and site join code from
libnet/libnet_join.c and puts it into a new file, libnet/libnet_site.c.
This way, a common means for site name, configuration dn and server dn
generation exists so it doesn't need to be rewritten in new code (such
as the future libnet_leave for example).

I've made a couple of changes, but nothing dramatic.  Nice work Brad!

Andrew Bartlett

r12972: Use single quotes in the showflags and showlayout targets to stop the
shell interpreting the expanded make variables.

r12971: Fix spelling.

r12959: hopefully fix bug #3365 this time

metze

r12958: don't bind to '255.255.255.255'

fix bug #3411

metze

r12948: fix compiler warning

metze

r12947: added some error checking that I stumbled across while testing domain migration

r12945: Try to move closer to getting Samba3 import working again.

There still a few things to work out

Andrew Bartlett

r12944: Update scripts in setup to match changes in the provision.js

DNS is now done as a seperate step, to assist in migrations.

Andrew Bartlett

r12943: Generate a SID for the domain join account using the modules, rather
than a hardcoded SID.

Fix the samldb module to return the what *was* the nextrid, rather
than the new nextrid (that is for next time).

Andrew Bartlett

r12942: this way is better

r12941: Add Attribute Scoped Search control

want to see what it does ?

do aq make test and try:
./bin/ldbsearch -H st/private/sam.ldb --controls=asq:1:member -s base -b 'CN=Administrators,CN=Builtin,DC=samba,DC=example,DC=com' 'objectclass=*'

have fun.
simo.

r12934: do somemore debugging of the received browse packets,
(so I may learn about the protocol, while watching the debug output)

metze

r12933: fix parsing of browse packets based on the infos on ubiqx.org/cifs/Browsing.html

metze

r12932: export function prototypes

metze

r12931: Remove some prefixes.  We have:

Login failed: Login Failed: Logon failure - please try again

In SWAT currently...

Andrew Bartlett

r12930: Fix ADS join:  I wasn't filling in the flag 'realm' variable any more.

Andrew Bartlett

r12929: Fix more implict global and shadowing variables.

Andrew Bartlett

r12928: This patch improves the interaction between the vampire and provsion code.

Previously, we had to know (or guess) the host and domain guid at the
provision stage.  Now we query the database post-provision, to extract
the values and fill in the zone file.

This allows us to generate a correct zone file in the Windows migration case.

In an effort to make SWAT easier to use, I have removed and renamed
some of the provision options.

I have also fixed a nasty issue in my js code.  I had implictly
declared a global variable of the name 'join', with disasterious
results for any subsequent user of the string utility function:

esp exception - ASSERT at lib/appweb/ejs/ejsParser.c:2064, 0

Backtrace:
        [ 0]       substitute_var:20   ->               list[i] = join("", list2)
        [ 1]           setup_file:9    ->       data = substitute_var(data, subobj)

Andrew Bartlett

r12927: Fix typo.

r12926: Syncronsise GUIDs on users and domains from the server.  These also
appear in DNS, so need to match.

Andrew Bartlett

r12925: implement client side of ASQ control

r12919: Ensure we never 'extend' the session key length, or fill in past the
length of the (possibly null) pointer.

In reality this should come to us either 16 or 0 bytes in length, but
this is the safest test.

This is bug 3401 in Samba3, thanks to Yau Lam Yiu <yiuext at cs.ust.hk>

Andrew Bartlett

r12918: Don't tell the user the difference between 'no such user' and 'wrong
password'.

Andrew Bartlett

r12917: fix decoding of ldap controls
some more work on timeouts

r12911: try to fix bug #3365

metze

r12910: fix bug #3069

metze

r12909: add an ldb module for the wins.ldb,

it currently doesn't do much, but it's later
prevent adding corrupted records via ldbedit,
and will take care of the versionID counter

metze

r12908: use '_' also for indication we want to ask for the localmaster browser,

as '-' make problems with popt

metze

r12907: skip some tests for make quicktest in NBT-WINSREPLICATION

metze

r12906: return the correct nb_flags

metze

r12905: add some ldap policies
not yet enforced except for the initial connection timeout

r12903: Factor out a new routine libnet_RpcConnectDCInfo, to both connect to
the remote sever, and to query it for domain information.

Provide and use this information in the SamSync/Vampire callbacks, to allow a
parallel connection to LDAP, if we are talking to AD.  This allows us
to get at some important attributes not exposed in the old protocol.

With this, we are able to do a all-GUI vampire of a AD domain from
SWAT, including getting all the SIDs, servicePrincipalNames and the
like correct.

Andrew Bartlett

r12902: Fix 'make quicktest'.

Andrew Bartlett

r12899: - fix warnings on AIX
- fix compilation of auth/kerberos/krb5_init_context.c on AIX

metze

r12898: prepare the 'wins hook' feature, but we only debug out a 'TODO: run script ...'

metze

r12897: make it possible to use nosync transaction to speed things up,
(just for testing)

metze

r12896: IRIX make will fallback to gmake with this,
as normal IRIX make doesn't support shell commands or functions
in $(FOO) variables

metze

r12895: Error strings save lives.

err, they save time at least.  The correct use of an error string in
this case quickly pinpoited an overzealous check, and saved me hours
of painful debugging.

Andrew Bartlett

r12894: Add more detail to error messages.

Andrew Bartlett

r12893: Filling in *error_string is critical for SWAT, as the errors otherwise
do not propogate back to the user, they just end up in the logfile.

Andrew Bartlett

r12892: Add a 'Migrate from Windows' page to our installation section in SWAT.

Doing this required reworking ejsnet, particularly so it could take a
set of credentials, not just a username and password argument.

This required fixing the ejsnet.js test script, which now adds and
deletes a user, and is run from 'make test'.  This should prevent it
being broken again.

Deleting a user from ejsnet required that the matching backend be
added to libnet, hooking fortunetly onto already existing code for the
actual deletion.

The js credentials interface now handles the 'set machine account' flag.

New functions have been added to provision.js to wrap the basic
operations (so we can write a command line version, as well as the web
based version).

Andrew Bartlett

r12891: We no longer manually set the 'name' attribute.

Andrew Bartlett

r12887: Add the icon from samba.org to SWAT.

Andrew Bartlett

r12886: Rename 'secure_channel_type' parameter to domain join as 'join_type'.

Andrew Bartlett

r12883: Fix the build...

Andrew Bartlett

r12882: Allow the netbios name to be specified at all times.

Andrew Bartlett

r12881: Hard-coded defaults are silly.  We have smb.conf for a reason.

Andrew Bartlett

r12880: Remove ldap partitions useless now and probably we
will not use it anyway as we plan to support
partitions in ldb directly like with rootdse

Merge ldap_simple_ldb into ldap_backend, it is
not simple anymore and makes no sense to have
it separated now that ldap partitions are gone

Initial attempt at working to some limit to avoid DOSs
for the ldap server.

Simo.

r12874: Try to give the startup a few more seconds, so that hosts with
gnutls-devel installed do not miss the first test.

Andrew Bartlett

r12873: Fix valgrind-found uninitialised value.

Andrew Bartlett

r12872: Add some more detail to debug message.

Andrew Bartlett

r12869: I have removed this hack.  We now just do the lookups (netbios for now).

Andrew Bartlett

r12868: Remove unused code.  This has moved to libcli/finddcs.c.

Andrew Bartlett

r12867: Remove deleted header.

r12866: This removes the abstraction layer in winbindd intended to deal with
multiple protocols, replacing it with the packet handling subsystem.

We don't have multiple protocols at present, and the abstraction layer
only serves to confuse matters.  Also, the new packet subsystem removes
the need to handle partial reads.

We can easily add new protocols from the socket up instead, becaue the
difficult bits are done by the packet layer.

Andrew Bartlett

r12865: Upgrade the librpc and libnet code.

In librpc, always try SMB level authentication, even if trying
schannel, but allow fallback to anonymous.  This should better
function with servers that set restrict anonymous.

There are too many parts of Samba that get, parse and modify the
binding parameters.  Avoid the extra work, and add a binding element
to the struct dcerpc_pipe

The libnet vampire code has been refactored, to reduce extra layers
and to better conform with the standard argument pattern.  Also, take
advantage of the new libnet_Lookup code, so we don't require the silly
'password server' smb.conf parameter.

To better support forcing traffic to be sealed for the vampire
operation, the dcerpc_bind_auth() function now takes an auth level
parameter.

Andrew Bartlett

r12864: Fix valgrind errors in NET-API-LOOKUP* tests.

Andrew Bartlett

r12863: As lha suggested to me a while back, it appears that the
gsskrb5_get_initiator_subkey() routine is bougs.  We can indeed use
gss_krb5_get_subkey().

This is fortunate, as there was a segfault bug in 'initiator' version.

Andrew Bartlett

r12862: Need to trim spaces off the end of the node status reply.

Andrew Bartlett

r12861: Cope when we are not supplied the messaging context.  This is just
another case where we have to fallback to the node status request.

Andrew Bartlett

r12860: Remove unused function.  (we handle this in the password_hash module).

Andrew Bartlett

r12859: Make Samba4 match the Samba3 winbindd interface.  trunk has moved too
far at this point, and there is no point being in between.

Andrew Bartlett

r12858: This moves the libnet_LookupPdc code to use a GetDC request to find
the remote server's name, or in the absence of a local nbt_server to
communicate with (or without root access), a node status request.

The result is that we are in a better position to use kerberos, as well
as to remove the 'password server' mandatory parameter for the samsync
and samdump commands.  (I need this to put these into SWAT).

The only problem I have is that I must create a messaging context, which
requires a server ID.  As a client process, I don't expect to get
messages, but it is currently required for replies, so I generate a
random() number.  We probably need the servers to accept connections on
streamed sockets too, for client-only tasks that want IRPC.

Because I wanted to test this code, I have put the NET-API-* tests into
our test scripts, to ensure they pass and keep passing.  They are good
frontends onto the libnet system, and I see no reason not to test them.

In doing so the NET-API-RPCCONNECT test was simplified to take a
binding string on the command line, removing duplicate code, and
testing the combinations in the scripts instead.

(I have done a bit of work on the list shares code in libnet_share.c
to make it pass 'make test')

In the future, I would like to extend the libcli/findds.c code (based
off volker's winbind/wb_async_helpers.c, which is why it shows up a bit
odd in the patch) to handle getting multiple name replies, sending a
getdc request to each in turn.

(posted to samba-technical for review, and I'll happily update with
any comments)

Andrew Bartlett

r12856: make the logic much more sane

metze

r12851: Fix some typos

r12850: - add Doxygen comments to ldb
- 'make doxygen' generated the api documentation under apidocs/

Many thanks to Brad Hards <bradh@frogmouth.net> for the patches!

metze

r12849: fix typo

metze

r12847: add some ldb examples from Brad Hards (bradh@frogmouth.net)

metze

r12846: some fixes

metze

r12845: fix some typos

metze

r12844: don't include system headers directly

metze

r12843: get special objects with ldbsearch -a too, to match ldbedit -a

metze

r12842: don't include system headers directly

metze

r12838: make the ntvfs function public

metze

r12836: use: -fvisibility=hidden -D_PUBLIC_="__attribute__((visibility(\"default\")))"
if the compiler supports it, this will cause that modules can only access
public functions (gcc 4 supports this)

metze

r12835: RpcConnect test expansion to test connecting using ncacp_ip_tcp
as well as ncacn_np.

rafal

r12833: complete ldbsearch support for controls
now the three supported controls (paged_results,
server_sort, extended_dn) are fully functional
and the infrastructure to add more is in place.

valgrind is happy too :)

Simo.

r12832: make it possible to pass -D_PUBLIC_... to the compiler

metze

r12831: add 'extern' to public prototypes

metze

r12830: this can be const

metze

r12829: fix ldb headers, to not include '<...>' files in .c files

this helps in getting symbol -fvisibility=hidden (GCC 4 feature) working later.

metze

r12828: add a test to check white spaces comparison

r12827: This was a very well concealed bug.
Thank to Andrew Bartlet for finding out a test case that showed it up.

Simo.

r12826: The base DN is very tied to the realm.  Allowing it to be changed here
only allows stuffups, but doesn't benifit anyone.  (If we were to
allow it, we should have it change every time the realm is modified,
character by character).

The command line provision script doesn't allow this either.

Andrew Bartlett

r12825: Add \n

Guenther

r12824: Another typo.

Andrew Bartlett

r12823: Fix up the provison and newuser code in SWAT.  This also cleans up the
main provision script a bit, as the argument list was getting out of
control.  (It has been replaced in part with an object).

This also returns the session_info from the auth code into ejs.

We still need access control allowing only root to re-provision.

Andrew Bartlett

r12822: Given that talloc gives us this extra level of safety, use it.

Andrew Bartlett