ntdb: respect TDB_NO_FSYNC flag for 'make test'

This reduces test time from 31 seconds to 6, on my laptop.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

s4:torture/smb2: add smb2.durable-open.lock-oplock

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Fri Jun 22 03:37:54 CEST 2012 on sn-devel-104

selftest: samba3.smb2.durable-open.lock => samba3.smb2.durable-open.lock-lease

metze

s4:torture/smb2: rename smb2.durable-open.lock to smb2.durable-open.lock-lease

metze

autobuild: run "samba3-ctdb" by default

Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Fri Jun 22 01:46:13 CEST 2012 on sn-devel-104

autobuild: run "samba-ctdb" by default to catch dbwrap_ctdb regressions

autobuild: add a target "samba3-ctdb" that builds samba3 (autoconf) with cluster support

This is achieved by using the ctdb header files copied in from current ctdb
master. Tests are not run. For this we would need to have a full ctdb built and
configured.

autobuild: add a target "samba-ctdb" that builds samba (waf) with cluster support

This is achieved by using the ctdb header files copied in from current ctdb
master. Tests are not run. For this we would need to have a full ctdb built and
configured.

autobuild: rename the "samba4-libs" target to "samba-libs"

autobuild: rename the "samba4" target to "samba"

Add current headers from ctdb master.

(ctdb.h, ctdb_protocol.h, ctdb_private.h, ctdb_typesafe_cb.h, ctdb_client.h)

This will allow us to check for build regressions against ctdb from autobuild.

wintest: enable dns forwarding for internal dns

Internal DNS will forward dns requests to the original nameserver
(specified in resolv.conf).

Signed-off-by: Kai Blin <kai@samba.org>
Autobuild-User(master): Kai Blin <kai@samba.org>
Autobuild-Date(master): Thu Jun 21 23:47:35 CEST 2012 on sn-devel-104

wintest: get original nameserver for forwarding on a more general place

Signed-off-by: Kai Blin <kai@samba.org>

wintest: extend get_is_dc function with additional expectations

Windows Server 2003 r2 answers "wintest2k3 is not a DC."

Signed-off-by: Kai Blin <kai@samba.org>

wintest: check netcats exitstatus instead of output

There are many netcat implementations with different output messages.

Signed-off-by: Kai Blin <kai@samba.org>

wintest: set recursive queries for internal dns

Need dns recursive queries = yes, since
host expects answers with RA-bit.

Signed-off-by: Kai Blin <kai@samba.org>

wintest: add option to select the dns backend

This is an option to use the internal dns.

Signed-off-by: Kai Blin <kai@samba.org>

wintest: set nameserver on a more general place

Signed-off-by: Kai Blin <kai@samba.org>

wintest: add option to use ntvfs instead of s3fs

Signed-off-by: Kai Blin <kai@samba.org>

wintest: add working bbaumbach.conf file for use with VirtualBox

Signed-off-by: Kai Blin <kai@samba.org>

Fix bug #8974 - Kernel oplocks are broken when uid(file) != uid(process).

Based on a fix from "Etienne Dechamps " <e-t172@akegroup.org>

Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Thu Jun 21 21:53:58 CEST 2012 on sn-devel-104

Add --disable-ntdb option for building.

Autobuild-User(master): Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date(master): Thu Jun 21 19:59:57 CEST 2012 on sn-devel-104

samdb: Accept a list of member variables rather than a comma-separated string.

s3:idmap_cache: also store negative entries for unknown sids

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Thu Jun 21 18:04:05 CEST 2012 on sn-devel-104

s3:winbindd: do not expose negative cache idmap entries as valid mappings (bug #9002)

metze

s3:winbindd: discard the expired gid cache if we're online (bug #9002)

This matches the uid case...

metze

s3: Remove an unnecessary ()

Signed-off-by: Michael Adam <obnox@samba.org>
Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Thu Jun 21 16:05:30 CEST 2012 on sn-devel-104

s3: Use string_term_tdb_data where appropriate

Signed-off-by: Michael Adam <obnox@samba.org>

s3: Fix const warnings

Signed-off-by: Michael Adam <obnox@samba.org>

s4-provision: Give better clues on what Samba needs for s3fs ACL support

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Thu Jun 21 14:07:55 CEST 2012 on sn-devel-104

s3-rpcclient: support all known netr_LogonControl2 variants properly

logonctrl2 function in rpcclient did not allow to specify arguments
to most of netr_LogonControl2 function code points.

In addition, make descriptive help to show what is expected at each
function code point.

Autobuild-User(master): Alexander Bokovoy <ab@samba.org>
Autobuild-Date(master): Thu Jun 21 12:11:19 CEST 2012 on sn-devel-104

s4:torture/smb2: add smb2.durable-open.delete_on_close1

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Thu Jun 21 10:19:00 CEST 2012 on sn-devel-104

s3:move serverid_equal() to serverid.c

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:util: rename procid_equal() to serverid_equal()

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:util: remove (now) unused cluster_id_equal()

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:smbstatus: use procid_equal() instead of equivalent cluster_id_equal()

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3: Remove a user of procid_is_me

Signed-off-by: Michael Adam <obnox@samba.org>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3: Remove a user of procid_is_me

Signed-off-by: Michael Adam <obnox@samba.org>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:util: reformat procid_equal() to adhere to coding guidelines

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s3:util: also compare the unique_id in procid_equal().

Signed-off-by: Stefan Metzmacher <metze@samba.org>

script: really sleep in "random-sleep.sh"

Signed-off-by: Stefan Metzmacher <metze@samba.org>

samba-tool: gpo: Fix creation of filesystem ACL from directory ACL

Autobuild-User(master): Amitay Isaacs <amitay@samba.org>
Autobuild-Date(master): Thu Jun 21 03:25:57 CEST 2012 on sn-devel-104

s4-pysmb: Parse security info as an unsigned integer

s4-torture: Expand whoami test to confirm the user token.

This uses the tokenGroups attribute on LDAP and the posix whoami call
to confirm that user token matches between LDAP and CIFS.

I have a seperate patch for the anonymous case, because this isn't
consistent at this stage, and we need to study and fix that.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Wed Jun 20 18:43:43 CEST 2012 on sn-devel-104

s4-torture: Change the unix.whoami test to use torture_assert()

ntdb: fix occasional abort in testing.

Occasionally, the capability test inserts multiple used records and they
clash, but our primitive test layout engine doesn't handle hash clashes
and aborts.

Force a seed value which we know doesn't clash.

Reported-by: Andrew Bartlett <abartlet@samba.org>
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Autobuild-User(master): Rusty Russell <rusty@rustcorp.com.au>
Autobuild-Date(master): Wed Jun 20 16:50:20 CEST 2012 on sn-devel-104

script/autobuild: delay start of small projects by 60 to 600 seconds

This should reduce the startup load.

metze

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Wed Jun 20 14:56:51 CEST 2012 on sn-devel-104

script/autobuild: don't use 'make -j 4' for bin/smbtorture4

The '4' has no effect there, which results in NUM_JOBS == NUM_CORES.

metze

script/autobuild: don't use make -j for small projects

The top level and source3 builds take much longer than the standalone
projects, so there's no need to use 'make -j'.

metze

s3:smbd: fix the build with the --with-profiling-data option

metze

s3:include: add START/END_PROFILE_STAMP()

This is needed when the profiling spans multiple functions.

metze

wafsamba/irixcc: next try to inject '-c99' the the build

metze

Revert "wafsamba/irixcc: add '-c99' option to cc"

This reverts commit 59daf91f397c2ebef283ab9e6ecaabbe9dc58fc5.

Doesn't seem to work :-(

metze

idmap-hash: Attempt to fix Coverity ID 709116 Overflowed array index write

Signed-off-by: Michael Adam <obnox@samba.org>
Autobuild-User(master): Michael Adam <obnox@samba.org>
Autobuild-Date(master): Wed Jun 20 12:53:59 CEST 2012 on sn-devel-104

idmap-hash: Fix Coverity ID 709117 Dereference before null check

Signed-off-by: Michael Adam <obnox@samba.org>

idmap-hash: Fix Coverity 709118 Dereference before null check

Signed-off-by: Michael Adam <obnox@samba.org>

idmap-hash: Adapt mapfile_read_line to README.Coding

Signed-off-by: Michael Adam <obnox@samba.org>

idmap-hash: Fix Coverity ID 709119 Unused pointer value

"p" is overwritten further down again before it's first use

Signed-off-by: Michael Adam <obnox@samba.org>

VERSION: Move on to beta3!

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Wed Jun 20 10:14:37 CEST 2012 on sn-devel-104

VERSION: Mark as the beta2 release

WHATNEW: Update for the beta2 release

s4-idmap: Add parameter 'idmap_ldb:use rfc2307' and correct implementation errors

s4-provision: Remove --slapd-path option

This just leaves a default enough for the test code to still check the start
of the provision.  This may well be removed in future, and we wish to reduce
the extra options to provision.

Andrew Bartlett

s4-provision: Remove last unused remenants of the 'sid generator' configuration

This was part of the now-abandoned S4 AD LDAP backend project.

Andrew Bartlett

Revert "s4-libcli: Remove unused finddcs_nbt"

This reverts commit 06c90cb6f55701effa4cbafaf189a4de8471949b.

There is genuine interest in using this currently unused code, so put
it back into the tree to avoid folks having to rewrite it.

It should be carefully hooked back into libnet at some point, and
possibly told how to talk to the s3 nmbd socket if nbt_server isn't
running.

The wscript patches are skipped, due to the way the extra
dep interacted with the build system.  When used, this will be resolved.

Andrew Bartlett

Fix unused variable warnings.

Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Tue Jun 19 21:17:51 CEST 2012 on sn-devel-104

Fix unused variable warnings.

Remove unused variables.

Remove unused variables and code.

Fix more "set but not used" warnings.

Fix a bunch of "set but not used" warnings.

s3: We can depend on pthreadpool now

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Add a dummy implementation for the pthreadpool API

Signed-off-by: Jeremy Allison <jra@samba.org>

Remove unused code now we set the correct command codes.

Fix warning: variable ‘status’ set but not used.

Fix warnings using %lu to print a 64-bit value (should by %llu).

Fix  warning: variable ‘in_start_time’ set but not used.

Fix warning: variable ‘XX’ set but not used.

waf: Fix make etags

vlendec@host:~/git/s3> make etags
WAF_MAKE=1 ./buildtools/bin/waf etags
Running: etags $(find /home/vlendec/git/s3 -name "*.[ch]" | egrep -v \.inst\.)
sh: /usr/bin/etags: Argument list too long
'etags' finished successfully (0.368s)

Autobuild-User(master): Stefan Metzmacher <metze@samba.org>
Autobuild-Date(master): Tue Jun 19 18:56:53 CEST 2012 on sn-devel-104

selftest/flapping: mark samba4.nss.test using winbind as flakey

[1427/1518 in 1h12m39s] samba4.nss.test using winbind(member)
UNEXPECTED(failure): samba4.nss.test using winbind(member).run nsstest(member)
REASON: _StringException: _StringException: ERROR setpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR getpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR endpwent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR setgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR getgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR endgrent: NSS_STATUS=-1  1 (nss_errno=0)
ERROR Non existent user gave error -1
ERROR Non existent uid gave error -1
ERROR Non existent group gave error -1
ERROR Non existent gid gave error -1
total_errors=10

This seems to happen in all environments

metze

Revert "s3-lib Remove unused sys_fcntl_long()"

This reverts commit 846a697e20478798288afb43cdb7a9f389a15c69.

This is still used in source3/smbd/oplock_irix.c

metze

s3:rpc_server/lsasd: remove dependency to libgen.h and basename()

metze

s3-auth: make_new_system_info_session() now does not query nss

This is important in some situations where these queries might be
costly LDAP queries and is just not required for the system token.
This is because the system token should be just the NT
AUTHORITY\SYSTEM user and just enough unix info to allow the token to
be used.

Andrew Bartlett

Signed-off-by: Andreas Schneider <asn@samba.org>
Autobuild-User(master): Andreas Schneider <asn@cryptomilk.org>
Autobuild-Date(master): Tue Jun 19 13:34:28 CEST 2012 on sn-devel-104

s3-auth: make_new_system_info_session() not query passdb

This is important in some situations where these queries might be
costly LDAP queries and is just not required for the system token.
This is because the system token should be just the NT
AUTHORITY\SYSTEM user and just enough unix info to allow the token to
be used.

We query only NSS to get the name of sec_initial_uid()

Signed-off-by: Andreas Schneider <asn@samba.org>

s3-auth: inline make_session_info functions into only callers

With the split up to handle system specially, there is no need for these
static helper functions any more.

Andrew Bartlett

Signed-off-by: Andreas Schneider <asn@samba.org>

auth: Use only security_token_is_system to determine that a user is SYSTEM

This removes the duplication on how to detect that a user is system in Samba
now that the smbd system account is also only SID_NT_SYSTEM we can use the same
check everywhere.

Andrew Bartlett

Signed-off-by: Andreas Schneider <asn@samba.org>

s3-auth: Fix system token as just being SID_NT_SYSTEM

This removes the SID matching the sec_initial_uid().

Andrew Bartlett

Signed-off-by: Andreas Schneider <asn@samba.org>

s3-spoolss: delete_drivers should be called as the connecting user.

Signed-off-by: Andreas Schneider <asn@samba.org>

ntdb: add autoconf support.

This is copied from tdb; we build the utilities, but as nothing else
links against it, we shouldn't be adding anything to the normal samba
binary sizes.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Autobuild-User(master): Rusty Russell <rusty@rustcorp.com.au>
Autobuild-Date(master): Tue Jun 19 07:31:06 CEST 2012 on sn-devel-104

ntdb: put it back into the build.

This doesn't do anything with it yet, just wires it back into the build.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

libcli: use tdb directly, not tdb_compat.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb_wrap: use tdb directly, not tdb_compat.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ldb: use tdb directly, not tdb_compat.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/dbwrap: depend directly on tdb, not tdb_compat.

Simple change, as we get rid of tdb_compat in favour of either ntdb directly
or dbwrap.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/util_tdb: depend directly on tdb, not tdb_compat.

Simple change, as we get rid of tdb_compat in favour of tdb directly.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: update documentation.

Update the design.lyx file with the latest status and the change in hashing.
Also, refresh and add examples to the TDB_porting.txt file.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: optimize ntdb_fetch.

We access the key on lookup, then access the data in the caller.  It
makes more sense to access both at once.  We also put in a likely()
for the case where the hash is not chained.

Before:
Adding 1000 records: 3644-3724(3675) ns (129656 bytes)
Finding 1000 records: 1596-1696(1622) ns (129656 bytes)
Missing 1000 records: 1409-1525(1452) ns (129656 bytes)
Traversing 1000 records: 1636-1747(1668) ns (129656 bytes)
Deleting 1000 records: 3138-3223(3175) ns (129656 bytes)
Re-adding 1000 records: 3278-3414(3329) ns (129656 bytes)
Appending 1000 records: 5396-5529(5426) ns (253312 bytes)
Churning 1000 records: 9451-10095(9584) ns (253312 bytes)
smbtorture results (--entries=1000)
ntdb speed 183881-191112(188223) ops/sec

After:
Adding 1000 records: 3590-3701(3640) ns (129656 bytes)
Finding 1000 records: 1539-1605(1566) ns (129656 bytes)
Missing 1000 records: 1398-1440(1413) ns (129656 bytes)
Traversing 1000 records: 1629-2015(1710) ns (129656 bytes)
Deleting 1000 records: 3118-3236(3163) ns (129656 bytes)
Re-adding 1000 records: 3235-3355(3275) ns (129656 bytes)
Appending 1000 records: 5335-5444(5385) ns (253312 bytes)
Churning 1000 records: 9350-9955(9494) ns (253312 bytes)
smbtorture results (--entries=1000)
ntdb speed 180559-199981(195106) ops/sec

ntdb: add -h arg to ntdbrestore

Since our default hashsize is 8192 not 131, we look fat when we convert
near-empty TDBs.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: reduce default hashsize on ntdbtorture.

Just like tdbtorture, having a hashsize of 2 stresses us much more!

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ntdb: add NTDB_ATTRIBUTE_HASHSIZE

Since we've given up on expansion, let them frob the hashsize again.
We have attributes, so we should use them for optional stuff like
this.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>