s3-param: Make lp_name_resolve_order() return a list

This allows this parameter, one of the few with differing declarations
between the loadparm systems, to be brought into common.

Andrew Bartlett

Pair-Programmed-With: Andrew Tridgell <tridge@samba.org>

s4-param: Remove unused "idmap trusted only"

When we revamp the idmap layer, we will end up just following the s3
options, and this option is not used there either.

Andrew Bartlett

Pair-Programmed-With: Andrew Tridgell <tridge@samba.org>

lib/param: Add my copyright

lib/param: bring lp_time_server() into common

s3-auth Use correct RID for domain guests primary group

This was incorrect in commit 9dd7e7fc2d6d1aa7f3c3b741ac134e087ce808fd
as the RID was from the BUILTIN domain, but this creates a guest
account token for the real domain.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Thu Jul 19 05:56:28 CEST 2012 on sn-devel-104

s3-rpc_server: Remove make_server_info_info3() call from make_server_pipes_struct()

This codepath would only be executed if we provided a partial session_info token
across the named pipe forwarding code.

The smbd file server always fills this in, and if the ntvfs file server ever
wants to use an smbd hosted pipe, it can do the same.  Calling create_local_token
is always the wrong thing to do.

Andrew Bartlett

auth/credentials: Remove extra newline

selftest: Run unix.whomai against the machine acccount as well

This shows that the machine account got an extra SID in the token for domain users.

Andrew Bartlett

Revert "s3:auth make sure the primary group sid is usable"

This reverts commit 00089fd74af740f832573d904312854e494a869e.

The issue with this patch, which I did sign off on, is that for the
domain member case, we already know that the SID is reasonable and
valid, and we indeed rely on that, because we keep it as an additonal
group anyway.  The primary group is not so special that we need to do
extra validation.

Calling this function may put a user into the domain 'domain users'
group, even if they are not in that group to start with.

Andrew Bartlett

s4-torture: Move check of map-to-guest above SID list check

This makes it easier to interpret failing output.

Andrew Bartlett

s4-torture: Allow unix.whoami to test against a member server

This compares only the domain SIDs betwen the two servers, rather than
the full token, as well known and other SIDs may be added locally
in both cases.

This also expands the test environments this is run against to verify
this between our AD server and domain members.

Andrew Bartlett

s4-torture: Also print GID values in whoami test

torture: Print SIDs as additional debug output in unix.whoami

s3-aio: Panic if we try to close a fsp with outstanding aio requests

The core smbd must have taken care of this. If we don't do this properly,
we have a race of the close(2) against a pwrite(2). We might end up
writing to the wrong file.

Signed-off-by: Jeremy Allison <jra@samba.org>
Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Thu Jul 19 03:40:17 CEST 2012 on sn-devel-104

s3-smb2: Postpone close_file until all aio is handled

Thanks to Jeremy for this simple idea

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-smb1: Postpone close_file until all aio is handled

Thanks to Jeremy for this simple idea

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Add tevent_wait_send/recv

To me it seems that we might have this functionality already somewere... I
just can't find it. Metze, do you have an idea?

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Slightly simplify reply_close()

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Compile with pthreadpool by default

Signed-off-by: Jeremy Allison <jra@samba.org>

config: The AIO engine is indepent of HAVE_AIO now

Compile the basic aio engine always, it works via libasys/pthreadpool_sync
in a sync fashion even if no pthreads are around. Everything else (linux
aio, posix aio, aio fork) is now compiled as modules based on specific
system capabilities

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Add aio_fsync to the aio_linux module

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Add aio_fsync to the aio_fork module

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-aio-fork: make "read_cmd" an enum

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Add aio_fsync to the aio_posix module

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-aio: Make the strict sync after write async

This restores cb405947caa9f4bdb962483860a9093a364ecbf2, which was
lost during the refactoring of aio.c and vfs_aio_pthread.c.

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Add a _nosync version of smb2_write_complete

This will be used in aio.c to avoid a second fsync after write

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-vfs: async fsync

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Fix the build

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-libasys: Add asys_fsync() implementation

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Make us survive base-delaywrite with aio enabled

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Move the aio_pthread read/write functionality to vfs_default

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-aio: Remove unused VFS functions and more

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-vfs: Add pwrite_send/recv to vfs modules

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-vfs: Add pread_send/recv to vfs modules

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Convert aio_linux to pread/pwrite_send/recv

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Convert aio_fork to pread/pwrite_send/recv

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-aio_fork: Convert get_idle_child from NTSTATUS to errno

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-aio_fork: Convert create_aio_child from NTSTATUS to errno

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Add vfs_aio_posix

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Make smbd/aio.c not depend on aio.h anymore

Signed-off-by: Jeremy Allison <jra@samba.org>

s3:vfs_aio_pthread: Convert to libasys

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Remove the unused completion handling from aio.c

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Properly handle shutdown with the _send/_recv based aio

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Use SMB_VFS_PWRITE_SEND in schedule_smb2_aio_write

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Use SMB_VFS_PREAD_SEND in schedule_smb2_aio_read

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Use SMB_VFS_PWRITE_SEND in schedule_aio_write_and_X

Signed-off-by: Jeremy Allison <jra@samba.org>

s3: Use SMB_VFS_PREAD_SEND in schedule_aio_read_and_X

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-vfs: async pread

Signed-off-by: Jeremy Allison <jra@samba.org>

s3-vfs: async pwrite

Signed-off-by: Jeremy Allison <jra@samba.org>

libasys

Signed-off-by: Jeremy Allison <jra@samba.org>

s3:Really ignore unknown special ids in NFSv4 ACLs.

Signed-off-by: Christian Ambach <ambi@samba.org>
Autobuild-User(master): Christian Ambach <ambi@samba.org>
Autobuild-Date(master): Wed Jul 18 17:45:05 CEST 2012 on sn-devel-104

docs-xml: document smbstatus --notify

docs-xml: document smbstatus --fast

s3:smbstatus add --fast option

this option skips all checks if the process for the record is still there
using it gives a huge performance benefit on busy systems and clusters while
it might display stale data if a smbd crashed

s3:smbstatus don't check if process exists twice

is_valid_share_mode_entry() already calls serverid_exists which calls process_exists()

s3:smbstatus rename a function to make its purpose more clear

traverse_fn1 does not really intuitively make clear that it is used to traverse connections

s3:smbstatus fix a compiler warning

about comparison of signed with unsigned

s4-lib/tls: Try socket_send() multiple times to send partial packets

This works around an artificial limitation in socket_wrapper that breaks
some versions of GnuTLS when we return a short write.

Instead, keep pushing until the OS will not take it.

The correct solution will be to use tls_tstream, but the client code
for this is not yet tested and needs the ldap client layer changed
to use it.

Andrew Bartlett

Autobuild-User(master): Andrew Bartlett <abartlet@samba.org>
Autobuild-Date(master): Wed Jul 18 11:23:55 CEST 2012 on sn-devel-104

s4-librpc: Ensure we do not call call the decrpc timeout handler during gensec_update()

This avoids a situation where we could destroy pointers on the stack due to
a nested event loop.

This is certainly not a final, generic solution, but it is a minimal change
while we work to make gensec and gensec_gssapi async.

Andrew Bartlett

s4-dbcheck: Check for and correct incorrect instanceType values

dsdb: Allocate new OID to allow updates of a read-only replica

Normally this would be a very bad idea, but the specific case of fixing the instanceType
is the only case where this makes sense.

Andrew Bartlett

s4-dsdb: Allow dbcheck to correct an incorrect instanceType

s4-dsdb: Ensure we never write read-only objects onto a read-write replica

We should prevent this much further up the stack, but at least add a choke
at this point for now.

Additionally, this avoids administrator-forced replications causing
considerable damange to the directory.

Andrew Bartlett

source4/torture: add talloc_stackframe()

We need a stackframe to call lp_load().

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Autobuild-User(master): Rusty Russell <rusty@rustcorp.com.au>
Autobuild-Date(master): Wed Jul 18 09:31:07 CEST 2012 on sn-devel-104

source3/netapi: fix only caller which doesn't set up a talloc_stackframe()

libnetapi_free() needs a stackframe too; looked like Andrew and Günther
missed this in a37de9a95974c138d264d9cb0c7829bb426bb2d6.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/passdb/py_passdb.c: wrap all calls in talloc_stackframe()

dbwrap needs it.  Some calls were already wrapped, but they checked the
talloc_stackframe() return unnecessarily: it can never be NULL.

This is the coccinelle patch I used:

// Add in a stackframe to every function: be sure to free it on (every) return
@rule0@
identifier func;
@@
func(...) {
+TALLOC_CTX *frame = talloc_stackframe();
<...
+talloc_free(frame);
return ...;
...>
}

// Get rid of tframe allocation/frees, replace usage with frame.
@rule1@
identifier func;
identifier oldframe;
@@
func(...) {
...
-TALLOC_CTX *oldframe;
...
-if ((oldframe = talloc_stackframe()) == NULL) {
-  ...
-}
<...
-talloc_free(oldframe);
...>
}

// Get rid of tframe (variant 2)
@rule2@
identifier func;
identifier oldframe;
@@
func(...) {
...
-TALLOC_CTX *oldframe;
...
-oldframe = talloc_stackframe();
-if (oldframe == NULL) {
-  ...
-}
<...
-talloc_free(oldframe);
...>
}

// Change tframe to frame
@rule3@
identifier func;
@@
func(...) {
<...
-tframe
+frame
...>
}

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/passdb/py_passdb.c: don't steal from talloc_stackframe().

If you want a stack-style allocation, use talloc_stackframe().  If you
don't, don't use it.  In particular, talloc_stackframe() here is actually
inside a pool, and stealing from pools is a bad idea.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/torture/pdbtest: allocate talloc_stackframe()

Avoid talloc_tos() without a stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc_stack: abort in developer me if no stackframe on talloc_tos()

Don't tolerate leaks in developer mode.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

loadparm: make the source3/ lp_ functions take an explicit TALLOC_CTX *.

They use talloc_tos() internally: hoist that up to the callers, some
of whom don't want to us talloc_tos().

A simple patch, but hits a lot of files.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/utils/net_conf.c: fix stackframe leak

net_conf_wrap_function() doesn't free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/winbindd/winbindd_pam.c: fix stackframe leak

check_info3_in_group() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/lib/smbconf/testsuite.c: fix stackframe leak

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/registry/reg_backend_db.c: fix stackframe leak

regdb_store_values_internal() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/winbindd/idmap_tdb_common.c: fix stackframe leak

idmap_tdb_common_sid_to_unixid() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/rpc_server/svcctl/srv_svcctl_reg.c: fix stackframe leak

svcctl_init_winreg() doesn't free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/modules/vfs_xattr_tdb.c: fix stackframe leak

xattr_tdb_getxattr() doesn't free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/util/modules.c: fix stackframe leak.

do_smb_load_module() doesn't free its stackframe on success.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/winbindd/winbindd_util.c: fix stackframe leak

winbindd_can_contact_domain() doesn't always free its stackframe.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

nt_printing_tdb_migrate(): fix stackframe leak.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

source3/client/client.c: fix stackframe leak.

do_message_op() doesn't free its stackframe in various paths.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

smbpasswd: always free frame.

We're about to exit, so it doesn't really matter, but might as well
unify the paths.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc_stack: report lazy freeing (panic if DEVELOPER).

talloc_stackframe() stacks, so if you forget to free one, the outer
one will free it.  However, it's not a good idea to rely too heavily
on this behaviour: it can lead to delays in the release of memory or
destructors.

I had an elaborate hack to make sure every talloc_stackframe() was
freed in the exact same function it was allocated, however all bugs it
caught were simply lazy freeing, so this patch just checks for that.

This doesn't check for stackframes we don't free up on exit: that would
be nice, but uncovers some uncomfortable (but probably harmless) cases.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc_stack: always include the location when creating a talloc_stackframe().

Much better for debugging.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc_stack: handle more than one talloc_stackframe_pool()

The only reason we make one stackframe parent of the next is so we use
our parent's pool.  That doesn't make sense if we're a new pool, and
wouldn't work anyway.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: don't allow a talloc_pool inside a talloc_pool.

We explicitly call free() on a pool which falls to zero, assuming it's
not inside another pool (we crash).  Check on creation and explicitly
document this case.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

talloc: use a struct for pool headers.

This neatens the code a bit (we should do a similar thing for all the
TALLOC_CHUNK macros).

Two subtler changes:
(1) As a result of the struct, we actually pack object_count into the
    talloc header on 32-bit platforms (since the header is 40 bytes, but
    needs to be 16-byte aligned).
(2) I avoid VALGRIND_MAKE_MEM_UNDEFINED on memmove when we resize the
    only entry in a pool; that's done later anyway.

With -O2 on my 11.04 Ubuntu 32-bit x86 laptop, the talloc_pool speed as
measured by testsuite.c actually increases 10%.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

s3-linux-aio: Fix error handling

Signed-off-by: Jeremy Allison <jra@samba.org>
Autobuild-User(master): Jeremy Allison <jra@samba.org>
Autobuild-Date(master): Tue Jul 17 21:22:31 CEST 2012 on sn-devel-104

Add debug message when SD hash doesn't match.

s3-autoconf: Fix the build.

Guenther

Autobuild-User(master): Andreas Schneider <asn@cryptomilk.org>
Autobuild-Date(master): Tue Jul 17 16:17:06 CEST 2012 on sn-devel-104

Enable AES in winbind.

Signed-off-by: Günther Deschner <gd@samba.org>

s3-rpc_client: Fix updating netlogon credentials.

Signed-off-by: Günther Deschner <gd@samba.org>

s3-rpc_client: Add capabilities check for AES encrypted connections.

Signed-off-by: Günther Deschner <gd@samba.org>

s4-auth: Make sure we use the correct credential state.

If we create a copy of the credential state we miss updates to the
credentials.

To establish a netlogon schannel connection we create client credentials
and authenticate with them using

dcerpc_netr_ServerAuthenticate2()

For this we call netlogon_creds_client_authenticator() which increases
the sequence number and steps the credentials. Lets assume the sequence
number is 1002.

After a successful authentication we get the server credentials and we
send bind a auth request with the received creds. This sets up gensec
and the gensec schannel module created a copy of the client creds and
stores it in the schannel auth state. So the creds stored in gensec have
the sequence number 1002.

After that we continue and need the client credentials to call

dcerpc_netr_LogonGetCapabilities()

to verify the connection. So we need to increase the sequence number of
the credentials to 1004 and step the credentials to the next state. The
server always does the same and everything is just fine here.

The connection is established and we want to do another netlogon call.
So we get the creds from gensec and want to do a netlogon call e.g.

dcerpc_netr_SamLogonWithFlags.

We get the needed creds from gensec. The sequence number is 1002 and
we talk to the server. The server is already ahead cause we are already
at sequence number 1004 and the server expects it to be 1006. So the
server gives us ACCESS_DENIED cause we use a copy in gensec.

Signed-off-by: Günther Deschner <gd@samba.org>

s4-librpc: Add capabilities check for AES encrypted connections.

Signed-off-by: Günther Deschner <gd@samba.org>

s4-torture: Improve samlogon test.

s4-torture: Add DCERPC_SCHANNEL_AES tests.

Signed-off-by: Günther Deschner <gd@samba.org>

s3:rpc_server: add support for AES bases netlogon schannel

metze

Signed-off-by: Günther Deschner <gd@samba.org>

s4:rpc_server/netlogon: add support for AES based netlogon schannel

metze

Signed-off-by: Günther Deschner <gd@samba.org>

s4:librpc/rpc: add DCERPC_SCHANNEL_AES support

metze

Signed-off-by: Günther Deschner <gd@samba.org>