s4/idl: drsuapi.idl fix drsuapi_DsReplicaSyncRequest1 description

- pointer to naming_context should be [ref] pointer
  (i.e. not NULL pointer)
- other_info is actually the DNS name for Source DSA and is used
  if DRSUAPI_DRS_SYNC_BYNAME is passed
  ref: [MS-DRSR] 5.39

s3:selftest: handle spaces in test names

metze

s3:selftest: make wbinfo_s3 work on the "member" server too.

metze

s3:test_wbinfo_s3: test --check-secret and --change-secret

metze

s3:rpc_transport_np: handle trans rdata like the output of a normal read

Inspired by bug #7159.

metze

s4-smbtorture: verify that the client cpu architecture has no influence on the
calculated buffer size in RPC-SPOOLSS.

Guenther

tdb: handle processes dying during transaction commit.

tdb transactions were designed to be robust against the machine
powering off, but interestingly were never designed to handle the case
where an administrator kill -9's a process during commit.  Because
recovery is only done on tdb_open, processes with the tdb already
mapped will simply use it despite it being corrupt and needing
recovery.

The solution to this is to check for recovery every time we grab a
data lock: we could have gained the lock because a process just died.
This has no measurable cost: here is the time for tdbtorture -s 0 -n 1
-l 10000:

Before:
2.75 2.50 2.81 3.19 2.91 2.53 2.72 2.50 2.78 2.77 = Avg 2.75

After:
2.81 2.57 3.42 2.49 3.02 2.49 2.84 2.48 2.80 2.43 = Avg 2.74

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

patch tdb-refactor-tdb_lock-and-tdb_lock_nonblock.patch

tdb: add -k option to tdbtorture

To test the case of death of a process during transaction commit, add
a -k (kill random) option to tdbtorture.  The easiest way to do this
is to make every worker a child (unless there's only one child), which
is why this patch is bigger than you might expect.

Using -k without -t (always transactions) you expect corruption, though
it doesn't happen every time.  With -t, we currently get corruption but
the next patch fixes that.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: don't truncate tdb on recovery

The current recovery code truncates the tdb file on recovery.  This is
fine if recovery is only done on first open, but is a really bad idea
as we move to allowing recovery on "live" databases.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: remove lock ops

Now the transaction code uses the standard allrecord lock, that stops
us from trying to grab any per-record locks anyway.  We don't need to
have special noop lock ops for transactions.

This is a nice simplification: if you see brlock, you know it's really
going to grab a lock.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: rename tdb_release_extra_locks() to tdb_release_transaction_locks()

tdb_release_extra_locks() is too general: it carefully skips over the
transaction lock, even though the only caller then drops it.  Change
this, and rename it to show it's clearly transaction-specific.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: remove ltype argument from _tdb_transaction_cancel.

Now the transaction allrecord lock is the standard one, and thus is cleaned
in tdb_release_extra_locks(), _tdb_transaction_cancel() doesn't need to
know what type it is.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: tdb_allrecord_lock/tdb_allrecord_unlock/tdb_allrecord_upgrade

Centralize locking of all chains of the tdb; rename _tdb_lockall to
tdb_allrecord_lock and _tdb_unlockall to tdb_allrecord_unlock, and
tdb_brlock_upgrade to tdb_allrecord_upgrade.

Then we use this in the transaction code.  Unfortunately, if the transaction
code records that it has grabbed the allrecord lock read-only, write locks
will fail, so we treat this upgradable lock as a write lock, and mark it
as upgradable using the otherwise-unused offset field.

One subtlety: now the transaction code is using the allrecord_lock, the
tdb_release_extra_locks() function drops it for us, so we no longer need
to do it manually in _tdb_transaction_cancel.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: suppress record write locks when allrecord lock is taken.

Records themselves get (read) locked by the traversal code against delete.
Interestingly, this locking isn't done when the allrecord lock has been
taken, though the allrecord lock until recently didn't cover the actual
records (it now goes to end of file).

The write record lock, grabbed by the delete code, is not suppressed
by the allrecord lock.  This is now bad: it causes us to punch a hole
in the allrecord lock when we release the write record lock.  Make this
consistent: *no* record locks of any kind when the allrecord lock is
taken.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: always grab allrecord lock to infinity.

We were previously inconsistent with our "global" lock: the
transaction code grabbed it from FREELIST_TOP to end of file, and the
rest of the code grabbed it from FREELIST_TOP to end of the hash
chains.  Change it to always grab to end of file for simplicity and
so we can merge the two.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: remove num_locks

This was redundant before this patch series: it mirrored num_lockrecs
exactly.  It still does.

Also, skip useless branch when locks == 1: unconditional assignment is
cheaper anyway.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: use tdb_nest_lock() for seqnum lock.

This is pure overhead, but it centralizes the locking.  Realloc (esp. as
most implementations are lazy) is fast compared to the fnctl anyway.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: use tdb_nest_lock() for active lock.

Use our newly-generic nested lock tracking for the active lock.

Note that the tdb_have_extra_locks() and tdb_release_extra_locks()
functions have to skip over this lock now it is tracked.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: use tdb_nest_lock() for open lock.

This never nests, so it's overkill, but it centralizes the locking into
lock.c and removes the ugly flag in the transaction code to track whether
we have the lock or not.

Note that we have a temporary hack so this places a real lock, despite
the fact that we are in a transaction.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: use tdb_nest_lock() for transaction lock.

Rather than a boutique lock and a separate nest count, use our
newly-generic nested lock tracking for the transaction lock.

Note that the tdb_have_extra_locks() and tdb_release_extra_locks()
functions have to skip over this lock now it is tracked.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: find_nestlock() helper.

Factor out two loops which find locks; we are going to introduce a couple
more so a helper makes sense.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: tdb_release_extra_locks() helper

Move locking intelligence back into lock.c, rather than open-coding the
lock release in transaction.c.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: tdb_have_extra_locks() helper

In many places we check whether locks are held: add a helper to do this.

The _tdb_lockall() case has already checked for the allrecord lock, so
the extra work done by tdb_have_extra_locks() is merely redundant.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: don't suppress the transaction lock because of the allrecord lock.

tdb_transaction_lock() and tdb_transaction_unlock() do nothing if we
hold the allrecord lock.  However, the two locks don't overlap, so
this is wrong.

This simplification makes the transaction lock a straight-forward nested
lock.

There are two callers for these functions:
1) The transaction code, which already makes sure the allrecord_lock
   isn't held.
2) The traverse code, which wants to stop transactions whether it has the
   allrecord lock or not.  There have been deadlocks here before, however
   this should not bring them back (I hope!)

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: tdb_nest_lock/tdb_nest_unlock

Because fcntl locks don't nest, we track them in the tdb->lockrecs array
and only place/release them when the count goes to 1/0.  We only do this
for record locks, so we simply place the list number (or -1 for the free
list) in the structure.

To generalize this:

1) Put the offset rather than list number in struct tdb_lock_type.
2) Rename _tdb_lock() to tdb_nest_lock, make it non-static and move the
   allrecord check out to the callers (except the mark case which doesn't
   care).
3) Rename _tdb_unlock() to tdb_nest_unlock(), make it non-static and
   move the allrecord out to the callers (except mark again).

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: rename global_lock to allrecord_lock.

The word global is overloaded in tdb.  The global_lock inside struct
tdb_context is used to indicate we hold a lock across all the chains.

Rename it to allrecord_lock.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: rename GLOBAL_LOCK to OPEN_LOCK.

The word global is overloaded in tdb.  The GLOBAL_LOCK offset is used at
open time to serialize initialization (and by the transaction code to block
open).

Rename it to OPEN_LOCK.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: make _tdb_transaction_cancel static.

Now tdb_open() calls tdb_transaction_cancel() instead of
_tdb_transaction_cancel, we can make it static.

Signed-off-by: Rusty Russell<rusty@rustcorp.com.au>

tdb: cleanup: split brlock and brunlock methods.

This is taken from the CCAN code base: rather than using tdb_brlock for
locking and unlocking, we split it into brlock and brunlock functions.

For extra debugging information, brunlock says what kind of lock it is
unlocking (even though fnctl locks don't need this).  This requires an
extra argument to tdb_transaction_unlock() so we know whether the
lock was upgraded to a write lock or not.

We also use a "flags" argument tdb_brlock:
1) TDB_LOCK_NOWAIT replaces lck_type = F_SETLK (vs F_SETLKW).
2) TDB_LOCK_MARK_ONLY replaces setting TDB_MARK_LOCK bit in ltype.
3) TDB_LOCK_PROBE replaces the "probe" argument.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

s4/schema: Move msDS-IntId implementation to samldb.c module

msDS-IntId attribute should be replicated, so it must be
implemented in a module that is before repl_meta_data module
(thanks abartlet for pointing this out).

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4/torture/smb2: Add two new SMB2 compound tests

These tests server behavior when a client compounds both synchronous
and asynchronous requests.

s4:cleanup remove unused schannel ldb code

s4:schannel merge code with s3

After looking at the s4 side of the (s)channel :) I found out that it makes
more sense to simply make it use the tdb based code than redo the same changes
done to s3 to simplify the interface.

Ldb is slow, to the point it needs haks to pre-open the db to speed it up, yet
that does not solve the lookup speed, with ldb it is always going to be slower.

Looking through the history it is evident that the schannel database doesn't
really need greate expanadability. And lookups are always done with a single
Key. This seem a perfet fit for tdb while ldb looks unnecessarily complicated.

The schannel database is not really a persistent one. It can be discared during
an upgrade without causing any real issue. all it contains is temproary session
data.

schannel_tdb: make code compilable in both trees

s3:schannel streamline interface

Make calling schannel much easier by removing the need to explicitly open the
database. Let the abstraction do it instead.

s3:schannel fix memory hierarchy

passing mem_ctx was causing creds->sid to be allocated on mem_ctx and not be
child of creds as expected. When later in schannel_check_creds_state() we
stole the creds on a different memory context the sid was left behind and the
memory it points to freed when the temporary context was freed.

schannel: merge header files

One almost empty header file was simply including another not included by
anything else. Just merge them together.

s4:schannel more readable check logic

Make the initial schannel check logic more understandable.
Make it easy to define different policies depending on the caller's
security requirements (Integrity/Privacy/Both/None)

This is the same change applied to s3

s3:schannel more readable check logic

Make the initial schannel check logic more understandable.
Make it easy to define different policies depending on ther caller's security
requirements (Integrity/Privacy/Both/None)

s3 move the sitename cache in its own file

s3: Consolidate some pid_to_procid() calls to procid_self()

s3: re-run make samba3-idl.

Guenther

spoolss: some fixes for devicemode dm extra structs.

Guenther

s3: re-run make samba3-idl.

Guenther

spoolss: add various DM extradata formats (including PostScript and UniDriver).

Guenther

s3:spoolss: construct the devmode the same way for level 2 and 8

metze

s3:cli_netlogon: keep the the correct negotiate_flags on the cli->dc structure

This should fix the rpccli_netlogon_set_trust_password() against DC's
without netr_ServerPasswordSet2 support.

This fixes bug #7160.

metze

s3:selftest: $WORKGROUP doesn't exist, we should use $DOMAIN

metze

s3: Consolidate server_id_self into the equivalent procid_self()

s3: add explicit configure option whether or not to enable dmapi support

tstream: Added a typedef for the function prototype.

s4-smb: Migrate named_pipe_server to tsocket.

s4-selftest: disable rndc and dns update in build farm

s4-dns: improved logging, and run name check at startup

s4-pyglue: added interface_ips() call

This allows a python script to query the internal network interface
lists from Samba

s4-dns: call out to the dns update command every 10 minutes

This periodically calls samba_dnsupdate to update our DNS entries if
needed

s4-param: added "dns update command" smb.conf option

defaults to SBINDIR/samba_dnsupdate

This command will do periodic dynamic DNS updates using TSIG-GSS

s4-config: add dyn_SBINDIR

libreplace: Remove the obsolete signal type cast.

AC_SIGNAL_TYPE is already obsolete in autoconf. C89 requires signal
handlers to return void, only K&R returned int.

libutil: Remove obsolete signal type cast.

s4-smbd: Remove obsolete singal type cast from the thread process model.

s3-smb: Remove the obsolete signal type cast.

AC_SIGNAL_TYPE is already obsolete in autoconf. C89 requires signal
handlers to return void, only K&R returned int.

s3-lib: Remove obsolete signal type cast.

s3-libads: Remove obsolete signal type cast.

s3-nmbd: Remove obsolete signal type cast.

s3-pam_smbpass: Remove obsolete signal type cast.

s3-passdb: Remove obsolete signal type cast.

s3-print: Remove obsolete signal type cast.

s3:winbindd: never mark external domains as internal!

This way we can endup with silently using builtin_passdb_methods
for an ad domain without an inbound trust.

This fixes bug #7170.

metze

s4:netlogon RPC - fix the indentation

Simo, I'm not really sure that those checks are valid. I read MS-NRPC section
3.5.4.1 about LOGONSRV_HANDLEs ("server_name" is of this type). There isn't
stated that the server name has necessarily to be in the DNS form and should
also be valid when it's NULL (if DCE server and client are the same - I don't
know if me make use of it in s4).

s3 Fix the build

I didn't mean to puch the GetForestTrustInformation patch just yet,
now that it is in fix the s3 build ...

s4:netlogon GetTrustedDomainInformation

start implementing calls related to trusted domain information

s4:netlogon fix segfault

ldb:web Fix typo

A test "store create time" parameter got commited by accident. Remove it.
Jeremy.

Ensure STREAMERROR deletes any files in the \\testdir
before rmdir and mkdir.
Jeremy.

Add an "attributes" string to allinfo.
Jeremy.

s3: Explicitly handle inbuf in cli_trans_done

s3: Explicitly handle inbuf in cli_write_andx_done

s3: Explicitly handle inbuf in cli_read_andx_done

s3: Explicitly handle inbuf in cli_message_start_done

s3: Explicitly handle inbuf in cli_dskattr_done

s3: Explicitly handle inbuf in cli_getatr_done

s3: Explicitly handle inbuf in cli_getattrE_done

s3: Explicitly handle inbuf in cli_open_done

s3: Explicitly handle inbuf in cli_ntcreate_done

s3: Explicitly handle inbuf in cli_echo_done

s3: Explicitly handle inbuf in cli_negprot_done

s3: Explicitly handle inbuf in cli_tcon_andx_done

s3: Explicitly handle inbuf in cli_sesssetup_blob_done

s3: Explicitly handle inbuf in cli_session_setup_guest_done

s3: Explicitly handle inbuf in cli_smb_oplock_break_waiter_done

s3: Add a talloc_move for the inbuf to cli_smb_recv

s4:registry/regf.c - specify the context when freeing the "regf" variable

Otherwise we get a "talloc_free with references" warning.

More spelling fixes across source4/

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

Various source4 spelling fixes.

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

Spelling fixes for source4/auth.

The comment for USER_INFO_INTERACTIVE_LOGON looks like a cut-n-paste from the line above.

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

Spelling fixes for source4/lib/registry.

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

Typo fix.

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>