s4:python Add bindings to set GENSEC flags on credentials in python

This should allow these to be manipulated by python scripts that need
encrypted connections.

Andrew Bartlett

s3: remove unused schannel_auth_struct.

Guenther

testprogs: print the directory paths as well in spoolss test.

Guenther

libcli/auth: print the error in the debug message

metze

s4-smb: Migrate named_pipe_server to tsocket.

This is an improved version of commit 69d5cea2e59162f19460e7ce4b6382fc5fdd6ca0,
which was reverted by commit 71c20f703b0c603d6aada63ed5634070a26df052.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

tsocket: Improve the tsocket_address_bsd_sockaddr documentation.

Signed-off-by: Stefan Metzmacher <metze@samba.org>

s4:provision: use generate_random_password()

metze

s4:pyglue: add generate_random_password()

metze

s4:torture/rpc: use generate_random_password()

metze

s4:libnet: use generate_random_password()

metze

lib/util: add generate_random_password()

metze

devel: get the ownership of the directories right in tmpfs.sh

s4-provision: fixed use of rndc command from python

rndc command is now a list

s4-provision: also create the dns_update_list when running net vampire

We need the list when joining a windows domain, so we can
automatically maintain the right DNS entries on the Windows DNS server

s4-dns: fixed CNAME automatic DNS updates

s4-dns: use a loadparm list for samba_runcmd() commands

This allows commands with multiple arguments and quoting to be used,
while still avoiding running a shell (and this having shell expansion
problems)

s4-provision: added dns_update_list

This contains the list of DNS names we should have as a DC

s4-provision: setup the dns_update_list at provision time

This file is substituted at runtime by samba_dnsupdate

s4-provision: if we aren't doing variable substitution then don't check for vars

dns: auto-delete incorrect SRV entries for our hostname

s4-dns: add automatic dynamic DNS updating script

This script checks a list of DNS names that we should have, and does
dynamic DNS updates using our machine account credentials to add any
missing DNS entries.

This allows us to correctly add all the DNS entries we need when we
join an existing domain as a DC

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: fixed port number for gc ldap DNS SRV entry

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-param: added 'nsupdate command' option, default to /usr/bin/nsupdate -g

samdb: added get_ntds_GUID() method

py-samdb: added server_site_name method

pyglue: added py_samdb_server_site_name()

py-samdb: added get_invocation_id() method

pyglue: added py_samdb_ntds_invocation_id()

pyglue: don't return 127.0.0.0/8 IPs in interface_ips()

We don't generally want loopback addresses in the python code

s4-krb5: propogate errors from a lot more kerberos functions

We need to be able to give sensible error messages when a kerberos
calls fails. This propogates the kerberos error up the stack to the
caller.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

dns: install samba_dnsupdate

dns: dummy samba_dnsupdate script

The merge from metze of my dns tree means we now depend on this. This
is a placeholder until Andrew and I have finished the full script.

s4-dsdb: fixed the fetch of the server site name

when the ntds objects were moved by a recent change it broke the
calculation of the server site

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

Revert "s4:AD content - adequate some revision levels to match Windows Server 2008"

This reverts commit 973ea198677c581064fad62cdac30baac7103ef8.

This change breaks DRS dcpromo.

s4:RPC-DSSYNC: pass the ip address to the cldap code instead of a name

metze

s4:torture: use a connected CLDAP socket.

This is needed because we don't (want) to specify an explicit
local address. And the socket family (ipv4 vs. ipv6) needs to
be autodetected based on the remote address before the
socket() syscall.

Otherwise we would try to connect to a ipv4 address through an
ipv6only socket.

metze

s4:libnet: use a connected CLDAP socket.

This is needed because we don't (want) to specify an explicit
local address. And the socket family (ipv4 vs. ipv6) needs to
be autodetected based on the remote address before the
socket() syscall.

Otherwise we would try to connect to a ipv4 address through an
ipv6only socket.

metze

Fix up debug info on smb2_rename code.

Jeremy.

Implement rename/move in SMB2 from Windows7.

Jeremy.

s3-nltest: fix uninitialized query level.

Guenther

s4-smbtorture: define environment in one place in RPC-SPOOLSS test.

Guenther

s4:kdc add mit plugin code

s4:kdc make function static

s3-spoolss: Save entire devicemode.

found by RPC-SPOOLSS-PRINTER torture test.

Guenther

s4-smbtorture: try to set every single devicemode component in RPC-SPOOLSS-PRINTER.

Guenther

s4-smbtorture: move ChangeID test to the list of tests we run against created printers.

Guenther

Make conn_close_all() safe to call from SMB2 sessions (fix crash bug).

Ensure we don't call close_cnum() with SMB2, also talloc_move the
compat_conn pointer from the NULL context onto the tcon context
in SMB2 as it's conceptually owned by that pointer.

Jeremy.

s4:ldb Fix segfault in ldbsearch store_referral callback

sctx->refs_store was not initialised, and that made talloc_realloc
grumpy once we started actually returning referrals regularly from
Samba4's partitions module (0be57c747825737fa9d64411223e693b055b5f8f
by mdw).

We now just use talloc_zero() and forget about this manual
initialisation work.  Tracking down use of uninitialised variables
with valgrind was the grand idea when this started, but in practice we
just get segfaults in unusual places.

Andrew Bartlett

Change the credential handling so that we start with maxmux creds,
and then return to the client the number of credits per operation
that they asked for. This is a more sensible algorithm than just
blindly returning "20" on every reply, although we will probably
still need more changes to this going forward.
Jeremy.

idl:lsa change string type

comapring win<-> traces it looks like this is an lsa_StringLarge

s4:lsa use the correct way to store a domain sid

Converting the sid to a string and then storing a string does not save the sid
in the right format. Causing following retrievals to fail to read back a sid
with samdb_result_dom_sid().

s4:lsa avoid confusing ourselves over sam_ldb

Do not use policy_state->sam_ldb and trusted_domain_state->policy->sam_ldb
interchangeably all over the place. Just use sam_ldb everywhere and make the
code slightly more readable.

s4:lsa cleanup trailing spaces and tabs

Revert "s4-smb: Migrate named_pipe_server to tsocket."

This reverts commit 69d5cea2e59162f19460e7ce4b6382fc5fdd6ca0.

This commit causes issues with the RPC server, revert it until we find the
exact issue and possibly have a torture test to avoid it happening again.
Found playing with w2k8r2 and forest trusts.

s4:install Fix bug #7149 reported by JHT.

We need to install named.conf.update for provision to succeed from the
installed setup file.

Andrew Bartlett

s4:scripting/devel Allow tmpfs script to be re-run

By doing the unmount, we can avoid double-mounting st and bin

s4:DNS update - change "i" to be unsigned

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:ldap_server - make it "signed-safe"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:auth - make some parts "signed-safe"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:cldap_server - make it "signed-safe"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:torture/ldap/basic.c - add a basic test for referral return

I implemented this referral test in C since the LDB python API isn't capable
to extract referrals from search result sets (there the result sets are simple
lists which contain only the matching entries).

First I enhanced the RootDSE test to return all partition base DNs in a new
null-terminated list "partitions". Then I used this in my referrals test which
I've implemented in the LDB api since I needed some certain DN functions.

s4:partition DSDB module - Generate basic referrals

This is a first, very basic implementation of the referrals (more informations
at MS-ADTS 3.1.1.4.6 and 3.1.1.3.4.1.12).

To have the full referral support (and to always point to the right host) the
full implementation using DNS will be needed (at the moment we always point to
the main DC which is referenceable through the DNS domainname).

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:partition DSDB module - change the search and domain scope control handling

The domain scope control is always removed, from the search one only the two
interesting flags (which are handled) and it is marked as non-critical.

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:LDAP server - Enable support for returning referrals through it

This is needed for my work regarding the referrals when the domain scope control
isn't specified.

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:SAMLDB module - ignore referrals

They don't cause any harm to our functionality - so ignore them were not needed.

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:netlogon remove wrong ZERO_STRUCT of output

This was causing marshalling faults when we returned errors.

s3: Make connections_fetch_record() static

python: ntacls, fix a leftover that is not in the try/except branch

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

dsdb: Add a more explicit error message for constructed attributes

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

s4/drs_util: 'net drs showrepl' command implementation

s4/idl: Regenerate IDL for DRSUAPI interface

s4/drs: Propagate drsuapi_DsReplicaGetInfoRequest2 changes in source code

s4/idl: drsuapi_DsReplicaGetInfoRequest2 - 'string2' to 'value_dn_str'

s4/idl: drsuapi_DsReplicaGetInfoRequest2 - 'string1' to 'attribute_name'

s4/drs: Propagate drsuapi_DsReplicaGetInfoRequest... changes into source code

s4/idl: rename 'guid1' to 'source_dsa_guid' in drsuapi_DsReplicaGetInfoRequest description

s4/drs_util: 'net drs replicate' command implementation

s4/drs_util: Add public function for binding to a DC

s4/drs_util: Refactor code to use net_drs_connection object for DRSUAPI connecitons

s4/drs_util: Move DRSUAPI connection data into separate object

We need this so we can create independent DRS connections to
different DCs.

s4/net_drs: Utility macros for conditions checking

s4/drs: Propagate drsuapi_DsReplicaSync changes in source base

s4/drs: Propagate drsuapi_DsReplicaSyncRequest1 changes in source base

s4/idl: Regenerate IDL for DRSUAPI interface

s4/idl: drsuapi.idl fix drsuapi_DsReplicaSync definition

- Function should accept pointer to drsuapi_DsReplicaSyncRequest.
  While this doesn't generate essentially different code for
  NDR parser, using pointer will make drsuapi_DsReplicaSync
  descritpin with the rest of the functions in DRSUAPI interface.
  Another benefit is that this way we could create Wireshark
  dissector directly from Samba's verions for drsuapi.idl

- 'level' and thus the switch_type() should be uint32

s4/idl: drsuapi.idl fix drsuapi_DsReplicaSyncRequest1 description

- pointer to naming_context should be [ref] pointer
  (i.e. not NULL pointer)
- other_info is actually the DNS name for Source DSA and is used
  if DRSUAPI_DRS_SYNC_BYNAME is passed
  ref: [MS-DRSR] 5.39

s3:selftest: handle spaces in test names

metze

s3:selftest: make wbinfo_s3 work on the "member" server too.

metze

s3:test_wbinfo_s3: test --check-secret and --change-secret

metze

s3:rpc_transport_np: handle trans rdata like the output of a normal read

Inspired by bug #7159.

metze

s4-smbtorture: verify that the client cpu architecture has no influence on the
calculated buffer size in RPC-SPOOLSS.

Guenther

tdb: handle processes dying during transaction commit.

tdb transactions were designed to be robust against the machine
powering off, but interestingly were never designed to handle the case
where an administrator kill -9's a process during commit.  Because
recovery is only done on tdb_open, processes with the tdb already
mapped will simply use it despite it being corrupt and needing
recovery.

The solution to this is to check for recovery every time we grab a
data lock: we could have gained the lock because a process just died.
This has no measurable cost: here is the time for tdbtorture -s 0 -n 1
-l 10000:

Before:
2.75 2.50 2.81 3.19 2.91 2.53 2.72 2.50 2.78 2.77 = Avg 2.75

After:
2.81 2.57 3.42 2.49 3.02 2.49 2.84 2.48 2.80 2.43 = Avg 2.74

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

patch tdb-refactor-tdb_lock-and-tdb_lock_nonblock.patch

tdb: add -k option to tdbtorture

To test the case of death of a process during transaction commit, add
a -k (kill random) option to tdbtorture.  The easiest way to do this
is to make every worker a child (unless there's only one child), which
is why this patch is bigger than you might expect.

Using -k without -t (always transactions) you expect corruption, though
it doesn't happen every time.  With -t, we currently get corruption but
the next patch fixes that.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: don't truncate tdb on recovery

The current recovery code truncates the tdb file on recovery.  This is
fine if recovery is only done on first open, but is a really bad idea
as we move to allowing recovery on "live" databases.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: remove lock ops

Now the transaction code uses the standard allrecord lock, that stops
us from trying to grab any per-record locks anyway.  We don't need to
have special noop lock ops for transactions.

This is a nice simplification: if you see brlock, you know it's really
going to grab a lock.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: rename tdb_release_extra_locks() to tdb_release_transaction_locks()

tdb_release_extra_locks() is too general: it carefully skips over the
transaction lock, even though the only caller then drops it.  Change
this, and rename it to show it's clearly transaction-specific.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: cleanup: remove ltype argument from _tdb_transaction_cancel.

Now the transaction allrecord lock is the standard one, and thus is cleaned
in tdb_release_extra_locks(), _tdb_transaction_cancel() doesn't need to
know what type it is.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: tdb_allrecord_lock/tdb_allrecord_unlock/tdb_allrecord_upgrade

Centralize locking of all chains of the tdb; rename _tdb_lockall to
tdb_allrecord_lock and _tdb_unlockall to tdb_allrecord_unlock, and
tdb_brlock_upgrade to tdb_allrecord_upgrade.

Then we use this in the transaction code.  Unfortunately, if the transaction
code records that it has grabbed the allrecord lock read-only, write locks
will fail, so we treat this upgradable lock as a write lock, and mark it
as upgradable using the otherwise-unused offset field.

One subtlety: now the transaction code is using the allrecord_lock, the
tdb_release_extra_locks() function drops it for us, so we no longer need
to do it manually in _tdb_transaction_cancel.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

tdb: suppress record write locks when allrecord lock is taken.

Records themselves get (read) locked by the traversal code against delete.
Interestingly, this locking isn't done when the allrecord lock has been
taken, though the allrecord lock until recently didn't cover the actual
records (it now goes to end of file).

The write record lock, grabbed by the delete code, is not suppressed
by the allrecord lock.  This is now bad: it causes us to punch a hole
in the allrecord lock when we release the write record lock.  Make this
consistent: *no* record locks of any kind when the allrecord lock is
taken.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>