s3:ctdb_conn: add ctdbd_conn_get_fd() to get the fd out of the ctdb connection

Michael

s3:g_lock: remove an unreached code path.

Michael

s3:dbwrap_ctdb: fix reading/storing of special key __db_sequence_number__

The key for reading and writing was inconsistent due to a
off by one data length.

Michael

s3:dbwrap_ctdb: exit early when nothing has been written in transaction_commit.

This skips update of the __db_sequence_number__ record when nothing else has
been written. There are transactions that are just openend and then nothing
is written until transaction_commit is called. This is for instance the case
with registry initialization routines: They start a transaction and only
write somthing when the registry has not been initialized yet.
So this change will skip many db_seqnum bumps and TRANS3_COMMIT roundtrips.

Michael

s3:dbwrap_ctdb: fix brown paperbag bug in ctdb_transaction_commit.

I carefully prepared the return value only to "return 0;" at the bottom. :-(
This may well have hit us for instance in the nested cancel case
and produced random errors.

Michael

s3:dbwrap_ctdb: fix logic error in pull_newest_from_marshall_buffer().

The logic bug was that if a record was found in the marshall buffer,
then always the ctdb header of tha last record in the marshall buffer
was returned, and not the ctdb header of the last occurrence of the
requested record.

This is fixed by introducing an additional temporary variable.

Michael

s3:dbwrap_ctdb: fix an uninitialized variable.

Michael

s3:dbwrap_ctdb: fix two "may be used uninitialized" warnings

Michael

s3:dbwrap_ctdb: fix db_ctdb_fetch_db_seqnum_from_db() when NT_STATUS_NOT_FOUND.

Don't treat this as an error but return seqnum 0 instead.

Michael

s3:dbwrap: If "-n" is given to dbwrap_torture, open db with CLEAR_IF_FIRST

s3:build: remove checks for deprecated ctdb controls.

Michael

s3:dbwrap_ctdb: maintain a database sequence number that bumps in transactions

For persistent databases, 64bit integer is kept in a special record
__db_sequence_number__. This record is incremented with each completed
transaction.

The retry mechanism for failing TRANS3_COMMIT controls inside the
db_ctdb_transaction_commit() function now relies one a modified
behaviour of ctdbd's treatment of persistent databases in recoveries.
Recently, a special treatment for persistent databases had been
introduced in ctdb (1.0.108) to work around the problems with the
orinal design of persistent transactions.
Now with the rewrite we need to revert to the old behaviour that
ctdb always takes the newest copies of all records.

This change also paves the way for a next step, which will make
recovery use the db seqnum to tell which node has the newest copy
of a persistent db and use that node's copy. This will greatly
reduce the amount of data transferred with each recovery.

Michael

s3:dbwrap_ctdb: change db_ctdb_transaction_store() to return NTSTATUS.

The return values calculated by the callers were wrong anyways since
the new marshalling code does not set the local tdbs tdb error code.

Michael

s3:dbwrap_ctdb: update (C)

Michael

build: Add a configure check for CTDB_CONTROL_TRANS3_COMMIT.

This is the new implementation of ctdb transactions using the
global lock feature. It is needed by the current dbwrap_ctdb code.

Michael

s3: Add tdb_data_equal

s3:torture: add a test LOCAL-DBTRANS to torture dbwrap with transactions.

s3:dbwrap_ctdb: start rewrite of transactions using the global lock (g_lock)

This simplifies the transaction code a lot:

* transaction_start essentially consists of acquiring a global lock.

* No write operations at all are performed on the local database
  until the transaction is committed: Every store operation is just
  going into the marshall buffer.

* The commit operation calls a new simplified TRANS3_COMMIT control
  in ctdb which rolls out thae changes to all nodes including the
  node that is performing the transaction.

Michael

s3: setup debug for smbtorture

s3: Add ctdb_conn_msg_ctx()

s3: Implement global locks in a g_lock tdb

This is the basis to implement global locks in ctdb without depending on a
shared file system. The initial goal is to make ctdb persistent transactions
deterministic without too many timeouts.

s4:kdc Fill in created_by principal field

s4:kdc Fix double free and uninitialized memory.

In samba_kdc_trust_message2entry() on error, hdb_free_entry()
may end up trying to access uninitialized memory or double
free the hdb_entry.

testprogs: print all printerinfo levels in spoolss test.

Guenther

s4:auth/credentials/credentials.c - Initialise the "lm_response" and "nt_response" structures

In some cases those structures are not initialised and the whole authentication
system crashes with a SIGSEGV. Bug discovered by Matthieu Patou in bug #6755.

s4:getopt.py - set the password callback only when no password has been provided

Previously the "no_pass" and "no_pass2" variables weren't handled correctly.
Since at the initialisation of the "CredentialsOptions" we don't have any
password at all. Only afterwards we could get one through "set_password".

If a password is specified, use it. If no password is specified, consider the
use fo an input mask on STDOUT. But if the loadparm context contains one prefer
it over the input.

s4:net_drs_bind: make some more stuff static

metze

s4:net/drs: use the full path to "utils/net/drs/net_drs*.h"

This fixes the build with automatic dependecies.

metze

s3: notify_onelevel does not use seqnums, so don't open asking for it

spoolss: regenerate hand-marshalled ndr_pull_spoolss_DriverInfo101 after ndr64 changes.

Guenther

spoolss: make sure hand-marshalled spoolss_DriverInfo101 handles relative_highest_offset.

Guenther

spoolss: regenerate hand-marshalled ndr_push_spoolss_DriverInfo101 after ndr64 changes.

Guenther

Remove the code replaced by widelinks warning.

Jeremy.

Remove lp_safe_widelinks() -> convert to just lp_widelinks. Suggestion from Volker.

Create widelinks_warning(int snum) to cover the message needed in make_connection.

Jeremy.

s3 test: Make the netbios name test pass again

s4: Switch to S3-style id mapping data types.

s4 idmap: Make the sid_to_xid and xid_to_sid calls static.

Looking at the winbind interface, we should only be using the bulk conversion calls.

libwbclient: Test wbcLookupName async functions

libwbclient: Implement wbcLookupName_send/recv

libwbclient: Implement wbcAuthenticateUserEx_send/recv

libwbclient: Implement wbcLookupSid_send/recv

libwbclient: Implement wbcGidToSid_send/recv

libwbclient: Implement wbcSidToGid_send/recv

libwbclient: Implement wbcUidToSid_send/recv

libwbclient: Implement wbcSidToUid_send/recv

libwbclient: Add wbcInterfaceDetails_send/recv

libwbclient: Add wbcDomainInfo_send/recv calls

libwbclient: Add wbcDomainName_send/recv call

libwbclient: Add wbcNetbiosName_send/recv calls

libwbclient: Add async wbcInfo_send()/wbcInfo_recv() calls

libwbclient: add wbcInterfaceVersion send/recv calls

libwbclient: torture-test wbcPing async functions.

libwbclient: Add async wbcPing_send/_recv

libwbclient: Zero out context on initialization

This prevents a segfault when using wbcDebug without prior call to wbcSetDebug

Final part of jumbo patch for bug #7104 - "wide links" and "unix extensions" are incompatible.

Volker pointed out that the preexec scripts get passed the conn->connectpath
as a parameter, so call canonicalize_connect_path() both *before* and after
the preexec scripts. Ignore errors on the call before the preexec scripts,
as the path may not exist until created by the preexec scripts.

Jeremy.

Introduce lp_safe_widelinks()

This way we avoid any chance that a configuration reload may turn
back on wide links when unix extensions are enabled.

Fine changes to previous fix for bug #7104 - "wide links" and "unix extensions" are incompatible.

Make sure we match the previous allow widelinks behavior, in that
non-root preexec scripts can create share directories for a share
definition.

Jeremy

Suplementary patch for bug #7104 - "wide links" and "unix extensions" are incompatible.

Bug reported by Ralf Zimmermann <r.zimmermann@siegnetz.de>. Reproduced by jra.

If the target directory of a share doesn't exist, but is designed to
be created by a "root preexec" script call, then the widelinks check
is done too early - thus preventing the user from connecting to the
share.

Fix is to re-arrange the order of checks in make_connection_snum()
to always do the following order of operations:

(1). Turn off wide links if unix extensions = yes.
(2). Call any root preexec scripts.
(3). Canonicalize the share path to remove any symlinks (ie. end
up with the realpath in the connection_struct).

Jeremy.

ldb_match - Ignore ":dn" part of extended matches for now

It's not fully clear what this ":dn" part means for us. What we know is that
older AD implementations (Windows Server 2000, 2003) need it to have extended
matches working in the expected way.

To be able to interoperate with s3's winbind and other tools I and gd decided
to transform this into a warning until we know what to do.

This should fix bug #6511.

s4-provision: import the R2 functional level

this makes it easier to modify the script to set us at R2 level in
provision. We should make this a parameter.

s4-build: avoid finding python symlinks

emacs creates symlinks to .py files while you are editing them. This
could cause build failures.

s4-provision: fixed --function-level option to provision

we need the DS_DOMAIN_* levels imported

s4-script: make enablerecyclebin use system_session

This allows it to work against our local ldb

s4-pyldb: null terminate string ldb message elements from python

We need to eventually get rid of ldb_msg_find_attr_as_string() (or add
a mem_ctx to it), but meanwhile we have too many places that break if
we don't add a nul to the end of ldb msg strings from python.

libds: added recyclebin feature GUID

s3: re-run make samba3-idl.

Guenther

spoolss: allow to set server architecture via parametric option.

This allows to set "spoolss:architecture = 'Windows x64'" for debugging purpose.

Guenther

s3-spoolss: implement spoolss_EnumJobs level 3.

Level 3 has been added with NT 4.0 and Windows 7 (at least 64bit version) makes
use of it in order to display queued jobs. Windows 7 will *not* fall back to
level 2 if we just return WERR_UNKNOWN_LEVEL, instead there will be no printjobs
displayed at all.

Guenther

testprogs: one more error code for spoolss test.

Guenther

testprogs: print secdesc->Control in spoolss test.

Guenther

testprogs: use ConvertSidToStringSid in order to print sids in spoolss test.

Guenther

s4-drs: Add DRSUAPI_DRS_NONGC_RO_REP bit to DRS_OPTIONS

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

s4-net-drs: fix some coding style issues

We should use the system/*.h headers for system includes. We also try
to avoid C++ comments.

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4/net_drs: 'net drs kcc' command implementation

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4/net_drs: 'net drs bind' command implementation

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4/net_drs: 'net drs' utility initial creation

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4/idl: regenerating drsuapi.idl

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4/idl: Naming reserved flags for DRSUAPI_SUPPORTED_EXTENSION_ field

Signed-off-by: Andrew Tridgell <tridge@samba.org>

provision: Use short name for assignee of ACE (BA, SA, CO, ...)

  Use short name (shortcut for wellknown SID/RID) for assignee in each entry of ACL (when possible)
  of sysvol files (GPO objects and netlogon folders).
  This avoid error prone substitution of DOMAINSID in ACL and make ACL clearer by using shortname
  for assignee accordingly with SDDL synthax rules. Translation to real SID is handled internaly by the
  from_sddl function.

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

python-s4: use secrets.ldb instead of sam.ldb for reading domain SID

  This allow to be able to run net acl set xxx yyy on DC, but also on domain
  member.

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

provision: Fix an error with eadb when using not default install dir and running as a non root user

Signed-off-by: Matthias Dieter Wallnöfer <mwallnoefer@yahoo.de>

s4-dns: don't leave behind a tmp file

If the dns update file doesn't need updating we need to delete the tmp
file

s4-selftest: don't run rndc reload in selftest

We don't want rndc calls on the build farm

s4-dns: added a dns update task

This task watches for changes in the list of DCs, and creates a bind9
formatted file that grants update permission to all DCs, plus to the
administration, and machines update for their own names.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: cope with umask in creating private/dns

util: added file_compare() utility function

file_compare() returns true if two files are the same. It is meant for
small files.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

libreplace: added replacements for dprintf() and vdprintf()

these are very useful for writing files with formatted writes

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-provision: pre-create a named.conf.update file

The named.conf.update file will be filled in at runtime by Samba to
contain the list of bind9 grant rules for granting DNS dynamic update
permissions on the domain.

s4-provision: move zone file to dns subdirectory

This allows the permissions to be correctly set for bind to write to
a journal file. It also sets the right group ownership and permissions
on the files that bind needs to access.

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4:provision Be more polite to long-suffering Samba testers.

Our testers put up with a lot of odd things when testing out Samba4.

Andrew Bartlett

Fix unused variable warning after change to new DLINK macros.

Jeremy.

Fix bad use when freeing linked list. Todd Stecher (Original author) please check !

Jeremy.

test:local added LOCAL-DLINKLIST testsuite
(cherry picked from commit 95a5bee2c30a67a35604b0456ab7836f6dc67702)

util: rewrite dlinklist.h so that DLIST_ADD_END() is O(1)

This changes the meaning of the ->prev pointer in our doubly linked
lists to point at the end of the list from the front of the list. That
allows us to implement DLIST_ADD_END() and related functions in O(1)
time, which can be a huge saving in many places in Samba.

This also means that the 'type' argument to various DLIST_*() macros
is no longer needed, but I have left it in for now to keep the
patchset small, which will make it easier to revert if any problems
are found. In the future we should remove the 'type' arguments.

(jra. Move the one use of DLIST_TAIL over to the new macros).

s3-smbd: update to use new DLIST macros
(cherry picked from commit 365b408c458c848a818637d9b36a0423aeb1ba54)

s3-registry: update to use new DLIST macros
(cherry picked from commit 3437713ad7e5bccafde30553a8232119fd2a9eb9)

s3-perfcount: update to use new DLIST macros
(cherry picked from commit a13b507f2d8be7f90c8872094cd0732926a6fcbb)

s3-locking: update to use DLIST_ADD_AFTER()
(cherry picked from commit 6c6df527e14514027cbcaa6deac25adf04363926)

s3-libsmb: update libsmb to use new DLIST macros

manipulating p->prev directly is not safe any more
(cherry picked from commit 3c650ac1e3e1cdbbabecfddcd29325f20b5dcb48)

s3-memcache: update memcache to use new DLIST macros

we don't need a separate lru pointer any more
(cherry picked from commit 4ffd7aca3e38728077bd80c2a65c4efbcfd216fc)