s3:idmap_ldap: trim the " chars from the location string in idmap_ldap_db_init

When idmap backend is specified as
idmap backend = ldap:"ldap://server1 ldap://server2"
then currently "ldap://server1 ldap://server2" was passed to
ldap_initialize including the quotes, leading to an ldap error.

Michael

s3:idmap_ldap: trim the " chars from the location string in idmap_ldap_alloc_init

When idmap alloc backend is specified as
idmap alloc backend = ldap:"ldap://server1 ldap://server2"
then currently "ldap://server1 ldap://server2" was passed to
ldap_initialize including the quotes, leading to an ldap error.

Michael

Implementation of LDAP_SERVER_SD_FLAGS_OID on modify requests.

Some changes to allow processing of ldap controls on modify requests.

ldap_backend used to filter out ldap controls on modify. Also, modified
python binding for ldap_modify to allow writing tests for such controls.

s4:ntvfs/posix/pvfs_acl - Remove unused variable "token"

tdb: change version to 1.2.0 after adding TDB_*ALLOW_NESTING

metze

tdb: add TDB_DISALLOW_NESTING and make TDB_ALLOW_NESTING the default behavior

We need to keep TDB_ALLOW_NESTING as default behavior,
so that existing code continues to work.

However we may change the default together with a major version
number change in future.

metze

New attempt at TDB transaction nesting allow/disallow.

Make the default be that transaction is not allowed and any attempt to create a nested transaction will fail with TDB_ERR_NESTING.

If an application can cope with transaction nesting and the implicit
semantics of tdb_transaction_commit(), it can enable transaction nesting
by using the TDB_ALLOW_NESTING flag.
(cherry picked from ctdb commit 3e49e41c21eb8c53084aa8cc7fd3557bdd8eb7b6)

Signed-off-by: Stefan Metzmacher <metze@samba.org>

tdb: always set tdb->tracefd to -1 to be safe on goto fail

metze

s4-dsdb: some more attribuutes that we should only give if asked for

s4-drs: we need to specifically ask for ntSecurityDescriptor

ntSecurityDescriptor is no longer included by default

s4-ldb: added a warning about ldb_msg_add_dn

ldb_msg_add_dn does not copy the dn linearized string

added new function "ldb_msg_add_dn"

a helper function to a DN element to an ldb_msg using ldb_msg_add_string.

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4-dsdb: removed attributes that should not be displayed by default

Some attributes (like ntSecurityDescriptor) are stored in our db, but
should only be displayed if asked for. This also applied to parentGUID
from old installs, which is now generated.

s4-drs: Removes stored parentGUID's creation and renaming

parentGUID is now created on demand in operational.c

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4-drs: Synchronous Implementation of generated parentGUID

This generated parentGUID on demand, rather than getting it from the
database

Signed-off-by: Andrew Tridgell <tridge@samba.org>

s4-drs: Utility functions to deal with GUID

dsdb_find_parentguid_by_dn() returns the parentGUID for a given DN
dsdb_msg_add_guid() adds a GUID value to a given message (either
objectGUID or parentGUID).

Signed-off-by: Andrew Tridgell <tridge@samba.org>

ldb:ldb_tdb backend/indexes - Outside API

- The outside API contains "DN" string arguments: Bad. Since in this way we
  fully rely on the outside calls regarding the right DN format. Solution: Use
  always a "struct ldb_dn" entry. Since this one is interchangeable and we can
  handle it in our preferred way.

ldb:ldb_tdb backend/indexes - DN comparison

- DN comparison: The function doesn't seem that efficient. I "upgraded" it a bit
  to be more powerful (added a second length check and do both before the string
  comparison)

s4-dsdb: make sure mod_usn list is zeroed on each transaction

s4-ldb: added a double-rename test

This tests the fix for double rename/add and indexing

s4-ldb: when -v is specified, show progress of ldbadd/ldbmodify

This is useful for speed tests with large numbers of records.

s4-ldb: make ldb tools line buffered

this prevents output being buffered when redirected to a file. Useful
for larger ldb command line operations

s4-ldb: fixed an issue in rename/modify indexing

When we rename or modify a record, we need to update the indexes at
the same time. It is important that we use the DN of the actual
message that is stored in the database to do this, not the DN that was
passed in by the user. If the two differ in case then the index
records needs to use the 'real' record DN, as index handling is
currently case sensitive.

s4-ldb: allow ldap.py test suite to run directly against a file

This makes it much easier to debug (as you can break in the ldb
modules by running gdb on /usr/bin/python)

PC Oota Edits.

s3: Avoid races to change the machine password in winbind

The machine password handler has code to deal with every node in the cluster
trying to change the machine password at the same time. However, it is not very
nice to the DC if everyone tries this simultaneously. This adds a random 0-255
second offset to our timed event. When this fires a bit later than strictly
calculated, someone else might have stepped in and have already changed it. The
timed event handler will handle this gracefully, it won't even try to do it
again.

s3: Protect against flooding the DC with pwchange requests

When there is a temporary problem changing passwords we flooded the DC with
pwchange requests. This gives the DC a 60-second break to recover.

s3: Re-check the timeout in machine_password_change_handler()

Someone else might have come in between and changed the password since we
created that timed request

s3: Add some debugs to the winbind machine pwchange machinery

s3: Factor timeval_string out of current_timestring()

s3: Do not kill the whole smb session if a machine pwchange failed

s3:pdb_ldap: fix a comment typo

Michael

s3: shortcut uid_to_sid when "ldapsam:trusted = yes"

The normal uid_to_sid behaviour is to call sys_getpwuid()
to get the name for the given uid and then call the
getsampwnam passdb method for the resulting name.

In the ldapsam:trusted case we can reduce the uid_to_sid
operation to one simple search for the uidNumber attribute
and only get the sambaSID attribute from the correspoinding
LDAP object. This reduces the number of ldap roundtrips
for this operation.

Michael

s3-build: really fix build of winbind_krb5_locator.

Guenther

s3-build: make sure to remove libds and client object files on make clean.

Guenther

s4:ldbcli - Added encoder/decoder for relax control.

s3: Replace some create_synthetic_smb_fname() calls

In very hot codepaths like the statcache copy_smb_filename and the subsequent
recursive talloc_free is noticable in the CPU load.

s3: Do not talloc in readdir

This is a hot codepath (called from the stat cache)

s3:load_interfaces(): use function gfree_interfaces() that we have.

To reduce code duplication.

Michael

Added control copying for message types other than ldb_search.

When ildap created a new message to forward, it only copied controls for ldb_search
requests. This caused controls for add and modify to be lost in transition
and tests for them could not be implemented.

s3/docs: Add "max protocol = smb2" to man smb.conf.

Karolin

README.coding: Update rules about code blocks and braces.

selftest: Subunit/Filter.pm only allow expected failures without errors

metze

s4:selftest: mark samba4.smb2.lock.*.VALID-REQUEST as known failure

metze

SMB2-LOCK: make use of torture_assert_*()

This is needed in order to mark tests as known failures.

metze

s4:ntvfs_generic: check for valid SMB2_LOCK flags

metze

s4:selftest: fix logic for --option=torture:progress=no

metze

s4:torture/test_gentest.sh: make use of the PREFIX argument

We should not use hardcode pathes!

metze

selftest: ignore empty lines in knownfailures

metze

selftest/output/plain.pm: report the testuite name on error

metze

s4:selftest: for now skip the BASE-DELAY-WRITE test completely

This test randomly fails depending on the timing
(the tests are too strict with the values introduced in
commit 0fca2b078ceb314e429e24e3318b50451ccf423b)
and local filesystem features (timestamp resolution).

metze

s4:selftest: avoid running the slow BASE-DELAY-WRITE test on the cifs proxy share

It's enough to run it on the posix share.

metze

s4:selftest: add "rpc.netlogon.*.GetDomainInfo"

We need to expand the test to work against w2k8 and w2k8r2...

metze

fixed the build

whoever pushed 15d93a5d8e21893e1cca5c989dbf97010aae1622, please check
that what you push compiles and passes tests. In this case it didn't
compile.

s4/torture: Port SMBv1 Change Notify tests to SMBv2

* Ported all tests from raw/notify.c to smb2/notify.c
* Parameterized the max_buffer_size so it can be set on a
  per-target basis.
* Fixed CHECK macros to use torture_result
* Created a SMB2-NOTIFY test suite

s4/libcli: add a FILE_NOTIFY_CHANGE_ALL macro

This macro encompasses all possible file notifications that can
be raised.

s4/torture: add a new ulong parameteric torture option

torture/smb2: make SMB2 BRL tests pass against W2K8R2

The BRL tests previously based their results off several bugs in the
W2K8 byte range lock code.  I've fixed up the tests to pass against
Win7 which has fixed these bugs, and assume that the Win7 behavior
is the default.

I have inverted the test behavior for >63-bit lock requests.  The
tests previously expected NT_STATUS_OK as their default in this
case.  I've changed that default to expect STATUS_INVALID_LOCK_RANGE.
This may requires some changing of make test to compensate.

I've also removed a few test scenarios from VALID-REQUEST in preparation
of replacing them with separate tests ported from RAW-LOCK.

Start removing SMB_STRUCT_STAT variables except for
the directory enumeration code (which needs it).
Jeremy.

Remove "store create time" code, cause create time to be stored
in the "user.DOSATTRIB" EA. From the docs:
In Samba 3.5.0 and above the "user.DOSATTRIB" extended attribute has been extended to store
the create time for a file as well as the DOS attributes. This is done in a backwards compatible
way so files created by Samba 3.5.0 and above can still have the DOS attribute read from this
extended attribute by earlier versions of Samba, but they will not be able to read the create
time stored there. Storing the create time separately from the normal filesystem meta-data
allows Samba to faithfully reproduce NTFS semantics on top of a POSIX filesystem.
Passes make test but will need more testing.
Jeremy.

s4:WINREG RPC server - remove a "talloc_free"

I assume that this "talloc_free" isn't necessary since the DCERPC server frees
the handle itself (we got always warnings about this).

s4:provision_users.ldif - Descriptions generally begin with a majuscle

s4:SAMLDB DSDB module - Add "\n"s on debug messages

s4:SAMLDB DSDB module - Remove "\n" in LDB error messages

abartlet suggested me to not use anymore "\n"s in those kind of outputs.
Plus, enhance a search filter to consider also "builtinDomain" objects which
are basically domain objects too.

Fixed incorrect SID for RAS Servers.

s3: Fix the build on Solaris

s4:dsdb/schema: let schema_supclasses() return the correct pointer

str_list_unique() changes the pointer via talloc_realloc().

metze

librpc: rerun "make idl"

metze

netlogon.idl: fix ndr_pull_netr_DatabaseRedo()

We can't use subcontext_size() here, as
change_log_entry_size is encoded after the subcontext.

metze

s4:selftest: use "dc:local" instead of a hardcoded config file

If a tests needs access to the dc's config, it should run
as "dc:local", then it can also access unix named pipes...

If we pass a hardcoded config file the test fails if you use
a selftest_prefix.

metze

s4:selftest: allways start with $(ST_RM)

metze

s4:selftest: place summary file into selftest-prefix

metze

selftest: make sure we don't buffer any output

metze

selftest: Fix unexpected failure handline in Subunit/Filter.pm

We should only mark the testsuite as expected failure,
if there were more than 1 expected failure, but 0 unexpected
failures.

Before we ignored unexpected failures if there was an expected failure
within a testsuite.

metze

s4:heimdal: import lorikeet-heimdal-200911170333 (commit b532c294d974cead40a1183c71be644c6ccc2832)

This fixes up connections to Windows 2003, because the previous import
had a broken arcfour-hmac-md5 implementation (fixed in Heimdal
316fc6ff8ffb0cbb1ef3689685e9977c37405bc4)

Andrew Bartlett

s4/drs(tort): Convert DSSYNC test to a test case fixture

Now it should be much more clear why and where a test
in DSSYNC test case has failed.

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4/drs(tort): replace DEBUG with torture_asert/comment/fail

I left dumping of decrypted attributes values 'as is'
(using DEBUG and DEBUGADD) as it uses dump_data() function.
dump_data() uses DEBUGADD internally, so I have no way
to redirect its output to torture_context at this point.

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4/drs(tort): use torture_drsuapi_assert_call() macro for error checking

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4/drs(tort): replace 'printf' with 'torture_...' calls

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4/drs(tort): 'DsSyncBindInfo.pipe' renamed - 'pipe' is a system call

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4/drs(tort): 'DsPrivate.pipe' renamed - 'pipe' is a system call

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:dsdb With these workarounds, we now pass the RPC-DSSYNC test

s4:provision Split up reference creation, load schema earlier in the stack

The schema needs to be loaded above the extended_dn_out modules as
otherwise we don't get an extended DN in the search results.

The reference split is to ensure we create references after the
objects they reference exist.

Andrew Bartlett

s4:schema Add the GUID to each defaultObjectCategory when loading from LDIF

This makes these full extended DNs, so we set the right values into
the database, even before we actually set the schema objects
themselves.

Andrew Bartlett

s4:dsdb Rework samdb code to use 'storage format' DNs for defaultObjectCategory

It is important to always ensure that this attribute has an extended
DN if the rest of the database stores things that way.

The knowlege of what format the DN is stored on disk with is passed
around in an LDB opaque.

Andrew Bartlett

s4:provision Generate a random objectGUID for each schema record

This is needed to then create extended DNs with GUID attributes in
them, when importing from the LDIF

Andrew Bartlett

s4:dsdb Load objectGUID and extended DN defaultObjectCategory into the schema

The load of defaultObjectCategory as an extended DN means we need to
use the common parsing functions I just split out, rather than the
GET_DS_DN macro.

The objectGUIDs are loaded so that we can create the extended DN when
we load from LDIF (and are loaded for the other cases for
consistency).

Also adapt callers to API changes needed for common parsing code

Andrew Bartlett

s4:dsdb Use the new flags to dsdb_module_search in schema_load

This loads the defaultObjectCategory DN as an extended DN, so we can
apply it, with the associated GUID, when setting this on records in
the objectClass module.

Previously we would not store the extended DN components for
objectCategory.

Andrew Bartlett

s4:dsdb Break up 'parse a DN from DRSUAPI' into a subfunction

This should make it easier to call this function from the DRS schema
load code, rather than duplicate it.

(we may do the same with other functions in future).

Andrew Bartlett

s4:dsdb Add 'dsdb_flags' to dsdb_module_search() to enable often-used features

These flags, also on dsdb_module_search_dn() allow us to add commonly
set controls to this pre-packaged blocking search, without rebuilding
the whole function in each caller.

Andrew Bartlett

Don't overwrite a dynamic pointer with the address of a stack
variable.
Jeremy.

s4:SAMLDB module

- Add more "\n" to make sure that error messages are displayed immediately
- Add a "NULL" in a attribute list

Revert "s4:dsdb/repl/replicated_objects - Applicate also here the new "lDAPDisplayName" generator"

This reverts commit df95d5c29292968b465bff24c3cf78800677a4d4.

abartlet pointed out in a post on the samba-technical list that this isn't
necessary at all (lDAPDisplayName normalisation algorithm). Rather it breaks
functionality of the replication.

README.Coding: add section about usage of helper variables

metze

README.Coding: fix error in "good example"

metze

s3:libsmb: avoid passing a function call as function parameter

Using a helper variable makes it easier to "step" into the desired function
within gdb.

metze

s4:dsdb LDB attribute lists must always be a static const char **.

(If they are not, then due to the async code, they will cause a segfault as they reference a reclaimed portion of the stack).

Andrew Bartlett

s4:provision - Removed dependency on full Samba 3 schema from FDS

Fixed some major bugs in inheritance and access checks.

Fixed sd creation not working on LDAP modify.
Fixed incorrect replacement of CO and CG.
Fixed incorrect access check on modify for SD modification.
Fixed failing sec_descriptor test and enabled it.
Fixed failing sd add test in ldap.python