util:ldb Allow multiple entries to be added in one LDIF snippit

s4:dsdb Split schema loading and schema data management

By splitting the module this way, we can load the schema at startup, after
the partitions module is operational, but we leave the 'mess with details of
entries in the partitions' module to operate only on the partitions module.

Loading the schema later allows us to set the @ATTRIBUTES correctly on all
the databases.

Andrew Bartlett

s4:dsdb Set partitions metadata as soon as it is set up.

s4-selftest: lower some of the timeouts during make test

This speeds up some of the delay based tests by a lot. There is no
need to have long delays during testing.

s4-samdb: make sure the static credentials are never freed

s4-ldb: move the tdb_reopen_all() calls to ldb_wrap.c

s4-ldb: use ldb_wrap_fork_hook() to cancel child transactions

s4-ldb: added ldb_transaction_cancel_noerr()

This will be used to allow cancelling of transactions in a child after
a fork()

s4-server: call the ldb_wrap_fork_hook() after a fork()

This will be used to allow us to cancel any pending transactions
after a fork.

s4-server: pre-open the main ldb databases in the server

By pre-opening these databases and leaving them open, we allow the new
ldb_wrap_connect() code to share the ldb context between users.

s4-ldbwrap: added re-use of ldb contexts in ldb_wrap_connect()

This allows us to reuse a ldb context if it is open twice, instead
of going through the expensive process of a full ldb open. We can
reuse it if all of the parameters are the same.

The change relies on callers using talloc_unlink() or free of a parent
to close a ldb context.

s4-dsdb: add a static samdb_credentials

Similarly to system_session(), this creates a static
samdb_credentials()

s4-dsdb: create a static system_session context

This patch adds a system_session cache, preventing us from having to
recreate it on every ldb open, and allowing us to detect when the same
session is being used in ldb_wrap

Simplify the logic.
Jeremy.

Fix bug 6829 - smbclient does not show special characters properly.
All successful calls to cli_session_setup() *must* be followed by
calls to cli_init_creds() to stash the credentials we successfully
connected with. There were 2 codepaths where this was missing. This
caused smbclient to be unable to open the \srvsvc pipe to do an RPC
netserverenum, and cause it to fall back to a RAP netserverenum,
which uses DOS codepage conversion rather than the full UCS2 of
RPC, so the returned characters were not correct (unless the DOS
codepage was set correctly). Phew. That was fun to track down :-).
Jeremy.

s3: Remove a pointless #endif/#ifdef pair

s4-lsa: fixed breakage of lsa server

s4-torture: fixed double free in libnet_group test

s4:provision - Reintroduce accidentally removed parameters and checks from "guess_names"

abartlet pointed out that those are essential for a safe and consistent provision.

s4-lsa: fixed the lsa server to cope with the new tests from gd

s4-ldb: added a TODO about checking the indexlist

s4-ldb: fixed some memory leaks in new indexing code

s4-ldb: don't try to index non-indexed attributes

s4-selftest: removed raw.unlink from quicktest

This test takes 40s, and quicktest already covers delete operations in
base.delete

s4-ldb: ensure new dn_list elements are not owned by caller

s4-ldb: over-allocate index records to save on realloc costs

s4-ldb: fixed tdb error handling in ldb_index.c

s4-ldb: delete empty index records

s4-ldb: do more validation of idxptr lists

s4-ldb: expose ltdb_err_map and ltdb_delete_noindex

These will be used by ldb_index.c

s4-ldb: fast path for equal pointers

We compare identical ldb_val values surprisingly often

selftest: make python run unbuffered

This makes some output in make test easier to follow

util: fixed place where we could look one byte past end of string

We need to check the length before the value

idl-drsblobs: mark some more reserved values as value(0)

This prevents valgrind errors when we store these blobs in a database

s4-ldb: when taking a list intersection, the result can be as long as the first list

Intuitively you would think it couldn't be longer than the minimum of
the two lists, but we are deliberately allowing for duplicates at this
level of the indexing code, which means the result can be longer

s4-ldb: ldb indexing rewrite - part1

This gets rid of the @IDXPTR approach to in-transaction indexing,
instead using an in-memory tdb to hold index values during a
transaction. This also cleans up a lot of the internal indexing logic,
hopefully making it easier to understand.

One of the big changes is in memory management, with a lot more use
made of talloc tricks to avoid copying dn lists, and shortcuts used to
avoid high intersection and union calculation costs.

The overall result is that a re-provision on my laptop goes from 48s
to a bit over 10s.

s4-ldb: ldb_oom() for modules

s4:torture Silence const warning by use of data_blob_const()

This was inspired by one of mdw's const patches

Andrew Bartlett

s4:dsdb/samdb/cracknames - Remove unused header and add more "const"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:ldb_sort - Add some more "const"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:libcli/security/access_check - Add "const" in front of "type"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:smbtorture - Add "const" before "value"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:dsdb Use the 'correct' case for the namingContext values in rootDSE

This makes the namingContext attributes in the rootDSE a little more pretty, by
using the exact same values as used in the database DNs.

Andrew Bartlett

s4:dsdb Add default modules list to samba3sam

This is needed because the work to allow existing databases to be loaded now
moves the 'you have an old @PARTITION' record to the presense or absence of
this attribute.

Andrew Bartlett

s4:provision - rework the "guess_names" and "make_smbconf" method

- Cleans it up from unnecessary "lower()/upper()" and parameters which can be
  derived through "lp" calls.
- Substitute the "HOSTNAME" caption in the "smb.conf" templates with
  "NETBIOS_NAME" which fits better.
- Now the "realm" and "domain" parameter of the provision are totally case
  insensitive and the script itself up/downcases them appropriately depending
  on the use (e.g. "realm" upcase for KERBEROS, lowcase for DNS domainname).

s3:Makefile: add some explicit dependencies to libc

Add libc as explicit dependency where we use "-z defs" linker flags. This is
to silence the Sun linker. Otherwise it whines:

malloc  ... (symbol belongs to implicit dependency /lib/libc.so.1)

s4:provision - important fix for DNS domainname: lower realm

.gitignore: add "partition_proto.h"

heimdal - hdb/ext.c - fix a "shadows variable" warning

Renamed the variable "str" in the nested block to "str2" to prevent the collision
with "str" in the main function block.

S4: ldb_map modules uses defines that are reserved

On OpenSolaris MAP_RENAME and friends are defined in <sys/mman.h> e.g. mmap and friends. So on these systems MAP_* have a meaning. Cleaned up LDB name space by adding LDB_ in front of MAP_* e.g. MAP_RENAME => LDB_MAP_RENAME

Signed-off-by: Torgeir Lerkerød <torgeir.lerkerod@gmail.com>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

S4: Building on a system with libintl

Heimdal's internal buildsystem uses a different define for checking for libintl than what samba uses. LIBINTL vs HAVE_LIBINTL_H. Since changing heimdals defineswould brake dropin merges of heimdal. This is a simple workaround in line with others in heimdal_build catalog.

Signed-off-by: Torgeir Lerkerød <torgeir.lerkerod@gmail.com>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

lib/tdb: make tdbtool use tdb_check() for "check" command

Also, set logging function so we get more informative messages.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: add tdb_check()

ctdb wants a quick way to detect corrupt tdbs; particularly, tdbs with
loops in their hash chains.  tdb_check() provides this.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: add -t (always use transactions) option to tdbtorture

This means you can kill it at any time and expect no corruption.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: wean off TDB_ERRCODE.

It was a regrettable hack which I used to reduce line count in tdb; in fact it caused confusion as can be seen in this patch.
In particular, ecode now needs to be set before TDB_LOG anyway, and having it exposed in
the header is useless (the struct tdb_context isn't defined, so it's doubly useless).
Also, we should never set errno, as io.c was doing.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: TDB_TRACE support (for developers)

When TDB_TRACE is defined (in tdb_private.h), verbose tracing of tdb operations is enabled.
This can be replayed using "replay_trace" from http://ccan.ozlabs.org/info/tdb.

The majority of this patch comes from moving internal functions to _<funcname> to
avoid double-tracing.  There should be no additional overhead for the normal (!TDB_TRACE)
case.

Note that the verbose traces compress really well with rzip.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

s4-ldb: allow for non-null terminated ldb_val in ldb_dn_from_ldb_val

The strlen() could go past the end of a non-null terminated value

s4:dsdb Add note explaining about the partition format upgrade

s4:dsdb Allow loading of old-style partition records

This should make upgrades easier

s4:dsdb Make the 'relative path' code in partitions handle tdb://

The previous code would fail if the caller used tdb:// in the URL for the
top-level database.

Andrew Bartlett

s4:ldb_map Fix use-after-free of memory in ldb_map

We need to keep the old 'ares' from the remote server around so we can forward
it back to the caller.  We can't send the same controls (from the last search
entry) twice (and it makes no sense anyway).

Andrew Bartlett

s4:dsdb talloc_steal the backend module to under the partition

s4:ldb Put ltdb_private under the 'module'

This helps track the memory better, as we can then place it under the partition
hirarchy.

Andrew Bartlett

s4:rpc_server Ensure we talloc_free handles when we delete objects

If we don't talloc_free the handle, we leak the memory onto the long-term
context.

Andrew Bartlett

s4:dsdb Remove potentially confusing 'partition' control from result

This ensures that the partition control, needed here for repl_meta_data's
internal work, is not pushed up to other callers.

Andrew Bartlett

s4:ldb Add new function to create a cut down list of controls

This I hope will be useful for removing controls from the ldb_reply

Andrew Bartlett

s4:samr Don't leak the whole user onto the long-term handle

The user entry is only required for this function, so use
mem_ctx to hold it.

Andrew Bartlett

librpc Make talloc tree in binding tower match the floors

This is mostly cosmetics, but helped me see that these are legitimate stuctures
when viewed in the talloc tree.

Also don't put the 'ndr' structure on the long-term tree.

Andrew Bartlett

s4:epmapper Create a proper talloc tree of endpoint floors

Andrew Bartlett

s4:dsdb Allow creation of new partitions

This is a collection of fixes to allow the creation of new partitions,
as well as adding debugging that may be useful in chasing down future
failures.

Andrew Bartlett

s4:provision Use schema to casefold partitions on 'upgrade'.

This helps us upgrade from sam.ldb files before the dynamic partitions
work, and ensures we use the right casefolding functions.

Andrew Bartlett

s4:dsdb Remove default instanceType from repl_meta_data

This is no longer required, as the instancetype module is now above
repl_meta_data.

Andrew Bartlett

s4:dsdb Remove workaround for two partition head records

The problem here has been avoided in repl_meta_data, and so this is no
longer required.

Andrew Bartlett

s4:dsdb Use 'partition modified' information to update @REPLCHANGED

This major rework of repl_meta_data changes it from using a static
list of partitions to a dynamic list created from the controls placed
on returned ldb results.

To process these in one place, the similar but distinct callbacks are
combined into a single replmd_op_callback(), which handles both the
'normal operation' and 'inbound replication' case.

This allows new partitions to be created, and replication events for
these new partitions to be scheduled immediately.

Also in this commit: We no longer specify the target partition for new
or modified objects - instead we allow the partitions module to use
the DN as normal.  THis avoids the issue where we would create two
partition head records.

Andrew Bartlett

s4:repl Pass schema as argument to replmd_update_rpmd()

s4:dsdb In partitions module, tell the caller what partition was used.

This means we don't return any control for modifications to the
control records in sam.ldb, but do if they modified one of the actual
data LDB files.

Andrew Bartlett

s4:ldb Add function to add controls to an LDB reply

s4:dsdb Load new partitions in a running LDB if metadata changes

This allows one instance of LDB to add a partition, and another to use
it without first closing the database.

Andrew Bartlett

s4:dsdb Only reload partition metadata on search and transaction start

I see no reason to reload it when in a transaction - it can't change
on us anyway (we possibly need to watch for our own changes to
@PARTITION however)

Andrew Bartlett

s4:dsdb Reload partition metadata if the main db updates

This uses the fact that the primary DB does not change often.  Before
each operation, we see if the sequence number has changed.

Andrew Bartlett

s4:provision Test ability to set GUIDs from provision command line

s4:provison Allow the NTDS guid on the command line (for testing)

This allows a blackbox test to confirm this can be set.

Andrew Bartlett

s4:dsdb Split 'set per-partition metadata' into it's own function

This helps us ensure we always set the metadata, even when we are
'adding' a partition that is already in our list.  (We *really* don't
want these getting out of sync, and the extra writes are harmless)

Andrew Bartlett

s4:Handle reprovision with existing partitions

The issue here is that if we don't put the partitions metadata in the
database before we wipe it, we won't wipe the partitions contents, and
so the provision will later fail (entry already exists)

Andrew Bartlett

s4:dsdb Don't try and casefold DNs during startup for partition load

The issue here is that before we load the schema partition, we may not
have the correct casefolding rules.  As such, keep things simple and
use the DN exactly as found in the @PARTITIONS record to find the
database.

Andrew Bartlett

s4:dsdb Fix partition_create not to return early

s4:dsdb Fix tests for samba3sam to pass after partitions module changes

This is needed because the new format of the partitions record is a
casefolded DN, not a DN and file combination.

Andrew Bartlett

s4:dsdb Be strict in selecting on-disk names for partitions

I really don't want a cn=foo/../bar in my ldb file name.

Andrew Bartlett

s4:dsdb Set 'notification' after the success of a change.

This allows the partition to be created before we try and set a
notification on it.  (perhaps extra work required here for partition
heads).

Andrew Bartlett

s4:provision Set @OPTIONS in the provision_init.ldif

The new partitions code knows to copy these items in when creating a
new parition, so we can set it from the start.

Andrew Bartlett

s4:dsdb Rework modules create new partitions at runtime

This is done by passing an extended operation to the partitions module
to extend the @PARTITION record and to extend the in-memory list of
partitions.

This also splits things up into module parts that belong above and below
repl_meta_data

Also slit the partitions module into two files due to the complexity
of the code

Andrew Barltett

s4/drs: prefixMap main interface implementation

Currenly implemented functions are:
dsdb_schema_pfm_new(), dsdb_schema_pfm_make_attid()
and dsdb_schema_pfm_oid_from_attid()

s4/drs(tort): Unit test for prefixMap implementation.

Currenly those tests cover only the main part of the interface,
i.e. dsdb_schema_pfm_new(), dsdb_schema_pfm_make_attid()
and dsdb_schema_pfm_oid_from_attid()

s4/drs(tort): Comment typos fixed in drs_util.c

s4/drs(tort): fixed '==' to '>='

ATTID is marked as partial by adding 32768.
Thus the check should be '>= 32768'

s4-lsa: Fix dcesrv_lsa_EnumTrustDom() and avoid infite windows client loop.

Found by RPC-LSA-TRUSTED-DOMAIN torture test.

Guenther

s3-lsa: Fix _lsa_EnumTrustDom() and avoid infite windows client loop.

Found by RPC-LSA-TRUSTED-DOMAIN torture test.

Guenther

s4-smbtorture: test whether an lsa_EnumTrustDom implementation would hang up a client.

Guenther

s3-lsa: make s3 pass against RPC-LSA-LOOKUPNAMES again.

Do what W2k8 does and return the builtin domain for a NULL name.

Guenther

nsswitch: fix the build of the winbind krb5 locator plugin.

Guenther