s4:ldb Add additional tracing of the ldb API

This helps pin down where errors occour, by printing a call stack and
setting error strings and trace messages in the transaction case.

Andrew Bartlett

s4:dsdb Remove partition_extended_schema_update_now

The schema update now request is now handled above the partitions
module.

Andrew Bartlett

s3: Rename new parameter "ldap ref follow" to "ldap follow referral".

This parameter will be introduced with Samba 3.5.0.

Karolin

s3:docs: Public is not a synonym for access based shareenum.

Fix build warning.

Karolin

s3:docs: fake dir create times is a global parameter.

Karolin

s4-ldb: fixed request handling for schemaUpdateNow op

Merge branch 'master' of ssh://git.samba.org/data/git/samba

s4-ldb: allow for unescaped '=' in a index DN

The ldb_dn_explode code normally enforces all special characters,
including a '=', must be escaped. Unfortunately this conflicts with
the ltdb index DNs, which for binary attributes may be base64
encoded. This allows a unescaped '=' as a special case for index DNs.

ldb:backend "connect" functions - convert result values to LDB constants

I think this is better since "ldb_backend_connect" and "ldb_connect" which
propagate those values should return only LDB constants. Therefore a conversion
(especially for "-1") would be needed.

s4-samdb: reduce the number of samdb opens at startup

Using common parameters means that the ldb_wrap code can return a
reference rather than a new database

s4-ldb: ensure DNs pass validity tests in indexing

s4-ldb: fixed string length handling on index records

s4-dsdb: ensure that new partitions inherit any transaction

tdb: detect tdb store of identical records and skip

This can help with ldb where we rewrite the index records

s4-ldb: don't allow modifies outside a transaction.

s4-ldb: fixed re-index during a complex transaction

We may have modified index objects in the in-memory index tdb

s4-python: fixed annoyance where control-C doesn't kill our python scripts

We want our scripts to die immediately when a user hits
control-C. Otherwise we not only annoy the hell out of the user, we
also risk db corruption as the control-C could get delivered as an
exception which gets mis-interpreted (eg. as a missing db object). We
use transactions for all our databases, so the right thing to do in
all our command line tools is to die immediately.

s4:dcesrv_samr: always use mem_ctx as initial parent for samr_*_state

We always steal the state to the policy handle on success,
but untill then keep it on the short term context.

metze

s4:loadparm: don't leak the names of all shares in each lp_service() call

metze

s4:dsdb/partition_init: don't leak a talloc_new() in case we have no data yet

metze

libcli/auth: initialize creds in netlogon_creds_client_init_session_key()

metze

s4:gensec/schannel: remove unused talloc_reference() in schannel_update()

We never expose creds to the caller in schannel_update().

metze

libcli/auth: fix memory leak in schannel_creds_server_step_check_ldb()

metze

libcli/auth: don't leak the ldb_msg in schannel_store_session_key_ldb()

metze

Fix bug 6802 - A created folder does not properly inherit permissions from parent.

tdb: rename 'struct list_struct' into 'struct tdb_record'

metze

ldb python bindungs - better use the "enum ldb_scope" for the search scope rather than "int"

s3: Fix crash in pam_winbind, another reference to freed memory.

Signed-off-by: Bo Yang <boyang@samba.org>

s4-python: we need to include Python.h first

If we don't include Python.h first then we get a pile of warnings due
to broken redefines of XOPEN_SOURCE in the Python includes.

s4:dsdb 'attrs' must be static (otherwise segv with async)

The async code makes this really easy to mess up...

Andrew Bartlett

s4:dsdb Fix samba3sam test again.

We again need to be careful not to call 'ldb_next_request' based functions in the partitions module.

Or, we need to instead go back to having that work, and ditch the
partition_request stuff...

Andrew Bartlett

s4:dsdb Add error string in 'no such object' because of 0 replies case

s4:dsdb Remove unused variables

s4:dsdb Do less allocation when searching for partitions modules

(it didn't help that the previous allocation was on the wrong long-term context)

Andrew Bartlett

s4:setup Mark 'cn' in secrets as case insensitive

While this does not matter very much, others may later expect 'cn' to be case
insensitive.

Andrew Bartlett

s4:secrets Look for LDAP secret with a name that is indexed

This avoids a very common unindexed lookup

s4:gensec Use an index on computerName in schannel.ldb

util:ldb Allow multiple entries to be added in one LDIF snippit

s4:dsdb Split schema loading and schema data management

By splitting the module this way, we can load the schema at startup, after
the partitions module is operational, but we leave the 'mess with details of
entries in the partitions' module to operate only on the partitions module.

Loading the schema later allows us to set the @ATTRIBUTES correctly on all
the databases.

Andrew Bartlett

s4:dsdb Set partitions metadata as soon as it is set up.

s4-selftest: lower some of the timeouts during make test

This speeds up some of the delay based tests by a lot. There is no
need to have long delays during testing.

s4-samdb: make sure the static credentials are never freed

s4-ldb: move the tdb_reopen_all() calls to ldb_wrap.c

s4-ldb: use ldb_wrap_fork_hook() to cancel child transactions

s4-ldb: added ldb_transaction_cancel_noerr()

This will be used to allow cancelling of transactions in a child after
a fork()

s4-server: call the ldb_wrap_fork_hook() after a fork()

This will be used to allow us to cancel any pending transactions
after a fork.

s4-server: pre-open the main ldb databases in the server

By pre-opening these databases and leaving them open, we allow the new
ldb_wrap_connect() code to share the ldb context between users.

s4-ldbwrap: added re-use of ldb contexts in ldb_wrap_connect()

This allows us to reuse a ldb context if it is open twice, instead
of going through the expensive process of a full ldb open. We can
reuse it if all of the parameters are the same.

The change relies on callers using talloc_unlink() or free of a parent
to close a ldb context.

s4-dsdb: add a static samdb_credentials

Similarly to system_session(), this creates a static
samdb_credentials()

s4-dsdb: create a static system_session context

This patch adds a system_session cache, preventing us from having to
recreate it on every ldb open, and allowing us to detect when the same
session is being used in ldb_wrap

Simplify the logic.
Jeremy.

Fix bug 6829 - smbclient does not show special characters properly.
All successful calls to cli_session_setup() *must* be followed by
calls to cli_init_creds() to stash the credentials we successfully
connected with. There were 2 codepaths where this was missing. This
caused smbclient to be unable to open the \srvsvc pipe to do an RPC
netserverenum, and cause it to fall back to a RAP netserverenum,
which uses DOS codepage conversion rather than the full UCS2 of
RPC, so the returned characters were not correct (unless the DOS
codepage was set correctly). Phew. That was fun to track down :-).
Jeremy.

s3: Remove a pointless #endif/#ifdef pair

s4-lsa: fixed breakage of lsa server

s4-torture: fixed double free in libnet_group test

s4:provision - Reintroduce accidentally removed parameters and checks from "guess_names"

abartlet pointed out that those are essential for a safe and consistent provision.

s4-lsa: fixed the lsa server to cope with the new tests from gd

s4-ldb: added a TODO about checking the indexlist

s4-ldb: fixed some memory leaks in new indexing code

s4-ldb: don't try to index non-indexed attributes

s4-selftest: removed raw.unlink from quicktest

This test takes 40s, and quicktest already covers delete operations in
base.delete

s4-ldb: ensure new dn_list elements are not owned by caller

s4-ldb: over-allocate index records to save on realloc costs

s4-ldb: fixed tdb error handling in ldb_index.c

s4-ldb: delete empty index records

s4-ldb: do more validation of idxptr lists

s4-ldb: expose ltdb_err_map and ltdb_delete_noindex

These will be used by ldb_index.c

s4-ldb: fast path for equal pointers

We compare identical ldb_val values surprisingly often

selftest: make python run unbuffered

This makes some output in make test easier to follow

util: fixed place where we could look one byte past end of string

We need to check the length before the value

idl-drsblobs: mark some more reserved values as value(0)

This prevents valgrind errors when we store these blobs in a database

s4-ldb: when taking a list intersection, the result can be as long as the first list

Intuitively you would think it couldn't be longer than the minimum of
the two lists, but we are deliberately allowing for duplicates at this
level of the indexing code, which means the result can be longer

s4-ldb: ldb indexing rewrite - part1

This gets rid of the @IDXPTR approach to in-transaction indexing,
instead using an in-memory tdb to hold index values during a
transaction. This also cleans up a lot of the internal indexing logic,
hopefully making it easier to understand.

One of the big changes is in memory management, with a lot more use
made of talloc tricks to avoid copying dn lists, and shortcuts used to
avoid high intersection and union calculation costs.

The overall result is that a re-provision on my laptop goes from 48s
to a bit over 10s.

s4-ldb: ldb_oom() for modules

s4:torture Silence const warning by use of data_blob_const()

This was inspired by one of mdw's const patches

Andrew Bartlett

s4:dsdb/samdb/cracknames - Remove unused header and add more "const"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:ldb_sort - Add some more "const"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:libcli/security/access_check - Add "const" in front of "type"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:smbtorture - Add "const" before "value"

Signed-off-by: Andrew Bartlett <abartlet@samba.org>

s4:dsdb Use the 'correct' case for the namingContext values in rootDSE

This makes the namingContext attributes in the rootDSE a little more pretty, by
using the exact same values as used in the database DNs.

Andrew Bartlett

s4:dsdb Add default modules list to samba3sam

This is needed because the work to allow existing databases to be loaded now
moves the 'you have an old @PARTITION' record to the presense or absence of
this attribute.

Andrew Bartlett

s4:provision - rework the "guess_names" and "make_smbconf" method

- Cleans it up from unnecessary "lower()/upper()" and parameters which can be
  derived through "lp" calls.
- Substitute the "HOSTNAME" caption in the "smb.conf" templates with
  "NETBIOS_NAME" which fits better.
- Now the "realm" and "domain" parameter of the provision are totally case
  insensitive and the script itself up/downcases them appropriately depending
  on the use (e.g. "realm" upcase for KERBEROS, lowcase for DNS domainname).

s3:Makefile: add some explicit dependencies to libc

Add libc as explicit dependency where we use "-z defs" linker flags. This is
to silence the Sun linker. Otherwise it whines:

malloc  ... (symbol belongs to implicit dependency /lib/libc.so.1)

s4:provision - important fix for DNS domainname: lower realm

.gitignore: add "partition_proto.h"

heimdal - hdb/ext.c - fix a "shadows variable" warning

Renamed the variable "str" in the nested block to "str2" to prevent the collision
with "str" in the main function block.

S4: ldb_map modules uses defines that are reserved

On OpenSolaris MAP_RENAME and friends are defined in <sys/mman.h> e.g. mmap and friends. So on these systems MAP_* have a meaning. Cleaned up LDB name space by adding LDB_ in front of MAP_* e.g. MAP_RENAME => LDB_MAP_RENAME

Signed-off-by: Torgeir Lerkerød <torgeir.lerkerod@gmail.com>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

S4: Building on a system with libintl

Heimdal's internal buildsystem uses a different define for checking for libintl than what samba uses. LIBINTL vs HAVE_LIBINTL_H. Since changing heimdals defineswould brake dropin merges of heimdal. This is a simple workaround in line with others in heimdal_build catalog.

Signed-off-by: Torgeir Lerkerød <torgeir.lerkerod@gmail.com>
Signed-off-by: Stefan Metzmacher <metze@samba.org>

lib/tdb: make tdbtool use tdb_check() for "check" command

Also, set logging function so we get more informative messages.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: add tdb_check()

ctdb wants a quick way to detect corrupt tdbs; particularly, tdbs with
loops in their hash chains.  tdb_check() provides this.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: add -t (always use transactions) option to tdbtorture

This means you can kill it at any time and expect no corruption.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: wean off TDB_ERRCODE.

It was a regrettable hack which I used to reduce line count in tdb; in fact it caused confusion as can be seen in this patch.
In particular, ecode now needs to be set before TDB_LOG anyway, and having it exposed in
the header is useless (the struct tdb_context isn't defined, so it's doubly useless).
Also, we should never set errno, as io.c was doing.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

lib/tdb: TDB_TRACE support (for developers)

When TDB_TRACE is defined (in tdb_private.h), verbose tracing of tdb operations is enabled.
This can be replayed using "replay_trace" from http://ccan.ozlabs.org/info/tdb.

The majority of this patch comes from moving internal functions to _<funcname> to
avoid double-tracing.  There should be no additional overhead for the normal (!TDB_TRACE)
case.

Note that the verbose traces compress really well with rzip.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

s4-ldb: allow for non-null terminated ldb_val in ldb_dn_from_ldb_val

The strlen() could go past the end of a non-null terminated value

s4:dsdb Add note explaining about the partition format upgrade

s4:dsdb Allow loading of old-style partition records

This should make upgrades easier

s4:dsdb Make the 'relative path' code in partitions handle tdb://

The previous code would fail if the caller used tdb:// in the URL for the
top-level database.

Andrew Bartlett

s4:ldb_map Fix use-after-free of memory in ldb_map

We need to keep the old 'ares' from the remote server around so we can forward
it back to the caller.  We can't send the same controls (from the last search
entry) twice (and it makes no sense anyway).

Andrew Bartlett

s4:dsdb talloc_steal the backend module to under the partition

s4:ldb Put ltdb_private under the 'module'

This helps track the memory better, as we can then place it under the partition
hirarchy.

Andrew Bartlett