s3:lib/util_str: add strlen_m_ext() that takes input and output charset

The function calculates the number of units (8 or 16-bit, depending
on the destination charset), that would be needed to convert the
input string which is expected to be in in src_charset encoding
to the dst_charset (which should be a unicode charset).

s3:lib/util_str: clarify the comment header for strlen_m().

s3:lib/charcnv: clarify comments in next_codepoint_ext()

(giving the unicod U+<hexnumber> notation of the codepoints
 referred to in the comments)

s3:lib/charcnv: rename a parameter for clarity in next_codepoint_ext()

s3:lib/charcnv: reformat comments in next_codepoint_ext()

s3:lib/charcnv: add next_codepoint_ext() that accepts input charset.

next_codepoint() takes as string in CH_UNIX encoding and returns the
unicode codepoint of the next (possibly multibyte) character of the
input string.

The new next_codepoint_ext() function adds the encoding of the input
string as a parameter. next_codepoint() now only calls next_codepoint_ext()
with CH_UNIX als src_charset argument.

util/charset: remove a duplicate comment.

This seems to have been copied twice from source3/ code.

build: a more portable way of finding waf in makefiles

this avoids using the non-portable shell command in makefiles

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Wed Nov  3 22:44:59 UTC 2010 on sn-devel-104

selftest/tests.py: Fix typos.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Wed Nov  3 19:55:55 UTC 2010 on sn-devel-104

provision: Look for in source setup data first, in case an older version
of samba 4 is installed in the system.

samba: Make in_source_tree() public.

urgent_replication: Fix formatting

possibleinferiors: Report subunit.

possibleinferiors: Fix formatting.

replace/wscript: add size checks for stdint.h types

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Wed Nov  3 19:12:39 UTC 2010 on sn-devel-104

replace/wscript: do the size checks directly after the type checks

metze

replace/wscript: define bool to int instead of off_t

metze

replace/wscript: check for uint8_t

metze

s4:dsdb/samldb: avoid nested unindexed searches in samldb_member_check()

With 20000 objects in the database it's no fun to add members...

metze

s4:dsdb/tests/python/sam.py: test with member: <SID=...>

metze

s4:descriptor LDB module - a bit cleanup

- add more OOM checks where needed
- remove message of an error which cannot happen anymore (since now the
  structural objectclass is always checked by the objectclass LDB module)

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Wed Nov  3 18:30:52 UTC 2010 on sn-devel-104

s4:sam.py - assign valid values when performing the special-attributes constraint checks

The problem is that s4 per construction does the checks in a different order. It
first checks for validity (pre-operation trigger in samldb LDB module) and then
for the schema (post-operation trigger in objectclass_attrs LDB module).
constraints (post-operation trigger

s4:samldb LDB module - improve the "get_single_valued_attr" call and move it into "ldb_modules/util.c"

It will be used by other LDB modules as well.

s4:objectclass_attrs LDB module - introduce the hardcoded delete-protected attributes list

This is a hardcoded list in AD of attributes, which can never be deleted.

pydsdb: Import testtools before subunit for those that don't have
testtools installed.

Also, cleanup some imports.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Wed Nov  3 17:47:55 UTC 2010 on sn-devel-104

filter-subunit: Add --fail-on-empty argument.

s3: Align nttrans replies the same way Windows does it

If you look at traces of "smbcacls" reading a secdesc from Samba and from W2k3
shows this difference in the querysecdesc nttrans reply. This patch is
necessary to enable viewing previous versions via the shadow copy modules from
Windows 2008. The other client versions seem not to care, but W2k8 does.

Signed-off-by: Michael Adam <obnox@samba.org>
Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Wed Nov  3 17:04:28 UTC 2010 on sn-devel-104

s4:objectclass LDB module - the structural objectclass has always to be specified

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Wed Nov  3 16:20:55 UTC 2010 on sn-devel-104

s4:objectclass_attrs LDB module - refactor the "dSHeuristics" checker

The checks are done when there are more than 0 values. The other checks should
be performed by the other parts of the module.

s4:objectclass_attrs LDB module - simplify the invoke of the "dSHeuristics" checker

It's always invoked on add and modify operations.

s4-tests: Tests for the dSHeuristics attribute value restrictions

Autobuild-User: Nadezhda Ivanova <nivanova@samba.org>
Autobuild-Date: Wed Nov  3 13:58:42 UTC 2010 on sn-devel-104

s4-dsdb: Implemented value restrictions for the dSHeuristics attribute

s3: Fix a getgrent crash with many groups

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Wed Nov  3 12:58:49 UTC 2010 on sn-devel-104

s4-server: cleanup allocation of process models

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Wed Nov  3 10:40:52 UTC 2010 on sn-devel-104

s4-ldb: fixed sorting of module names

this should also fix a valgrind error on freebsd

thanks to Matthieu for spotting this

s4:objectguid LDB module - remove "objectguid_find_attribute"

It's exactly the same as "ldb_msg_find_element".

In addition remove a comment which points out a "fixme" for a semi-async call
since we started to permit them again.

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Wed Nov  3 09:29:46 UTC 2010 on sn-devel-104

s4:RPC server - always set the response pad data in base of the request one

Otherwise it could remain uninitialised - should fix bug #7769.

s4:RPC server - cosmetic fixes - indentation, comments

s4:waf - fix the build on Gentoo platforms

Signed-off-by: Matthias Dieter Wallnöfer <mdw@samba.org>

s4-test: if using a system version of ldb, override the ldb modules path

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Wed Nov  3 04:13:22 UTC 2010 on sn-devel-104

waf: more agressively expand subsystem syslib deps

this solves an openchange build problem with an indirect dependency on
talloc when talloc is a syslib

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Wed Nov  3 02:17:30 UTC 2010 on sn-devel-104

s4-ldb: make ldbtest depend on ldb

waf: added reconfigure targets to our libraries

This allows you to do "make reconfigure" to re-run configure only if
needed

waf: ensure pkgconfig files depend on the prefix

waf: split pkgconfig logic into a separate module

s4-build: use -Wl,--as-needed if supported

this makes our runtime load times smaller, and also means we find bugs
that this may cause on gentoo. gentoo uses this by default

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Wed Nov  3 00:35:56 UTC 2010 on sn-devel-104

waf: fixed wildcard build for full paths

waf: rerun deps calculation on LDFLAGS or CFLAGS change

waf: fixed wildcard build

this fixes minimal includes for subsystems that use autoproto

s4-ldb: give the user a hint as to what may be wrong

when a backend or module can't be found, give a hint about
the LDB_MODULES_PATH environment variable

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Tue Nov  2 21:28:22 UTC 2010 on sn-devel-104

s4-dsdb: removed the use of ldb_private.h from s4

this will allow s4 to use a system version of ldb

s4-ldb: expose some more ldb module functions

this exposes enough functions for s4 to not need ldb_private.h any
more.

s3: Add "net registry getvaluesraw"

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Tue Nov  2 15:42:22 UTC 2010 on sn-devel-104

s3: Do not connect to ctdb if it is blocked for some reason

cluster_fatal() exit code should not indicate success.

cluster_fatal() logs a fatal event and then exits with 0.  This seems
wrong.  Sometimes command like "net" use this code and return
incorrect empty output but then exit with 0.

This simply changes the exit code to 1.

Signed-off-by: Martin Schwenke <martin@meltin.net>

s3: Fix a typo in a DEBUG msg

Autobuild-User: Volker Lendecke <vlendec@samba.org>
Autobuild-Date: Tue Nov  2 13:13:39 UTC 2010 on sn-devel-104

MAINTAINERS: add myself as maintainer for tevent and tsocket

metze

Autobuild-User: Stefan Metzmacher <metze@samba.org>
Autobuild-Date: Tue Nov  2 12:30:21 UTC 2010 on sn-devel-104

s4-selftest Run RPC-PAC against all the DC environments.

This is important, as it will validate that the PAC handling is
correct with the different encryption types.

Andrew Bartlett

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Tue Nov  2 11:45:50 UTC 2010 on sn-devel-104

s4-process_model Fix valgrind-found use of un-initialised variable

The relloc didn't zero the structure for the new process modal, and so
m->initialised wasn't initialised.

Andrew Bartlett

s4-torture Add tests for DES-only accounts PAC behaviour/validation.

Previously we didn't support DES-only in a Samba4 domain.  This is
important for some legacy systems that have not yet migrated from this
weak crypto.

Andrew Bartlett

s4-selftest Allow weak crypto so we can test DES-only behaviour.

Andrew Bartlett

heimdal Add handling for PAC signatures over all encryption types

There are exceptions from the expected behaviour of 'checksum type
matches key type' that we must deal with here, or else we can't serve
DES-only servers.

Andrew Bartlett

s3-param Fix up lp_set_cmdline() not to re-store cmdline options on each reload

The previous code was buggy in that it did not honour the 'store'
argument to lp_set_cmdline_helper(), and would use the stored
parameter after freeing it when handling overwritten values.

Andrew Bartlett

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Tue Nov  2 05:19:17 UTC 2010 on sn-devel-104

s3-libsmbclient Don't store 'debug_stderr' on the libsmbclient context

Following the review of this patch series by Derrell Lipman, remove
the seperate storage of the debug_stderr variable from the
libsmbclient SMBC_internal_data context.

Andrew Bartlett

s3-libsmbclient Add comments to describe the behaviour of DEBUG()

This isn't quite what you would expect from this interface, but actually
avoids some really nasty situations if you ever have more than one
libsmbclient context in a process.

In the real world, if you have asked for DEBUG() to stderr in one part
of the code, you will want it globally, even in a different thread
(which in the past would have rest everything to stdout again, at
least while starting up).

Andrew Bartlett

s3-libsmbclient-examples Add tests for debug behaviour.

debug Explain the behaviour of setup_logging() more clearly

s3-debug Clarify the handling of invalid state.fd values in debug.c

This makes it clear that -1 and 0 are both invalid file descriptor values
for DEBUG output.

Andrew Bartlett

s3-debug Move 'load_case_tables()' before lp_set_cmdline() and popt calls

The problem here is that we cannot run lp_set_cmdline() (directly or
indirectly via the popt helpers) until load_case_tables() has been run.

However, load_case_tables does not have auto-initialisation, so we
must init it once, and once only.

Andrew Bartlett

s3-debug Convert from x_file to real file descriptors.

X_FILE does not gain us anything in this use case, we want our log
messages on disk, not in a buffer, and we don't gain anything from the
X_FILE api.  I discussed the matter with tridge, who feels that to use
FILE in the first place was a mistake, and that X_FILE isn't any
better, but was a stop-gap to avoid issues on solaris.

Andrew Bartlett

s3-debug Remove last direct assignements to DEBUGLEVEL

All future assignments of the debug level should go via
lp_set_cmdline("log level", "x") because this will ensure the value is
not overwritten in an smb.conf load.

Andrew Bartlett

s3-debug Remove 'AllowDebugChange' and use lp_set_cmdline() instead

By removing this global variable, the API between the two different
debug systems is made more similar.  Both s3 and s4 now have
lp_set_cmdline() which ensures that the smb.conf cannot overwrite
these the user-specified log level.

Andrew Bartlett

s3-debug Impove setup_logging() to specify logging to stderr

This change improves the setup_logging() API so that callers which
wish to set up logging to stderr can simply ask for it, rather than
directly modify the dbf global variable.

Andrew Bartlett

lib/debug Use vdprintf rather than manually allocate

This allows the system to use whatever buffers it wants for the string
rather than assuming we need to malloc() it.

Andrew Bartlett

Autobuild-User: Andrew Bartlett <abartlet@samba.org>
Autobuild-Date: Tue Nov  2 00:18:43 UTC 2010 on sn-devel-104

s4-torture Remove torture/locktest2.c (no longer compiled and unused)

This is a left-over of a speculative approach to lock testing that
didn't go anywhere.

Andrew Bartlett

lib/util Remove setup_logging_stdout()

This API is no longer required now that we don't attempt to build ndrdump
with the s3 build system, and because the s3 debug system will soon have the
same setup_logging() API.

Andrew Bartlett

s4-ldb: removed ldb_includes.h

it causes problems with the openchange build as it is not installed

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  1 21:49:47 UTC 2010 on sn-devel-104

talloc: Install pytalloc.h.

Autobuild-User: Jelmer Vernooij <jelmer@samba.org>
Autobuild-Date: Mon Nov  1 17:25:07 UTC 2010 on sn-devel-104

s4:samldb LDB module - the "sAMAccountName" cannot be substituted by nothing

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Mon Nov  1 14:36:24 UTC 2010 on sn-devel-104

s4:sam.py - additional testing for "servicePrincipalName" updates

s4:samldb LDB module - support now the full "servicePrincipalName" update trigger

With "dNSHostName" and/or "sAMAccountName" updates

s4:samldb LDB module - "sAMAccountName" checker

We need a "talloc_steal" for the retrieved "sAMAccountName" since the
memory is afterwards freed using the "talloc_free" call.

s4-ldb: use ldb_set_modules_dir() to load additional ldb modules

this allows ldb_wrap to enable s4 modules in a standalone ldb install
without any additional installation

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  1 13:47:33 UTC 2010 on sn-devel-104

s4-ldb: enable version checking in dsdb ldb modules

s4-ldb: enable ldb module version checking

s4-ldb: added support for ldb module version checking

s3:winbindd: fix query_user for users with NULL full name.

Not sure whether query_user ever sends a NULL full name.
Query Display Info does, and it does not harm to add the
check here, too.

Autobuild-User: Michael Adam <obnox@samba.org>
Autobuild-Date: Mon Nov  1 13:03:33 UTC 2010 on sn-devel-104

s3:winbindd: fix query_user_list for users with NULL full_name

s4:setup/spn_update_list - the DNS SPN is only used in DNS mode

Not all DCs are automatically DNS servers.

Autobuild-User: Matthias Dieter Wallnöfer <mdw@samba.org>
Autobuild-Date: Mon Nov  1 12:20:36 UTC 2010 on sn-devel-104

s4:ldap.py/sam.py - simplify the objectclass specifications

- For user accounts we only need to specify "user" ("person" is an inherited
  objectclass)
- Don't use the brackets when we have only one objectclass specified

s4:sam.py - test "objectSid" modification lockdown

s4:samldb LDB module - unify objectSid assignment error messages

s4:samldb LDB module - deny "objectSid" modifications

The same as with Windows

s4:provision - adapt the "provision" so that SIDs are only set on entry creation

SID modifications are denied.

s4:torture - suppress printf "%llu" on uint64_t variables warnings

The signed/unsignedness does match (always unsigned). The bitlength (64 bit) on
all regular platforms does also. Therefore simply add a cast to
"unsigned long long".

ldb:tools/ldbtest.c - fix build warning

Cause was an incomplete declaration.

s4-ldb: fixed build of paged searches

Autobuild-User: Andrew Tridgell <tridge@samba.org>
Autobuild-Date: Mon Nov  1 09:41:27 UTC 2010 on sn-devel-104

s4-ldb: fixed build of oLschema2ldif

s4-ldb: convert existing ldb tools to use new command line hooks

the usage() function needs to take a ldb context, as the popt_options
is specific to the ldb context

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>

s4-ldb: added ldb command line hook support

ldb modules can now add hooks to the command line processing for ldb
tools

Pair-Programmed-With: Andrew Bartlett <abartlet@samba.org>