auto-repack in transactions that expand the tdb

The idea behind this is to recover from badly fragmented free
lists. Choosing the point where the file expands is fairly arbitrary,
but seems to work well.

Merge branch 'master' of ssh://git.samba.org/data/git/samba

Fix a C++ warning

nss_wrapper: try to fix the build of nss_wrapper on solaris.

Guenther

Handle EINTR in async_sock.c

libwbclient: Add async call framework.

nss_wrapper: add test_nwrap_membership to testsuite.

Guenther

nss_wrapper: restructure parts of the testsuite.

Guenther

nss_wrapper: add support for getgrouplist.

Guenther

util: Change license on tevent_unix to LGPLv3+

async_sock: Change license to LGPLv3+

s4-smbtorture: add a very basic NSS-WRAPPER testsuite.

Guenther

util: move add_gid_to_array_unique to toplevel and add add_uid_to_array_unique.

Guenther

Merge branch 'master' of ssh://git.samba.org/data/git/samba

nss_wrapper: fix nss_wrapper build for solaris.

Guenther

nss_wrapper: remove re-structuring leftovers (unused variables).

Guenther

nss_wrapper: support member add and delete for groups in nss_wrapper.pl.

Guenther

nss_wrapper: split out passwd and group paths in nss_wrapper.pl.

Guenther

nss_wrapper: restructure nwrap calls.

Guenther

fixed tdbbackup to give tdb error messages

Merge branch 'master' of ssh://git.samba.org/data/git/samba

make TDB_NOSYNC affect all the fsync/msync calls in transactions

During a transaction commit tdb normally uses fsync/msync calls to
make it crash safe. This can be disabled using the TDB_NOSYNC flag,
but it wasn't disabling all the code paths that caused a fsync/msync.

tdb: Fix some recently introduced warnings in tdbtool

Merge branch 'master' of ssh://git.samba.org/data/git/samba

Add support for sendmsg() in socket_wrapper

This is required because the deferred connect code skips the connect()
until sending the packet, but unless we catch this call, the connect()
never happens.

Andrew Bartlett

added some more speed tests to tdbtool

This adds 3 simple speed tests to tdbtool, for transaction store,
store and fetch.

On my laptop this shows transactions costing about 10ms

Change async_connect to use connect instead of getsockopt to get the error

On my Linux box, this is definitely the more reliable strategy with unix domain
sockets, and according to my tests it also works correctly with TCP sockets.

Add "err_on_readability" to writev_send

A socket where the other side has closed only becomes readable. To catch
errors early when sitting in a pure writev, we need to also test for
readability.

Allow NULL queue to writev_send

tsocket: allow empty vectors at the end for tstream_writev()/readv()

metze

Detect tight loop in tdb_find()

nsswrapper: implement group_del() in nss_wrapper.pl.

Guenther

nsswrapper: implement group_add() in nss_wrapper.pl.

Guenther

Set errno=ENOMEM if tevent_add_fd fails

tevent_add_fd does not properly set that. At least in epoll and select this is
the only error condition.

Metze, please check!

Simplify the logic of tsocket_bsd_pending

Remove two indentation levels by returning early on error.

Metze, please check!

tevent/python: Makefile was still trying to build some non AC_SUBST python targets

Signed-Off-By: Jelmer Vernooij <jelmer@samba.org>

tevent: Define TALLOC_FREE() if it's not defined yet, to allow building
with released versions of talloc.

tevent: Remove python module.

This module didn't have any functionality that we actually used yet, and
it was quite small.

Tevent is quite low level and perhaps doesn't make much sense to expose
directly as a Python module. It was also causing build problems when used with a
system-tevent. We can always back later if necessary.

tevent: Install tevent_internal.h in the standalone build.

This is not ideal, but at least it fixes the build of samba-gtk for now.
I've also added a warning about API guarantees at the top of the header.

Fix linker flags on non-Linux GNU platforms.

(e.g. Debian GNU/kFreeBSD)

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

Update copies of config.guess and config.sub.

tevent: Don't install headers, since we don't install a shared lib
either (from Samba).

Add extensive tests for str_list function behaviour

Remove two unused variables

Add new functions and tests: str_list_make_empty(), str_list_make_single()

Take advantage of the easier-to-use thread macros

- Now that we initialize for the non-thread-safe case in the macro, there's no
  need to do it here too.

Derrell

Make the thread functions a bit easier to use

- Create separate macros for lock and unlock so that it's easier to identify
  which request is being made.

- Initialize *ponce in the SMB_THREAD_ONCE macro in the non-thread-safe case,
  rather than requiring each init function to determine if it's in the
  non-thread-safe case and manually initialize.

Derrell

Allow a parameter to smb_thread_once's initialization function

- This should make life easier for ourselves. We're no longer constrained to
  the semantics of pthread_once, so let's allow passing a parameter to the
  initialization function. Some of Samba's init functions return a
  value. Although I haven't searched, I suspect that some of the init
  functions require in input parameters. The parameter added here can be used
  for input, output, or both, as necessary... or ignored, as is now done in
  talloc_stackframe_init().

Derrell

Fix broken smb_thread_once function (again)

- It would help if smb_thread_once did, eventually, set the variable that
  prevents the init function from being run again. Sigh. It must be getting
  late.

Derrell

Fix broken smb_thread_once function

- We can't set *ponce=true before running the function because although other
  threads wouldn't re-run the initialization function, they could potentially
  proceed beyond the initialization point while the first thread was still
  running the initialization function. If a second thread gets to an
  SMB_THREAD_ONCE() call while one with the same ponce is running, we need to
  ensure that it enters smb_thread_once() to await the mutex and then recheck
  whether *ponce is set or not.  My original comment about other "once"
  functions possibly being called from within this "once" function is
  irrelevant since those other ones would have their own unique ponce.

Derrell

Fix definition of smb_thread_once - must return int not void as
it's used in a ? : comparison macro.
Jeremy.

Ensure documentation matches the tdb_util function usage.
Jeremy.

Use bool instead of int for a boolean variable

Optimize smb_thread_once usage by not calling it if known already called

- The macro SMB_THREAD_ONCE now tests whether the "once" variable is already
  set, and if so avoids calling smb_thread_once().

Derrell

Panic upon mutex lock or unlock failure

- It's a serious error if we can't lock or unlock a mutex in
  smb_thread_once(). Panic instead of just displaying a DEBUG message.

Derrell

Don't require external use of internal enum smb_thread_lock_type

- Internally, when locking or unlocking a mutex, we'll pass one of the
  values of enum smb_thread_lock_type. That enum is not available to users
  providing a thread implementation. Externally, we'll document the integer
  values which will be passed to their lock_mutex function, but not require
  them to access our internal header file.

Derrell

Replace external thread "once" with an internal implementation

Jeremy, please check...

- I'm in the process of providing an interface in libsmbclient to the
  recently-added threading capabilities. In the process, I discovered that
  different thread implementations have varying types for the variable passed
  to the thread_impl_once() function. pthreads, for example, uses type
  pthread_once_t. Since Samba needs to internally declare these variables, it
  would need to know the exact type required by each thread implementation's
  function. After considering multiple methods of obtaining an appropriately
  sized variable, I decided that for the basic "once" functionality required
  by Samba, it would be much simpler to just implement our own "once"
  functionality. We don't require cancellation points et all. This commit adds
  an smb_thread_once() function that is implemented using an internal
  mutex. The mutex itself uses the implementation's create_mutex
  function. This eliminates the need for the user to provide a smb_thread_once
  function pointer and the entire issue of that function's first parameter.

Derrell

tevent: fix typo async_req_done() => tevent_req_done()

metze

Avoid --nonet when building manpages; xsltproc will already prefer local
stylesheets if they are installed.

Update tdb and talloc web pages

Add release scripts for talloc and tdb

Clean up after Tridge's util_strlist changes

Attempt to the build on NetBSD5 and a few others

tsocket: add tstream_readv_pdu_queue_send/recv()

metze

tsocket: add tstream_writev_queue_send/recv()

metze

tsocket: add tstream_readv_pdu_send/recv()

metze

tsocket: add tstream implementation for bsd sockets (inet and unix)

metze

tsocket: add tstream_context infrastructure similar to tdgram_context

metze

tsocket: rename tdgram_unix_dgram_socket() => tdgram_unix_socket()

metze

tsocket: move tsocket_simple_int_recv() to tsocket.c

metze

tsocket: move tsocket_sendto_queue_send/recv() to tsocket_helpers.c

metze

tsocket: tdgram move input checks to the common code as there're needed for all backends

We need to make sure that we free the sendto and recvfrom requests before
the tdgram_context

metze

tsocket: for unix domain sockets we need to use sizeof(struct sockaddr_un)

sizeof(struct sockaddr_storage) generates EINVAL.

metze

tsocket: return EINVAL when tdgram_sendto_send() is used with len == 0

metze

tsocket: fix dependecies

metze

tsocket: remove tsocket_context related stuff

It will be replaced by tdgram_context and tstream_context.

metze

Fix a missing prototype warning

pm_process():raise level of debug message

Michael

Fix push_codepoint function without iconv_convenience.

Add a new non-convenience version of push_codepoint.

Prevent reallocs of the talloc pool itself

Avoid using deprecated form of AC_CHECK_TYPE.

libreplace makes use of an older form of AC_CHECK_TYPE which basically
provides a fallback definition for the type if it isn't available.
http://www.gnu.org/software/hello/manual/autoconf/Obsolete-Macros.html#Obsolete-Macros
shows why this isn't a good idea (its not so important, except for pointer types).
This patch partly addresses the issue.

Signed-off-by: Jelmer Vernooij <jelmer@samba.org>

Error out at runtime when seteuid/setresuid or setegid/setresgid are not
available. This means it's possible to compile libreplace when these
functions are not available and use it, as long as this particular
function is not used.

Only define waitpid replacement if wait4 is available. (It isn't on
Windows.)

Cope with the fact that only _mkdir() exists on Windows and that it
doesn't take a mode argument.

Move check for syslog out of libreplace to source3/ and source4/.

This should help compiling talloc on Windows.

Ensure we have all the definitions needed in both threaded and non-threaded versions.
Jeremy.

Attempt to fix build farm on platforms where pthread_once_t is a struct.
Jeremy.

Fix the pthread_once initialization issue. Make talloc_stackframe use
this.
Jeremy.

tsocket: fix the build without ipv6 support

metze

Fix bug #6089 - Winbind samr_OpenDomain not possible with Samba 3.2.6+
What a difference a name makes... :-). Just because something is missnamed
SAMR_ACCESS_OPEN_DOMAIN, when it should actually be SAMR_ACCESS_LOOKUP_DOMAIN,
don't automatically use it for a security check in _samr_OpenDomain().
Jeremy.

Ensure a tls key is only generated once - wrap create & destroy in a mutex.
Change the function names to add _once to the tls_create & tls_destroy to
make this obvious.
Jeremy.

Make talloc_stack threadsafe using TLS. Volker please
check. Passes make test and basic valgrind testing.
Jeremy.

socket_wrapper: fix the build on systems without ipv6 support

metze

socket_wrapper: fix crash bug in swrap_readv/writev

metze

Merge branch 'wspp-schema'

added _const versions of some of the str_list_*() functions

These const versions don't copy the strings themselves, which
is useful when those strings point at known constant data (into the
schema in this case)

added str_list_unique() and str_list_show()

I also undid some of the const changes from Andrew, as
they didn't in fact resolve the const warnings.

Add the thread functions to top level lib/util.
Not yet used, that's the next step.
Jeremy.

Remove async_req