merge local copy of tdb from samba4 tdb

fixed a fd bug (thanks volker)

this is a demonstration of an idea for handling locks in ctdb.

The problem we have is this:

  - we want the client smbd processes to be able to 'shortcut' access
    to the ltdb, by directly accessing the ltdb, and if the header of
    the record shows we are the dmaster then process immediately, with
    no overhead of talking across the unix domain socket

  - a client doing a shortcut will use tdb_chainlock() to lock the
    record while processing

  - we want the main ctdb daemon to be able to set locks on the
    record, and when those locks collide with a 'shortcut' fcntl lock,
    we want the ctdb daemon to keep processing other operations

  - we don't want to have to send a message from a smbd client to the
    ctdbd each time it releases a lock

The solution is shown in this example. Note that the expensive fork()
and blocking lock is only paid in case of contention, so in the median
case I think this is zero cost.

merged from samba4

pull out common command line code for tests into tests/cmdline.c

merge CTDB_SRVID_ALL patch from Samba4

- fix includes to work in both samba4 and ctdb standalone
- when we do a store_unlock the lock record becomes unlocked, so we
  must destroy it (or we leak memory)

added --dblist option to ctdbd, to allow list of databases to be specified on the command line

merge from ronnie

add code to fetch1 test to tell the two child processes one at a time to fetch_lock the same record

they both successfully fetch and lock the same record at this stage  but when the actual locking works properly  the second child will block.

this test allows us to verify the blocking once we have implemented it

add examples for volker on how to do fetchlock/storeunlock

note that the actual locking/unl;ocking does not still work

update to fetch1.sh test

there is still a bug in the ctdb code in that the children no longer receive messages from the parent for unknown reasons

merge from tridge

merge from ronnie

merge from tridge

private -> private_data for samba3

add missing code to store_unlock so that the data that a client writes is stored in ltdb

this makes it possible to do fetch_lock and store_unlock across a domain socket to read/write data.

note that the actual locking is NOT implemented yet

merge store_unlock code from ronnie

add more elaborate test to fetch1 test

for now:
fetch a record
store a known entry for this record
fetch the record again  (and later verify we got the same record)
store it back again

this will not work right now since we dont yet store the record inside the daemon

add store_unlock pdu's for the domain socket.

note that the store_unlock does not actually do anything yet apart from passing the pdu from client to daemon   and daemon responds.

next is to make sure the daemon actually stores the data in a database

merge from tridge

merge from ronnie

add the two missing file from the previous commit

add a beginning of a new test

right now this test only does one fetch lock   but this will be enhanced as more code is added to ctdb to handle fetch_lock and store_unlock

when sending back a fetch lock reply to a client
we cant peek in state->c since this is uninitialized
and even if it were not it would be wrong

create a new structure to pass BOTH client and also the reqid to respond back to
the client with

merge from tridges tree

merge from ronnie

dont hardcode gdb in the test script.     ooops

initial support for two new pdus for the domain socket to do fetch_lock

no locking is yet done and the store_unlock call is still missing

the ./tests/fetch.sh --daemon  test fails with parent process dying which needs to be investigated.

merge from volker

merge from vl

merge from ronnie

add an example on how to read a message from the domain socket

do an infinite loop calling event_loop_once() in the ctdbd parent process instead of event_loop_wait()  since the latter will return and thus take down the daemon

add a test message to the messaging test so we can see that the message data is also passed from originator to receiver

merge from ridge and vl

Rename "private" to "private_data"

Merge tridge's tree

Add a test to read back the message

Volker

use event_loop_wait instead of while(1)

use lib/replace for signal.h

merge from volker

merge from ronnie

merge

Handle a client that exited correctly: We need to ignore SIGPIPE and when the
read returns 0 bytes this means the client has exited. Close the connection
then.

Fix uninitialized variable warnings

add an example on how to send a message to the daemon
(send a message to ourself)

this unfortunately terminates the ctdb daemon when running   but im too tired right now to debug it.
checkin so that nothing gets lost overnight.

add call/reply parsing of the cluster connect-wait call to the test daemon.

add a vnn field to the ctdb_reply_connect_wait pdu so that we can tell
non-ctdb-linked clients what the vnn of the local cluster daemon is

create a standalone ctdb daemon and a script ./direct/ctdbd.sh to start two such daemons in a 2 node cluster.

create a small test application that connects to the ctdb daemon at /tmp/ctdb.socket.127.0.0.1 and do some commands to the daemon.
currently this test tool only opens the socket and registers its pid with the daemon
(the daemon needs to know the pid so that it can forward messages to the correct client)

the test will be extended with additional ctdb commands

merge from tridge

added --num-clients option to ctdb_messaging test

use the new connect_wait code in the ctdb_messaging test

add proper support for ctdb_connect_wait in daemon mode

fixed sending messages to ourselves in non-daemon mode

merge from ronnie, plus complete the client side of inter-node messaging

add a test that sends messages between clients connected to the same ctdb

add code to actually pass the messages between clients and ctdb

partially completed work towards full messaging system which will work in both daemon and standalone mode. Does not compile\! committing so ronnie can continue while I'm out

merge from ronnie

merge from tridge

forgot to add ctdb_client.c

 - add --daemon flag to ctdb_fetch test code
 - split client specific routines out of ctdb_daemon.c
 - use ctdb_queue code in message send from client to daemon
 - use clearer names in client/daemon functions
 - use talloc autofree context to avoid global for unlink of socket on
   exit
 - start on API change for message handler, to allow ctdb messaging to
   handle daemon mode with multiple clients

rename client.id to client.messenger_id to make the purpose of the field more obvious

add a call to register the pid for a messengin service

store this pid inside the client structure in the ctdb daemon

fix the queueing for partially connected tcp sockets

updates from tridges tree

make some functions static, and remove an unused structure

merge from ronnie

made all sockets handle partial IO
abstract IO via ctdb_queue_*() functions

remove old ifdef that remained from when this was a header file

merge tcp changes from ronnie

added daemon mode to ctdb_bench

change the tcp code to call ctdb_read_pdu() instead of doing the partial read thing explicitely

merge from ronnie

fix a possible free after use

fix configure for new test location

move the checking of the CONNECT_WAIT flag into the start method for tcp

restore the test script that was updated by mistake in the previous checkin

add a CONNECT_WAIT flag to replace the call ctdb_connect_wait() since
we can no longer use this function from the application if we are in daemon mode.

add a horrible "sleep()" to ctdb_test.c   to prevent the daemon from dissapearing (parent process died) when the application exits which may happen before the other nodes in the test have finished talking to our daemon

add a atexit() call to remove the domain socket when the daemon exits

change ctdb_client_read() to use the ctdb_read_pdu() helper

make normal/deamon mode controllable by a ctdb flag so that the api looks the same in both modes to a client.

send the correct structure back to a client

assorted other cleanups

(tests/test1.sh now works in daemon mode)

dispatcher daemon   first try.

does not yet work

merge from tridge

another memory leak

remove talloc debug code

fixed a bunch of memory leaks

put test code in tests/ directory

added a magic header for wireshark and packet version info

merge from ronnie

When we create a tcp connection to a remote ctdb node  do an explicit bind() to set our source side to the same ip address as we use to listen to ctdb traffic.

We need this since there is no guarantee that INADDR_ANY (which would be defaulted to if we dont bind) would be routable from the remote host.
This is entirely possible to happen since CTDB traffic is likely to be isolated to a private non-routable network.

merge from ronnies branch

merge fetch code from ronnie, and add a simple fetch test

first test of forced migration of records.  compiles but not tested.

tridge

merge back some changes from Samba4

merge multi-database support from ronnie

Split CTDB into sub contexts to handle multiple concurrent databases within the same context.

merged changes from peter

ib: added external send queue to workaround downtime
Workaround is because I couldn't find a correct way in ib to reconnect cleanly (with queue kept) when destination is unreachable.
When connection is broken, all internal queue contents are being destroyed and reconnects automatically.
An "external" send queue is kept until the connection is up again for a dest node.