from Chris Cowan
patches to smnotify to make it compile under AIX.

On AIX, we need to specify $(POPT_OBJ) explicitely

On AIX we can not use the -C flag to rpcgen since it is not implemented

On AIX we must explicitely force an #include of rpc/rpc.h in the idl
file since rpcgen does not automatically add it to the generated files

enhanced tests to verify the tree integrity when adding/removing nodes

remove an extra blankline

change the mem hierarchy for trees.   let the node be owned by the data
we store in the tree and use a node destructor so that when the data is
talloc_free()d we also remove the node from the tree.

remove an unused function

run the test for 60 seconds if that is what we claim

add more extensive test cases  and verify that we are not losing any
memory inside the tree

when we want to kill a tcp connection  we stored the connection
description (src + dst sockaddr_in) in a linked list.
everytime we receive a captured packet from the network we had to walk
this list in linear time to see if the packet matched a connection we
wanted to RST.
which wouldnt scale very well.

replace the linked list with a redblack tree that is indexed by
src address, src port,  dst address,   dst port
to make checking whether the packet belongs to a connection we want to
RST very fast and scalable

the reason we need to capture packets when we want to kill a TCP
connection is because we must wait for an ACK coming back from the
remote host  so that we can learn which sequence number to use in the
RST.
Most tcp today will ingore any and all RST segments unless the
sequencenumber lies exactly on the right edge of the window to make
spoofing RST a little bit more difficult.

add helpers to traverse a tree where the key is an array of uint32

add helpers to add/lookup/delete nodes in a tree where the key is an
array of uint32

add a tree insert function that takes a callback fucntion to populate
the data of the tree.
this callback makes it more convenient to manage cases where one might
want to insert multiple entries into the tree with the same key

rename the tree->tree pointer to tree->root  since this is supposed to
point to the root of the tree

add a small test utility

change fprintf(stderr to DEBUG(0, now that client DEBUGs are redirected
to stderr

merge from tridge

compile rb_tree.c by default.

this code is not yet called from anywhere but is at least now compiled

when inserting data in the tree, if there was already a node with the
same key then replace the data in the node with the new data and return
the pointer to the previous data held in the node.

this allows a caller to avoid having to first check if a node already
exists before inserting a possibly duplicate/colliding entry and lets
the caller do whatever it needs to do after the fact.

/etc/sysconfig/nfs can now discover the public ipaddress automagically

dont wait indefinitely for the initial getvnn to complete

merge from ronnie

change error output in ctdb   and in ctdb_cmdline_client to print to
stderr instead of stdout

add a ctdb command to print the default public ip of a host.

merge from tridge

move scsi/scsi_io.c to utils/scsi/scsi_io.c

we dont use sm-notify any more

remove it from the webpage

do not restart lockd/statd when we takeover an ip address   this is
overkill since
1, we now kill the tcpconnections for lockd in 60.nfs
2, rpc.statd on linux sends out the notifications using the wrong
interface anyway  which breaks a lot of clients  including linux !

use our own smnotify tool instead of sm-notify

update the specfile to install smnotify

install smnotify in $(bindir)

merge from ronnie

dont wait for the default rpc timeout when trying to bing to a client.
abort after 3 seconds

fix makefile so that we generate the header before trying to compile
smnotify.o

add a small tool that can send smnotify packets

update the manpage for the -n option to make it clear we are referring
to the node number and not the node hostname

after we have checked dest address that it is a public address
update addr to the source address so the rpintout in the log matches
the client that attached to samba

add a small tool to compare rb tree with a timeval_compare()+add an
entry to the end of the list DLIST (worst case insert)

fix the remaining bugs with tree delete that testing found.

the binary tree should work reasonably well now for delete.
insert always worked fine.

remove dead code

fix some remaining bugs with deleting nodes

there were situations where we were not guaranteed that a sibling had 2
child nodes which would cause a segv when trying to dereferencing those
two child nodes in order to read their color

if sibling is NULL it is a leaf node and thus black.

make timed_event structure private to events_timed.c

no need to have a separate assignment of the tcparray pointer followed
by a talloc_steal()
use the returned pointer in talloc_steal as the value to assign

up release number

initial version of talloc based red-black trees
very initial version

when we build the arp structure for sending gratious arp (and tcp
tickles) just talloc_steal the enture tcp_array into the arp
structure instead of copying each of the entries into a linked list
and then releasing the tcparray.

set the tcp tickle update flag to true once we have done a takeover and
tickled all connections
othervise the other nodes will still remember this list until next time
we have had a connection/client closing.

when a client connects with TCP_CLIENT  we should look at the
destination address to find the public address   not the source address

updated ctdb tickle management

there is an array for each node/public address that contains tcp tickles

we send a TCP_ADD as a broadcast to all nodes when a client is added

if tcp tickles are removed, they are only removed immediately from the
local node.
once every 20 seconds a node will push/broadcast out the tickle list for
all public addresses it manages.   this will remove any deleted tickles
from the remote nodes

change the tickle list from one global list into an array per public
ip/node

once we have started sending all tickles for a specific ip   delete the
entire array   so that the tickles dont remain forever in the ctdb
server

add a control to send the full list of every tickle that is registered
for a particular public ip/node

merge from tridge

- log registering of tcp clients
- don\'t remove a tcp entry if we do not own the ip

make sure we still run events when waiting for ctdb_event_script()

merge from tridge

merged from ronnie

add a check if start_node is beyond the end of the nodemap and reset it
back to 0 if it is to prevent an infinite loop.

this could happen if in the future we add a mechanism to add/remove
nodes to a cluster at runtime

change the way we pick/find a new node to takeover for a failed node
to keep a static that controls at which noide to start searching the
list for takeover candidates next time we need to find a node.

each time we find a node to takeover, reset the start variable to point
to the next node in the list

this makes the distribution of takeover nodes much more even

we dont do nfstickles unless ctdb manages nfs

fix bug introduced in previous commit

there is no point in doing anything in 10.interfaces unless we have a
public interface

try netstat as a last attempt to check a tcp port in
ctdb_check_tcp_ports() as well

if we dont have nc or netcat,  try using netstat as a final attempt to
check for tcp ports

(the check for these tools should not really use hardcoded paths)

if we dont have /etc/sysconfig  and we dont have /etc/default
check /etc/ctdb/sysconfig as a last option

when we have found that /etc/rc.d/init.d/SERVICE exists, then run that
script and not /etc/rc.d/SERVICE

add some configure magic to make it configure and build properly on
linux and aix

add some support for controlling Linux or AIX in the makefile

this should really be done by configure

add an initial system_aix.c  to manage raw sockets under aix

update the comment at the top of file to reflect the purpose of the file

add a private_data field to the killtcp structure and let the system
specific routines populate it as it see fit when creating a
capture socket.
pass this structure to read_tcp and close capture socket as parameter

ensure killtcp structure is initialised

- merge from ronnie
- cleaner handling of system capture socket

merge from tridge

fully save/restore scheduler parameters

fixed the sense of do_setsched

allow extra option override in /etc/sysconfig/ctdb

added --nosetsched option to ctdbd

netinet/if_ether.h is more portable than net/ethernet.h

the posix.4 name for the priority field is sched_priority
not __sched_priority

as an optimization for when we want to send multiple tickles at a time
let the caller create the sending socket and use a single socket instead
of one new one for each tickle.
pass a sending socket to ctdb_sys_send_tcp()

ctdb_sys_kill_tcp is not longer used so remove it

set the socketflags for close on exec and nonblocking in the helper that
creates the sockets instead of in the caller

add a helper to create a sending socket to send tickles from

rename killtcp->fd to killtcp->capture_fd

we might want to have two sockets attached to the killtcp structure
one for capturing and a second one for sending  so we dont have to
create a new socket for each tickle we want to send

ctdb killtcp  no longer takes a <numrst> argument to control how many
times to try the reset.

the reset retry attempt is now handled inside the daemon

update the 60.nfs script and remove this parameter that is no longer
used

make the ctdb tool use the killtcp control in the daemon instead of
calling killtcp directly

add daemon code for the new kill_tcp control

add a ctdb_ prefix to two public functions

first cut at a better and more scalable socketkiller
that can kill multiple connections asynchronously using one listening
socket

add a ctdb_kill_tcp_callback() that will perform a kill tcp using a
background process

pass the header to ctdb_become_dmaster instead of just the reqid

this allows us to print from which node Invalid or Dropped orphan become
dmaster packets came from

print the operation code in the debug message when we discard a packet
due to incorrect generation number

regenerated ctdbd manpage

merge from tridge

minor back-merge from samba4

merge from tridge

more merges for GPLv3 update

update lib/events from samba4 (If->if)

update lib/tdb from samba4

update lib/replace from samba4

merge from ronnie

use the socketkiller to kill off all lock manager sessions as well

update the documentation for NFS to mention that the lock manager must
run on the same port on all nodes.

remove the CTDB_MANAGES_NFSLOCK variable that is no longer used

make it possible to specify how many times ctdb killtcp will try to RST
the tcp connection

change the 60.nfs script to run ctdb killtcp in the foreground so we
dont get lots of these running in parallel when there are a lot of tcp
connections to rst

run the ctdb killtcp in the background

dont restart the tcp service after a ip takeover,   it is more efficient
to just kill off the tcp connections

nicer handling of DISCONNECTED flag  when we update the node flags from
a remote message

when a remote node has sent us a message to update the flags for a node,
dont let those messages modify the DISCONNECTED flag.

the DISCONNECTED flag must be managed locally since it describes whether
the local node can communicate with the remote node or not