vacuum: close fd leak

Commit 517f05e42f17766b1e8db8f1f4789cbad968e304 "freeze: abort vacuuming
when we're going to freeze." introduced a file descriptor leak, because
the abortfd used to talk to the child wasn't closed.

Do this in the destructor.

CQ:S1019190
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

New version : 1.0.112-30

Merge commit 'rusty/1.0.112' into 1.0.112

vacuum: fix crash on vacuum abort

Martin Schwenke discovered that 517f05e42f17766b1e8db8f1f4789cbad968e304
("freeze: abort vacuuming when we're going to freeze.") used ctdb_db for
a logging message which is in fact uninitialized, causing a crash (even
if it wasn't actually logged).

Initialize it properly.  Also fix incorrect format in another logging
message introduced in that same change.

CQ:S1019093
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

New version 1.0.112-29

 - Fix for a SEGV that can happen when tcp tickles fail/timeout
   CQ:S1019041

takeover: prevent crash by avoiding free in traverse on RST timeout

After 5 attempts to send a RST to a client without any response, we free
"con"; this is done during a traverse.  This frees the node we are walking
through (the node is made a child of "con" down in rb_tree.c's
trbt_create_node() (Valgrind would catch this, as Martin confirmed).

So, we create a temporary parent and reparent onto that; then we free
that parent after the traverse, thus deleting the unwanted nodes.

CQ:S1019041
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

New version 1.0.112-28

Revert "Make deterministic ips off by the default."

This reverts commit 09d5dc94930a1349bb74b5557a4e71144ad525a4.

We decided more review is needed, and we should not change this
for 1.0.112.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

New version 1.0.112-27

Make deterministic ips off by the default.

The git log makes it clear that it's mainly useful for debugging; we
should turn it off in production to minimize IP address movement.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

freeze: abort vacuuming when we're going to freeze.

There are some reports of freeze timeouts, and it looks like vacuuming might
be the culprit.  So we add code to tell them to abort when a freeze is
going on.

CQ:S1018154 & S1018349
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

vacuum: disabling vacuuming during a freeze

We shouldn't even think about vacuuming when we've frozen the database
(which is earlier than when we set CTDB_RECOVERY_ACTIVE)

CQ:S1018154 & S1018349
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

logging: give a unique logging name to each forked child.

This means we can distinguish which child is logging, esp. via syslog where we have no pid.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

New version 1.0.112-26

config: wrap iptables in flock to avoid concurrancy.

When doing a releaseip event, we do them in parallel for all the separate
IPs.  This creates a problem for iptables, which isn't reentrant, giving
the strange message:
iptables encountered unknown error "18446744073709551615" while initializing table "filter"

The worst possible symptom of this is that releaseip won't remove the rule
which prevents us listening to clients during releaseip, and the node will be
healthy but non-responsive.

The simple workaround is to flock-wrap iptables.  Better would be to rework
the code so we didn't need to use iptables in these paths.

CQ:S1018353
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

New version 1.0.112-25
* Tue Jul 6 2010 : Version 1.0.112-25
 - natgw firewall fix
   BZ62613

Move NAT gateway firewall rules to recovered|updatenatgw events.

The existing code wasn't working as designed in the start event.  It
should work here.

BZ: 62613
Signed-off-by: Martin Schwenke <martin@meltin.net>

New version 1.0.112-24

* Mon Jul 5 2010 : Version 1.0.112-24
 - Extra logging on tdb_chainunlock failures.
 - Extra sanity check in ctdb_become_dmaster
   BZ65158
 - More robustness against IDR wrap
   BZ65158
 - Recovery failure under stress fix
   BZ:65158

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

ctdb_freeze: extend db priority hack to cover serverid.tdb deadlock.

We discovered that recent smbd locks the serverid tdb while
holding a lock on another tdb (locking.tdb):
  7: POSIX  ADVISORY  WRITE smbd-2224318 locking.tdb.0 10600 10600
  22: -> POSIX  ADVISORY  READ  smbd-2224318 serverid.tdb.0 26580 26580

The result is a deadlock against the ctdb_freeze code called for
recovery.  We extend the "notify" workaround to this case, too.

BZ:65158
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Wrap the IDR early, but not too early.

We dont want it to wrap almost immediately so that basically all "ctdb ..."
commands log the "Reqid wrap" warning.

Delay reusing ids to make protocol more robust

Ronnie and I tracked down a bug which seems to be caused by a node
running so slowly that we timed out the request and reused the request
id before it responded.

The result was that we unlocked the wrong record, leading to the
following:

ctdbd: tdb_unlock: count is 0
ctdbd: tdb_chainunlock failed
smbd[1630912]: [2010/06/08 15:32:28.251716,  0] lib/util_sock.c:1491(get_peer_addr_internal)
ctdbd: Could not find idr:43
ctdbd: server/ctdb_call.c:492 reqid 43 not found

This exact problem is now detected, but in general we want to delay
id reuse as long as possible to make our system more robust.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

idtree: fix handling of large ids (eg INT_MAX)

Since idtree assigns sequentially, it rarely reaches high numbers.
But such numbers can be forced with idr_get_new_above(), and that
reveals two bugs:
1) Crash in sub_remove() caused by pa array being too short.
2) Shift by more than 32 in _idr_find(), which is undefined, causing
   the "outside the current tree" optimization to misfire and return NULL.

Signed-off-by: Rusty Russell <rusty@rustorp.com.au>

fix a debug message

idr can timeout and wrap/be reused quite quickly.

If a noremote node hangs for an extended period, it is possible
that we might have a DMASTER request in flight for record A to that node.
Eventually we will reuse the idr, and may reuse it for a DMASTER request to a different node for a different record B.

If while the request for B is in flight,  the first tnode un-hangs and responds back
we would receive a dmaster reply for the wrong record.

This would cause a record to become perpetually locked, since inside the daemon we would tdb_chainlock(dmaster_reply->pdu->key)   but once the migration would complete we would chainunlock   idr->state->call->key

Adding code to verify that when we receive a dmaster reply packet that it does in fact match the exact same key that the state variable we have for the idr in flight.

We can not be holding a chainlock at this stage, so the tdb_chainunlock() call is bogus

( a child process might be holding the lock, but not the main daemon)

add extra logging for failed ctdb_ltdb_unlock() for a few more places
it is called from

add additional logging when tdb_chainunlock() fails
so we can see where it was called from when it fails

print the db name qwhen a chainunlock fails too

when tdb_chainunlock() fails, print the tdb error that occured

New version 1.0.112-23

* Tue Jun 8 2010 : Version 1.0.112-23
 - Fix a SEGV that can be triggered by "ctdb delip"
   BZ 62783
 - Add iptables filters to stop clients from connecting to the NATGW
   address.
   BZ62613
 - Add timestamps to the ctdb statistics output
 - Change "ctdb addip" to block until the address is active
   BZ63191
 - Add additional log messages when tdbs can no longer be locked/chain
   unlocked
   BZ64688

Additional log messages when tdb databases can no longer be chainlocked or chainunlocked

BZ64688

change the addip command to wait until the ip address is taken by the proper node

BZ63191

When we say "current time of statistics" in the "ctdb statistics" output,
print the current time and not the start time

Add a variable for start/current time to ctdb statistics
and print the time startistics was taken and for how long the statistics have been collected to the "ctdb statistics" output.

Prevent clients from connecting to the natgw address.
    This address is dedicated for outgoing connections.

    BZ62613

From rusty
Fix a SEGV that could happend when deleting a public ip.

BZ62783

new version 1.0.112-22

+* Mon May 24 2010 : Version 1.0.112-22
+ - Fix bug in 62.cnfs to allow exports that are quoted.
+ - Add monitoring og Quorum for the 62.cnfs script
+ - Allow restoredb to restore a backup to to a different database

Enhance the "ctdb restoredb" command so you can restore a backup into a different database.

Add monitoring of quorum and make the node UNHEALTHY when quarum is lost

in 62.cnfs, lines in /etc/exports can have hte exports quoted,
so strip off any initial " on the exports line

New version 1.0.112-21

* Fri May 21 2010 : Version 1.0.112-21
 - Fix a bug where we would fail to remove the natgw configuration
   and would leave a ip address for natgw still remaining on loopback.
   BZ 58317
 - In the ctdb command line tool, we do not wait long enough for the ipreallocate
   command to finish on the recovery daemon. which sometimes would timeout if the
   recovery daemon was busy, or we had rolling recoveries.
   BZ 61783
 - During failed recoveries we could get in a state where recovery attempts stopped
   while database priority level 2 or 3 remain frozen.
   BZ 63951

It was possible for ->recovery_mode to get out of sync with the new three db priorities in such a way that
->recovery_mode was set to normal   but database priorities leven2 or 3 was still set to frozen.

causing the recovery daemon to fail to detect that a recovery was needed to recover access to the database.

BZ63951

In control_ipreallocate() we wait at most 5 tries before aborting the command
and returning an error.
This might not be sufficient if there are several recoveries in a row.

Instead loop as long as it takes for the recovery master to finish the recoveries and re
spond to the ipreallocate call.

Increase the log level of the error message when the recovery master was busy and could
not perform the ipreallocation promptly

BZ61783

Fix a bug where we failed to remove the natgw address from loopback properly
bz58317

New version 1.0.112-20

+* Tue May 11 2010 : Version 1.0.112-20
+ - Add number of recoveries done to the ctdb statistics output.
+ - Use the fuill range for IDR values.
+   BZ 60540
+ - When performing a recovery, make sure all nodes agree with recmaster
+   on the reclock file.
+   BZ 62748
+ - Lower the loglevel for some debug messages
+   BZ 63074

Add the number of performed recoveries to the "ctdb statistics" output.

ctdb: use full range of IDR

This resolves a problem with huge numbers of requests which could overflow
16 bits.  Fortunately, the IDR should scale reasonably well, so we can simply
hold all the requests.

Although noone checks for failure, I added a constant for that.

BZ: 60540
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

When we perform a recovery. Make sure that the recmaster will sync the reclock file across the cluster.

This prevents issues such as when the recovery master is configured to NOT use a reclock file but other nodes are configured to use one.

BZ 62748

Lower the debug level for the messages when a client registers/deregisters a server id

BZ63074

New version 1.0.112-19

This version adds a new eventscript 62.cnfs that
allows better integration with GPFS.

BZ 61913

New version 1.0.112

+* Mon May 3 2010 : Version 1.0.112-18
+ - Make the NATGW eventscript check for when the system is misconfigured
+   to use the same address for both natgw as well as a public address
+   and warn.  BZ60933
+ - A recent change to monitor the ip address assignment broke "ctdb moveip".
+   Fix ctdb moveip so it works again. BZ62782

Dont check ip assignment across the cluster while ip-verification
checks are disabled

The recent change to the recovery daemon to keep track of and
verify that all nodes agree on the most recent ip address assignments
broke "ctdb moveip ..." since that call would never trigger
a full takeover run and thus would immediately trigger an inconsistency.

Add a new message to the recovery daemon where we can tell the recovery daemon to update its assignments.

BZ62782

Make create_merged_ip_list() a static function since
it is not called from outside of ctdb_takeover.c

In the log message when we have found an inconsistent ip address allocation,
add extra log information about what the inconsistency is.

If the admin makes a configuration mistake and configures NATGW to use the
same ip address as a normal public-address,
check for this in the natgw script and warn the user.

Also prevent ctdb from starting up since this configuration will not work.

BZ60933

New version 1.0.112-17

* Fri Apr 23 2010 : Version 1.0.112-17
 - In ctdb-crash-cleanup.sh  also check for and remove the NATGW address
   if set.
 - Add monitoring and warning of low memory condition
   CTDB_MONITOR_FREE_MEMORY_WARN

Add a setting where CTDB will monitor and warn for low memory conditions.

    CTDB_MONITOR_FREE_MEMORY_WARN

BZ 59747

In the example script to remove all ip addresses after a ctdb crash,
add the NATGW address as one to be removed in addition to the
public addresses.

New version 1.0.112-16

add an example script that can be called from crontab to cleanup
and release public ip addresses if ctdbd is no longer running

add a missing ||
to make the 10.interface script not fail with a syntax error

New version 1.0.112-15

* Wed Apr 21 2010 : Version 1.0.112-15
 - Change how we add/remove iptable rules during recovery to make
   rules leaks less likey.
 - change a debug message loglevel from ERR to NOTICE
   BZ62086
 - In the recovery daemon, track pulbic ip assignment
   across the cluster and verify consistency.
 - From Martins: change the 10.interface script to handle
   virtio interfaces correctly for virtual clusters.
 - Make the recovery master verify the reclock setting across the cluster
   and ban nodes with inconsistencies.
   BZ56354

Let the recovery master verify the reclock setting on all nodes in the cluster.

Any node that is found to use a different filename from the first node
will be banned.

Nodes that have no reclock file at all configured are ignored in this check.

BZ56354

Backport of patch to handle virtio interfaces correctly.
(ethtool does not work on these)

In the recovery daemon, keep track of which node we have assigned public ip
addresses and verify that the remote nodes have/keep a consistent view of
assigned addresses.

If a remote node has an inconsistent view of addresses visavi the recovery
master this will trigger a full ip reallocation.

Lower the loglevel for "Recovery lock successfully taken"
from ERR to NOTICE

BZ62086

Volker experienced a situation where we leaked iptable rules
and continued to block an ipaddress after a recovery had completed.

Rework how we handle the iptables blocking and use a new separate
table for all failover related blocks so that we can find these rules and
remove them more easily from outside of the takeip and releaseip events.

New version 1.0.112-14

-   events:50.samba: wipe the local part of the serverid db before starting winb
    This is necessary for the new serverid approach.

events:50.samba: wipe the local part of the serverid db before starting winbind/smnd/nmbd

This is necessary for the new serverid approach.

Michael

New Version    1.0.112-13

Try to restart NFS if "service nfs start" failed.

BZ61827

 new version 1.0.112-12

* Wed Mar 11 2010 : Version 1.0.112-12
 - From christian ambach : drop the loglevel of a vacuuming message
 - From  Wolfgang Mueller-Friedt : fix bug in ctdb_setstatus
 - Use "service nfs status" instead of rpcinfo when probing nfs
 - make sure to always create the tickles directory

adjust a vacuum log level

made the severity of the decreasing interval log level the same as for the increasing,
they are both just info logs because they don't report errors

ctdb_setstatus in /etc/ctdb/functions was not working correctly because it was called with a wrong parameter list

Make sure to always create the tickle directories for nfs
on the monitor event

BZ56707

Change the test if NFS is working to use "service nfs status"
instead of rpcinfo to the nfs program.

New version 1.0.112-11

* Thu Feb 25 2010 : Version 1.0.112-11
 - Increase default script timeout to 90 seconds.
   BZ 61113
 - Add a new tunable EventScriptLogTimeout which will log a message everytime
   a monitor script takes longer than this to finish.
   BZ 61118

Add a tunable EventScriptLogTimeout that will log an error everytime a
monitoring script took longer than this.

BZ 61118

Increase the default script timeout to 90 seconds.

BZ 61113

new version 1.0.112-10

* Tue Feb 23 2010 : Version 1.0.112-10
 - revert the change in 10.0.0.112-9 and make a new attempt to make the scripts\
 behave.
 - make writing the ticklelist in 61.nfstickle a background task to avoid
   having a long cluster fs pause cause a node to become unhealthy
 - critical bugfix. during an error path in the "end recovery" code
   we could release a memory block before we had finished referencing it
   which could lead to a segv.   bz 61068
 - make sure we tear down the natgw configuration when a node become stopped
   or else we might end up with a duplicate ip address when a different node
   takes over the natgw role.   bz 61036

store the nfs tickles for 61.nfstickle in a background shell
instead of blocking while it finishes.

this avoids having the eventscript hang/timeout if the underlying cluster filesystem hangs and blocks for 30+ seconds.

Revert "Ignore any scripts that timesout for most events, except startup."

This reverts commit 527597ed6d9142c0b47a9c419c828793826ac95e.

In ctdb_control_end_recovery,

We used to talloc_steal c (the command packet) and make it a child of the
"event script state context".
If we failed to create a eventscript child context for some reason,
this would have talloc freed state, but at the same time it would also
implicitely have freed c.
Once ctdb_control_end_recovery() returns the error back to the caller,
the caller would dereference both c, and also outdata which is a child of c
and we would either read garbage data or segv.

Change the ordering so we only talloc_steal c as a child of state IFF
we have successfully created a child context for the script.

BZ61068

Make sure that the natgw eventscript also triggers on the "stopped" event
    to remove the natgw configuration and ip assignments used.

BZ61036

new version 1.0.112-9

Ignore any scripts that timesout for most events, except startup.

Threat hung scripts always (except startup) as success.

new version 1.0.112-8

try to restart rpc-rquotad if it is not running

bz60317

Leave sequence number alone when merely migrating records.

(Based on earlier version from Ronnie which modified tdb; this one
is standalone).

When storing records in a tdb that has "automatic seqnum updates"
also check if the actual data for the record has changed or not.

If it has not changed at all, except for possibly the header,
this is likely just a dmaster migration operation in which case
we want to write the record to the tdb but we do not want the tdb
sequence number to be increased.

This resolves the problem of notify.tdb being thrashed under load:
the heuristic in smbd to only reread this when the sequence number
increases (rarely) breaks down.

Before, running nbench --num-progs=512 across 4 nodes, we saw numbers like:
 512      1496  118.33 MB/sec  execute 60 sec  latency 0.00 msec
And turning on latency tracking, this was typical in the logs:
 ctdbd: High latency 9380914.000000s for operation lockwait on database notify.tdb

After this commit:
  512      2451  143.85 MB/sec  execute 60 sec  latency 0.00 msec
And no more latency messages...

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

new version 1.0.112-7

Reduce loglevel for two eventscript related debug messages

Reducing the log level for a debug message

              DEBUG(DEBUG_DEBUG,("pnn %u starting migration of %08x t\

Reduce the log level for two debug messages

       DEBUG(DEBUG_DEBUG,("pnn %u dmaster response %08x\n", ctdb->pnn, ctdb_has
       DEBUG(DEBUG_DEBUG,("pnn %u dmaster request on %08x for %u from %u\n",

Add a variable CTDB_CHECK_SWAP_IS_NOT_USED="yes"
to control whether or not to check if we are swapping, and produce
useful output into the logfile if we are.

For production systems with dedicated nas-heads we should never swap.
But for developer/test systems we often use smaller nondedicated systems where
we can no longer guarantee that we will not be using swap.

lower the loglevel for a debug message for redundant releases of public ips

Add a new variable : CTDB_NFS_SKIP_KNFSD_ALIVE_CHECK
when set to "yes" this will skip checking if knfsd has hung or not.

bz59626

event scripts: add logging for low memory conditions

We should never enter swap; if we do, show the memory state of the machine and the process list.  This will help us diagnose what caused the condition before it's too late and the box starts OOM-killing processes.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

new version 1.0.112-6

ctdb: migrate to new dlinklist.h from Samba