One of the entry points to release an ip reset the pnn field before invoking the eventscript.
this triggered a check for "only run the eventscript if we host the address" to trigger and shortcir=cuit calling the eventscript.

An effect of this would be that 'ctdb delip' would remove the ip from ctdb, but fail to delete it from the interface.

S1028798

Change the 'This Node' column of the machinereadable output for 'ctdb status -Y' to Y/N instead of 1/0

1/0 is unsuitable since it can be useful to check 'if a column is "1" there is something wrong with that node'

when checking that the interfaces exist in ctdb_add_public_address()
cant talloc off vnn since it is not yet initialized and might not always be NULL

ReadOnly: revokechild_active is a list, not a context.

Dont reset the pointer to NULL after deleting the first entry, loop deleting one entry
at a time until they are all gone or we will leak some memory and possibly a process.

Document 'cattdb' more clearly that it dumps the content of the local TDB and not the CTDB database

fix some compiler warnings for the test tools

ReadOnly: Rename the function ctdb_ltdb_fetch_readonly() to ctdb_ltdb_fetch_with_header() since this is what it actually does.

Fix a typo in a message in ctdb backupdb.

Fix additional breakage from the merge for change in signature for ctdb_cmdline_client() and ctdb_attach()

Merge branch 'master-readonly-records' into foo

Conflicts:

Makefile.in
tools/ctdb.c

Drop loglevel for a tevent message from FATAL to ERROR

CQ S1028400

Merge remote branch 'ddiss/master_pmda_and_client_timeouts'

pmda: handle struct latency_counter and add num_recoveries

Rebase the CTDB PMDA from 1.0.114 to master:
- Add tevent and ctdb_protocol includes
- Handle latency metrics now stored under struct latency_counter
- Add new metric for the num_recoveries counter

pmda: document in README how to add a new metric

pmda: Use CTDB_PATH macro for default socket path

Also includes some code cleanup changes.

pmda: Pull ctdb statistics once per fetch

Currently ctdb statistics are pulled in the PMDA fetch callback, which
results in a CTDB_CONTROL_STATISTICS call for each metric.
Do this once per fetch instead, and have the per-metric callbacks pull
data from the last counter cache.

pmda: Attempt reconnects while ctdbd is unavailable

Attempt to reconnect to ctdbd on fetch while it is unreachable.

We must provide our own queue callback wrapper, as ctdb_client_read_cb()
exits on transport failure.

pmda: Initial ctdb pmda check-in

The CTDB Performance Metrics Domain Agent (PMDA) is compiled when
Performance Co-Pilot (PCP) header files are present.

The CTDB PMDA periodically requests runtime counters from ctdbd (similar
to ctdb statistics) and exports these values via PCP for capture and
charting etc.

client: flag local node in ctdb -Y status output

Regular "ctdb status" output flags which node is the local node, do the
same for machine readable output.

client: add timeout argument to ctdb_attach

Rather than using a fixed 2 second CTDB_CONTROL_GETDBPATH timeout.

client: add req timeout argument to ctdb_cmdline_client

Following connection to the local ctdbd, ctdb_cmdline_client() currently
issues a CTDB_CONTROL_GET_PNN request with a fixed 3 second timeout.

The ctdb cmd line client accepts a --timelimit argument for specifying
a per request timeout, pass this value through to ctdb_cmdline_client()
for use as a CTDB_CONTROL_GET_PNN request timeout.

Merge branch 'master' of 10.1.1.27:/shared/ctdb/ctdb-master

Interface monitoring: add a event to trigger every 30 seconds to check that all interfaces referenced by the public address list actually exists.

This will make it much easier to root-cause problems such as
S1029023
when an external application deleted the interface while it is still is in use by ctdbd.

Check interfaces:  when reading the public addresses file to create the vnn list
check that the actual interface exist, print error and fail startup if the interface does not exist.

Merge branch 'master' of ssh://git.samba.org/data/git/ctdb

Add a tunable "AllowClientDBAttach" with default value 1.

When set to 0, clients will not be able to attach to databases
via the db_attach control. This might can be useful for maintenance
where ctdb should be kept running but clients should not be able
to modify databases.

tools/ctdb: fix a typo in a debug message

tests:ctdb_fetch_lock_once   we must link with @POPT_OBJ@ in case -lpopt is not available

tests: Link ctdb_fetch_lock_once with @TDB_OBJ@ not -ltdb so we dont create an unneeded dependency on having a standalone tdb library installed

New version 1.11

ReadOnly: update the documentation about readonly locks

ReadOnly: add a new control to activate readonly lock capability for a database.
let all databases default to not support this  until enabled through this control

ReadOnly: add a readonly flag to the getdbmap control and show the readonly setting in ctdb getdbmap output

ReadOnly: Change the ctdb_db structure to keep a uint8_t for flags instead of a boolean for
the persistent flag.
This is the same size as the original boolean but allows ut to add additional flags for the database

Merge remote branch 'martins/tests'

Merge remote branch 'martins/eventscripts'

Tests - eventscripts - add some multievent tests

Running "./run_tests -s simple/* multievent/*" results in a stupid
summary.  Will need to work on that...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - allow "ctdb scriptstatus" output to be primed

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge branch 'eventscripts' into tests

Eventscripts - enhance ctdb_replay_monitor_status()

Print useful output and return a suitable exit code.

The DISABLED and TIMEDOUT statuses use fake negative return codes, and
these can't be faked from the shell.  So we map DISABLED to OK and
TIMEDOUT to ERROR - this should avoid nearly all surprises.  When we
do this we add a note to the beginning of the output.  The alternative
is to "fix" ctdbd to use only codes that can actually be returned by
shell scripts.  However, the reason for using negative codes is
probably to distinguish them from real ones...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - ctdb stub - implement scriptstatus, tweaks

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - formatting tweak in simple_test()

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - new function simple_test_event()

Just like simple_test() but 1st arg is the event name.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - output format tweaks

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add extra filename format for multi-event tests

$event may not be set so we need to test for it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add die() function and use it

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - remove undefined argument in some simple_test calls

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - evenscripts - add symlink to ctdb.sysconfig

Some of the tests expect the default to be

  CTDB_SERVICE_AUTOSTARTSTOP=yes

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - Samba TCP port checking fixes

Expect "ctdb checktcpport" to exit with 1 if not implemented.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - TCP port checking, no working checkers

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - new Samba TCP port checking test - no nmap

This one should fall back to netstat.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - nmap and netstat stubs can pretend they weren't found

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - new Samba tests to test TCP port checking

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add a new ctdb_not_implemented() function

This allowed a single ctdb command to be defined as not-implemented
and provided the associated output from the ctdb stub in
$ctdb_not_implemented.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - new function setup_nmap_output_filter()

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add some output filtering

This allows $OUT_FILTER to be set to one or more sed commands to
filter eventscript output.  This allows expected output to be
generalised.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - ctdb default default level is 0.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add output for "not implemented" in ctdb stub

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - add an nmap stub

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts - stop timeouts waiting for backgrounded testparm

Not sleeping at all speeds up the tests.  However, it can also cause
timeouts.  Therefore, every time sleep is run we force the stub to do
a short 0.1s sleep instead of whatever is specified.  This should be
enough to avoid races.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - add getdebug and checktcpport to ctdb eventscripts stub

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - add hooks to simulate ctdb commands that aren't implemented

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - add eventscripts testing stub for sleep command.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - Change variable used to fake listening TCP ports.

Change from $FAKE_NETSTAT_TCP_LISTEN to $FAKE_TCP_LISTEN.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - new NFS share checking tests

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - eventscripts exportfs stub should splits lines

The real exportfs splits lines longer than 15 characters.  The stub
should do that too...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - add -T (trace) option to eventscripts run_test.sh

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tools - fix "ctdb scriptstatus -Y" output

Lines in machine readable output always start with a colon (':').

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - use ctdb scriptstatus -Y when replaying status

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: add a synchronous synthetic reconfigure event.

In the current code services can only be reconfigured asynchronously.
This means that configuration file changes can be made, an asychronous
reconfigure event can be triggered, and it always succeeds.  Some time
later when a service is actually reconfigured then a failure may be
seen

This adds a synthetic reconfigure event that reconfigures a service
synchronously so that any failure is reported on exit.

ctdb_service_check_reconfigure() is essentially reimplemented.

If a reconfigure event is in flight and an ipreallocated or monitor
event occurs then any scheduled asynchronous reconfigure is deferred
until the next monitor cycle.  This is to avoid reconfigures trampling
on each other.  In this case a monitor event will also replay the
previous status to try to avoid exposing any temporary instability.

If a reconfigure event collides with another reconfigure event it will
exit with status 2, indicating that the reconfigure should be retried.

The reconfigure event is implemented using a subprocess to control the
exit from the synthetic event.

As before, if a monitor event causes a scheduled synchronous
reconfigure to occure then it will replay the previous status for the
service, given that a reconfigure can cause temporary instability.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - call ctdb_check_args() in 00.ctdb

This is the first eventscript.  Sanity check as early as possible and
everyone benefits.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - call ctdb_check_args() instead of doing hand checking

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - new function ctdb_check_args()

Pass this "$@" to do common eventscript argument checking.

For regular use putting this in 00.ctdb would be enough.  However, for
developer testing it can be useful to call this in other eventscripts.
For example, 10.interfaces and 13.per_ip_routing currently check these
by hand.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - ctdb_check_tcp_ports() bug fix.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - fix debugging buglet in ctdb_check_tcp_ports_ctdb()

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: New configuration variable CTDB_SERVICE_AUTOSTARTSTOP.

Some of the current auto-start/stop logic is broken, particularly for
Samba.  Fixing it is non-trivial.

If $CTDB_SERVICE_AUTOSTARTSTOP is "yes" then auto-start/stop services
when told to newly manage or no longer manage them.  This defaults to
"yes".

However, if using a canned configuration file that doesn't set
$CTDB_SERVICE_AUTOSTARTSTOP then this stops the auto-start-stop logic
from working.  Therefore, this works around CQ S1026685 - on the
system in question another daemon controls service auto-start/stop and
CTDB just gets in the way.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - in 60.nfs uniquify the share check directory list

There are sites that have multiple entries for the same export.  This
optimises the share check in this case.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Logging:  when we log stdout/stderr messages from eventscripts to the system log, prefix every line of output with the name of the eventscript.

CQ S1028412

LibCTDB : update the ctdb tool to use libctdb to read the recovery mode

LibCTDB : uptade the ctdb tool to use libctdb to query for the recmaster

LibCTDB : initialize ctdb->pnn to -1 when we create a new context
but before we learn the pnn of the local node

LibCTDB : initialize ctdb->pnn to -1 when we create a new context
but before we learn the pnn of the local node

LibCTDB : change the ctdb_fetch_lock_once test tool to use libctdb instead of the old client

LibCTDB : add support for getrecmode

LibCTDB : change the ctdb_fetch_lock_once test tool to use libctdb instead of the old client

LibCTDB : add support for getrecmode

LibCTDB: add commands where an application can query how many commands are active
and we have not yet received a reply to.
Applications may use this command to query if it is "safe" to stop the event system and sleep
or whether it should first wait for all activity to ctdb daemons to cease first.

ReadOnly: Check the readonly flag instead of whether the tdb pointer is NULL or not

ReadOnly: add description of readonly records

ReadOnly: clear out the tracking record once a revoke is completed

ReadOnly: When the client wants a readwrite lock but the local node is the dmaster and also have delegations active we must send a CALL to the local daemon to trigger it to revoke the delegations

ReadOnly: Change the update_record test tool to use the new fetchlock routine that can do either normal or readonly fetchlock

ReadOnly: Add a test tool that requests a readonly delegation in a loop

ReadOnly: Add a test tool to fetch a record, requesting a readonly delegation and lock the record once

ReadOnly: Add clientside code to fetch readonly records

ReadOnly: Add a ctdb_ltdb_fetch_readonly() helper function

ReadOnly: Add handlign of readonly requests readwrite requests, delegations and revoking of delegation to the processing loop for CALL requests coming in from a local client via domain socket

ReadOnly: Add processing for ReadOnly delegation requests and revoke requests to the processing loop for CALL packets we receive from different nodes.

This implements the ReadOnly and ReadWrite request processing, delegation and revoking of delegations for all requests coming in across the network from a remote node.

ReadOnly: Once recovery has finished, make sure to free all revoke child processes and trigger the destructors for all deferred calls to re-queue the original packets to the input packet processing function

ReadOnly: When releasing all deferred calls that blocked during revoke of all previous delegations, add a 1 second grace/delay for any new readonly delegation requests so that the read-write fetch-lock porcess has a chance to make progress