Eventscript functions: fix counter regression.

d362be7d32079ac1390d67056ce107bfbca2c937 wasn't well thought out.
Subsequent commits depend on ctdb_counter_init() taking an argument,
so this makes those cases work.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: ctdb_service_check-reconfigure() acts only on monitor.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: make 50.samba use $service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 60.nfs to use ctdb_service_check_reconfigure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 60.nfs to use ctdb_setup_service_state_dir.

The state directory basename becomes "nfs" rather than "statd".  One
line of code i moved from the "startup" event to service_start().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 40.vsftpd to use ctdb_service_check_reconfigure.

To simplify we also remove the reconfigure from the recovered event
because the monitor event will handle this very quickly anyway.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 41.httpd to use ctdb_service_check_reconfigure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: rejig the reconfigure infrastructure.

* Add an optional service name argument to existing reconfigure
  functions.

* User function service_reconfigure() instead of variable
  $service_reconfigure to specify how a service is reconfigured.

* New function ctdb_service_check_reconfigure() reconfigures a service
  if it is flagged for reconfigure.

* Remove $service_reconfigure settings from 40.vsftpd and 41.httpd -
  they're the defaults.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: move flagging of managed services.

Move flagging of managed or unmanaged services into
ctdb_service_start() and ctdb_service_stop().  That way services will
be correctly flagged if they are started from the startup and shutdown
events.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript function: change service_start into a function.

service_start is currently a variable.  This makes passing arguments
hard.  We change it to be a function and put default definitions into
the functions file.

We use a convention that if a service name argument is passed to a
redefined version of service_start() or service_stop() then it will
act unconditionally.  If no argument is passed then it can use
internal logic to decide if services should really be started.  This
is useful when a single eventscript handles multiple services.

This is a cherry-pick of ae38895 that needed to be reset mid-stream.
There is still some breakage following this commit.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: add optional event name argument to fail count functions.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions - optimise is_ctdb_managed_service().

This function generates a lot of trace when running under "set -x".
This is due to the backward compatibility code.

This adds 3 optimisations:

1. Before invoking the backward compatiblity code,
   is_ctdb_managed_service() returns early if the service is listed in
   $CTDB_MANAGED_SERVICES.

2. ctdb_compat_managed_service() actually now updates
   $CTDB_MANAGED_SERVICES instead of temporary variable $t.

   This means that a subsequent call to is_ctdb_managed_service() will
   short circuit due to optimisation (1).

3. ctdb_compat_managed_service() only adds a service to
   $CTDB_MANAGED_SERVICES if it is the service being checked by
   is_ctdb_managed_service().

   This stops irrelevant services being added to
   $CTDB_MANAGED_SERVICES multiple times by multiple calls to
   is_ctdb_managed_service().

Signed-off-by: Martin Schwenke <martin@meltin.net>

50.samba eventscript should use is_ctdb_managed_service "winbind".

Currently it checks $CTDB_MANAGES_WINBIND directly in several places.
This doesn't work when someone sets $CTDB_MANAGED_SERVICES directly.

This modifies check_ctdb_manages_winbind() so that it return a
condition rather than modifying $CTDB_MANAGES_WINBIND.  This makes
some code more readable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

50.samba eventscript should use is_ctdb_managed_service "samba".

Currently it checks $CTDB_MANAGES_SAMBA directly.  This doesn't work
when someone sets $CTDB_MANAGED_SERVICES directly.

Signed-off-by: Martin Schwenke <martin@meltin.net>

50.samba eventscript should stop/start services when they become (un)managed.

When the value of $CTDB_MANAGES_SAMBA or $CTDB_MANAGES_WINBIND (or
corresponding changes are made to $CTDB_MANAGED_VERSIONS), the
associated service should be started or stopped as necessary.

This add calls to ctdb_start_stop_service() to manage
starting/stopping samba and winbind.

An associated cleanup is made to the initial checks that one of
$CTDB_MANAGES_SAMBA or $CTDB_MANAGES_WINBIND is set, replacing them
with calls to is_ctdb_managed_service().

To handle the winbind cases ctdb_start_stop_service() and
is_ctdb_managed_service() are updated to take an optional service name
parameter.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Conflicts:

config/events.d/50.samba

Most of this merged elsewhere.  This just removes a check that
this is the monitor event.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add documentation for the new filesystem use monitoring

Add new eventscript 40.fs_use that can be used to monitor file system use and flag a node unhealthy when they become full

make the persistent even longer for lvs to make people even happier

increase the persistent timeout to make people happier

check the shares if they are available before we decide to try to restart nfs

CQ S1027529

Merge remote branch 'martins/eventscript.00.ctdb'

Merge branch 'eventscript.20.multipathd' into eventscript.00.ctdb

Merge remote branch 'martins/eventscript.20.multipathd'

Merge branch 'eventscript.62.cnfs' into eventscript.20.multipathd

Merge remote branch 'martins/eventscript.62.cnfs'

Merge branch 'eventscript.13.per_ip_routing' into eventscript.62.cnfs

Merge remote branch 'martins/eventscript.13.per_ip_routing'

Merge remote branch 'martins/eventscript_tests'

Merge remote branch 'martins/eventscripts_relative'

Merge remote branch 'martins/test_suite'

Evenscripts: update 61.cnfs to use ctdb_setup_service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 13.per_ip_routing to use ctdb_setup_service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 20.multipathd to use ctdb_setup_service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: fix dangerous rm -rf in 00.ctdb init event.

Also remove some unnecessary absolute paths for commands, which were
making the code slightly difficult to read.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: 00.ctdb uses $service_state_dir, neaten update_config_from_tdb().

This also fixes a bug where update_config_from_tdb() used an incorrect
filename in one place.

Signed-off-by: Martin Schwenke <martin@meltin.net>

00.ctdb eventscript removes all files from $ctdb_active_dir.

Without this you can get into a situation where ctdbd can not start.
If the active file for a service exists but the service is not
running, then trying to stop the service may fail, causing the
eventscript to exit from ctdb_start_stop_service().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Scripts: add note about not using absolute command paths to README.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add a README to the config/ subdirectory.

This includes a comment about using POSIX Bourne shell, including a
suggestion not to use "local" variables.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: new function ctdb_setup_service_state_dir().

To be used by eventscripts to create a per-service directory for their
own state data.  $service_state_dir is set to point to the new
directory.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: new functions to remember/check if service managed.

This was done ad hoc and was badly named.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge branch 'test_suite' into ronnie_target

Merge branch 'eventscript_tests' into ronnie_target

Test suite: print debug output after cluster (un)healthy flip-flop on restart.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Allow proxy_node to be specified for wait_until_node_has_status().

Default to "any"... but allow specification because sometimes it
matters...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Fix consistency in 26_ctdb_config_check_error_on_unreachable.

The test currently waits until any node thinks that the test node is
disconnected, and then uses node 0 as a proxy for testing.  However,
nodes may notice at different times that a node is disconnected, so
this test can fail unnecessarily.

We force the proxy node for the wait-until-disconnected to be the same
as the proxy node used to launch the actual tests.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Fix consistency in 09_ctdb_ping.sh.

Same problem as described in commit
283a85b42d9c0a26acb64d5abcc7f175e31e6e75.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Strip architecture suffix from CTDB RPM package version.

Later versions of RPM seem to include it but we don't want it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: remove getmonmode test.

This can't be made 100% reliable since the monitor mode can change
underneath us due to some event.  Therefore, the test is useless.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Conflicts:

tests/simple/20_ctdb_getmonmode.sh

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Try much harder to get a healthy cluster when it is restarted.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - Disable the Samba and NFS eventscript tests.

They're broken and not worth fixing without infrastructure changes so
disable them by taking away the execute bit.  This is somewhat easier
than trying to merge in all the other tests but not these ones.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - Tweak 10.interfaces 802.ad bonding test to work with current code.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Scripts: remove absolute paths from interface_modify.sh.

The "ip" command is currently run as "/sbin/ip".  This makes it
impossible to replace with a stub in unit testing.  The functions file
controls $PATH, so we don't need absolute paths.

This replaces the absolute paths...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Scripts: remove absolute paths from interface_modify.sh.

The "ip" command is currently run as "/sbin/ip".  This makes it
impossible to replace with a stub in unit testing.  The functions file
controls $PATH, so we don't need absolute paths.

This replaces the absolute paths...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - Remove local variable usage in 10.interfaces.

POSIX sh doesn't have local variables.  Debian's dash doesn't behave
the same way as bash on this contruct:

  local var=`command that produces multiple words`

It only assigns the 1st word and may print an error.

Just remove the use of the "local" keyword in monitor_interfaces() to
solve this.  It isn't actually limiting the scope of any variables
that are used outside the function.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - implement "ctdb -Y ip -v" in stub for eventscript testing.

This is pretty limited but it gets 10.interfaces tests working.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - stub ip program should assume interface name if "dev" not specified.

Currently it fails if you don't use the "dev" keyword.

This makes it behave as expected.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: source a file specified by $CTDB_RC_LOCAL in functions file.

Another unit testing hook.  This is easier than dropping files into
rc.local.d/ and then removing them.

The file has to be executable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: update tests to work with previous commit.

Issues:

* 10.monitor no longer prints a message when there is no
  public_addresses file.

* Extra bonding test added to check workaround for IEEE 802.3ad
  Dynamic link aggregation bonding mode bug.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: eventscripts and onnode tests use stubs/ subdirectory instead of bin/.

This sets up a more useful convention and avoids future .gitignore
problems.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: tweak some samba tests to cope with debug from ctdb_check_tcp_ports().

This is a bit too static.  However, it can fixed up later if it is a
hassle.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: Oops!  Add bin directory for eventscript tests.

It was matched by .gitignore.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Git should ignore tests/eventscripts/var.x

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: initial eventscript unit tests.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote-tracking branch 'origin/master' into eventscripts_relative

Eventscript functions - use $CTDB_VARDIR instead of local $ctdb_spool_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

io: Make queue_io_read() safe for reentry

queue_io_read() may be reentered via the queue callback, recoverd is
particularly guilty of this.

queue_io_read() is not safe for reentry if more than one packet is
received and partial chunks follow - data read off the pipe on re-entry
is assumed to be the start-of-packet four byte length. This leads to a
wrongly aligned stream and the notorious "Invalid packet of length 0"
errors.

This change fixes queue_io_read() to be safe under reentry, only a
single packet is processed per call.

https://bugzilla.samba.org/show_bug.cgi?id=8319

Remove a log message about setting linkstate for an unknown interface.
sometimes we do want to try to set the linkstate for interfaces that are not in use by public addresses right now (but posisbly by other mechanisms) and these messages just spam the logs

S1026357

Eventscripts - remove some more absolute paths to commands.

Signed-off-by: Martin Schwenke <martin@meltin.net>

remove log message we dont need

S1026492

remove a non-error logmessage about persistent databases being healthy, as expected

S1026492

remove a log message we dont need about "allow clients to attach to databases"

S1026492

Change the message when we start the daemon to "CTDB starting on node"

S1026492

Eventscripts - Rework the use of get_proc() for the bonding checks.

Call call_proc(), put the output into a variable and then use it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: update 60.nfs service() start to use set_proc().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: update 10.interface to use set_proc() and get_proc().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: use set_proc() in startstop_nfs().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: remove unnecessary absolute paths from external commands.

For eventscript unit testing it will be necessary to override external
commands to allow stub implementations to be used.  If absolute paths
aren't used then this can be done using either a fake bin/
subdirectory or by using shell functions.

This removes all of the simple cases of absolute paths.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Conflicts:

config/ctdb.init
config/events.d/50.samba

        Keep old code but remove absolute paths.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: new functions set_proc() and get_proc().

These provide a thin layer around writing and reading files in /proc.
They can be easily replaced by stubs for unit testing.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: remove ctdb_wait_command() and ctdb_wait_tcp_ports() functions.

These haven't been used for a long time.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote branch 'martins/test_suite'

Eventscripts: iptables() should put lock in $CTDB_VARDIR.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make Emacs recognise that the eventscript functions file is a shell script.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: add $CTDB_ETCDIR and hook service() functions.

* $CTDB_ETCDIR defaults to /etc but can be changed for testing.  All
  hard-coded instances of /etc have been changed to $CTDB_ETCDIR.
  This includes references to /etc/init.d and /etc/sysconfig.

* service() and nice_service() functions now call new function
  _service().  This makes it easier to override these functions (say,
  in rc.local) for testing and call most of the existing functionality
  using _service().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Set $CTDB_VARDIR in the functions file.

This will be needed when eventscripts that use it are called
externally.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote branch 'martins/onnode_tests'

Merge remote branch 'martins/lcp2_sim'

Test suite: when the cluster flip-flops (un)healthy, using "ctdb status -Y".

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Print debug info from cluster nodes when time jumps occur.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite:  Add debug for cluster (un)healthy flip-flop after restart.

We're seeing the cluster become healthy after a restart and then
revert to being unhealthy.  It looks like there's a race and the
cluster shouldn't have been healthy, given that we seem to see that
the monitor cycle hasn't yet been run.

This collects some state debug info from all nodes after the cluster
becomes healthy.  This is printed if the cluster is then unexpectedly
unhealthy a short time later.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: add more debug to time jump post mortem.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: add automated checking of time logs.

This depends on the format of onnode output and also depends on
simple/00_ctdb_onnode.sh having been run.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: make time log use seconds since epoch.

Easier to implement automatic checking.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: CTDB_SAMBA_SKIP_SHARE_CHECK test now uses _loadconfig().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: CTDB_NFS_SKIP_SHARE_CHECK test now uses _loadconfig().

The manual replacement of loadconfig() had bit rotted and no longer
worked.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: make time logging only happen on a real cluster, not local daemons.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: add time logging.

We're seeing some weirdness with CTDB controls timing out.  We're
wondering if time is jumping forward, so this creates a time log on
each node that we can examine later if tests fail weirdly.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: eventscripts and onnode tests use stubs/ subdirectory instead of bin/.

This sets up a more useful convention and avoids future .gitignore
problems.

Resolved conflict while cherry-picking this:

  Don't take the eventscripts files for this branch.  We'll put them
  elsewhere.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: run_tests script no longer prints filename in summary descriptions.

If filenames should be printed in descriptions in the summary then the
descriptions should include the filename.  A better option is to
include something more human-readable that makes the test just as
easily identifiable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: onnode tests changed to use a simple define_test() function.

This makes global changes easier.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: add initial onnode tests

Add some simple tests for the onnode command.  These use fake ssh and
ctdb commands that are added to $PATH.  The infrastructure used is
quite flexible and would allow more complex tests to be written.

As-is, these tests expose some bugs in the an older version of onnode
that is included so it can be used to validate some of the tests.

Signed-off-by: Martin Schwenke <martin@meltin.net>