Eventscripts: fix regression in 60.nfs export checking.

Commit 35a60a63a9b5c7d98dde514ae552239506b691c9 introduced a
regression, reported by "Jonathan Buzzard" <J.Buzzard@dundee.ac.uk>,
as follows:

  Basically the use of sed in the following code snippet does not work
  for long exports where exportfs wraps the host or network onto the
  next line.

         exportfs | grep -v '^#' | grep '^/' |
         sed -e 's/[[:space:]]*[^[:space:]]*$//' |
         ctdb_check_directories

  The result is that the you get lots of blank lines being sent to
  ctdb_check_directories which causes the host to be marked as
  unhealthy and then thrashing sets in of the managed IP's making the
  whole cluster unusable.

This tightens up the sed expression so that it is less likely to
produce a spurious empty line.  It also removes an unnecessary "grep -v".

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote branch 'martins/eventscript.10.interface'

Merge remote branch 'martins/eventscript_infrastructure'

Eventscripts: in 60.nfs move statd-notify code to service_reconfigure().

This means that it now occurs on every reconfigure event.  As a result
the ipreallocated event is removed.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - 60.nfs should define service_reconfigure().

Not $service_reconfigure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

When starting and stopping ctdb through the init-script, make sure we first clear all public ips bvefore we start the daemon, in case they are still hanging around since a previous kill -9   and also make sure we drop them after we have stopped the deamon when shutting down

CQ S1027550

Evenscripts: improvements to ctdb_service_check_reconfigure().

* Make this function applicable to "ipreallocated" event too.

* Monitor event should not always succeed just because we reconfigure.

  If the service was unhealthy before the reconfigure and we end the
  reconfigure with "exit 0" then we can cause the node's health status
  to flip-flop.

  To avoid this we return the status of the service from the previous
  monitor event.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: 50.samba - only start/stop nmbd if $CTDB_SERVICE_NMB set.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: 50.samba needs null service_reconfigure() function.

Samba doesn't need to do anything for configuration changes.  It will
notice configuration changes and reload automatically.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: 40.vsftpd service_stop() no longer /dev/null's output.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: improvements to 41.httpd.

* Reduce the failure counts so that restart attempts happen sooner.

* Use service_start() and service_stop() for the restart.
  ctdb_service_start() resets the failure count, which isn't very
  useful in this context.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: new function ctdb_check_counter().

This should eventually be able to replace ctdb_check_counter_limit()
and ctdb_check_counter_equal(), although it doesn't issue warnings
like the former.

It takes 4 optional arguments:

1. _msg - If "error" then over limit causes an error message and and
   exit 1.  Anything else fails silently but the function returns 1.
   Default is "error".

2. _op - An integer operator supported by test (e.g. -eq, -ge, -gt).
   Default is -ge.

3. _limit - Limit for the counter to be used in comparison.  Default is
   $service_fail_limit.

4. _service_name - Used to identify the counter.  Default is
   $service_name.

For example:

  ctdb_check_counter error -ge 5 foo

will print a message and exit 1 if the counter for foo is >= 5,
whereas

  ctdb_check_counter check -ge 5 foo

will just return 1 if the counter for foo is >= 5, and

  ctdb_counter_check

with print a message and exit 1 if the counter for $service_name is >=
$service_fail_limit.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: remove unused remove_ip() function.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: startstop_nfs stop no longer redirects output to /dev/null.

When stopping (as opposed to restarting) it is useful to see this
information.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: fix typo in _ctdb_counter_common().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: improve log messages in ctdb_start_stop_service().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: fix counter regression.

d362be7d32079ac1390d67056ce107bfbca2c937 wasn't well thought out.
Subsequent commits depend on ctdb_counter_init() taking an argument,
so this makes those cases work.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: ctdb_service_check-reconfigure() acts only on monitor.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: make 50.samba use $service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 60.nfs to use ctdb_service_check_reconfigure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 60.nfs to use ctdb_setup_service_state_dir.

The state directory basename becomes "nfs" rather than "statd".  One
line of code i moved from the "startup" event to service_start().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 40.vsftpd to use ctdb_service_check_reconfigure.

To simplify we also remove the reconfigure from the recovered event
because the monitor event will handle this very quickly anyway.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 41.httpd to use ctdb_service_check_reconfigure.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: rejig the reconfigure infrastructure.

* Add an optional service name argument to existing reconfigure
  functions.

* User function service_reconfigure() instead of variable
  $service_reconfigure to specify how a service is reconfigured.

* New function ctdb_service_check_reconfigure() reconfigures a service
  if it is flagged for reconfigure.

* Remove $service_reconfigure settings from 40.vsftpd and 41.httpd -
  they're the defaults.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: move flagging of managed services.

Move flagging of managed or unmanaged services into
ctdb_service_start() and ctdb_service_stop().  That way services will
be correctly flagged if they are started from the startup and shutdown
events.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript function: change service_start into a function.

service_start is currently a variable.  This makes passing arguments
hard.  We change it to be a function and put default definitions into
the functions file.

We use a convention that if a service name argument is passed to a
redefined version of service_start() or service_stop() then it will
act unconditionally.  If no argument is passed then it can use
internal logic to decide if services should really be started.  This
is useful when a single eventscript handles multiple services.

This is a cherry-pick of ae38895 that needed to be reset mid-stream.
There is still some breakage following this commit.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: add optional event name argument to fail count functions.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions - optimise is_ctdb_managed_service().

This function generates a lot of trace when running under "set -x".
This is due to the backward compatibility code.

This adds 3 optimisations:

1. Before invoking the backward compatiblity code,
   is_ctdb_managed_service() returns early if the service is listed in
   $CTDB_MANAGED_SERVICES.

2. ctdb_compat_managed_service() actually now updates
   $CTDB_MANAGED_SERVICES instead of temporary variable $t.

   This means that a subsequent call to is_ctdb_managed_service() will
   short circuit due to optimisation (1).

3. ctdb_compat_managed_service() only adds a service to
   $CTDB_MANAGED_SERVICES if it is the service being checked by
   is_ctdb_managed_service().

   This stops irrelevant services being added to
   $CTDB_MANAGED_SERVICES multiple times by multiple calls to
   is_ctdb_managed_service().

Signed-off-by: Martin Schwenke <martin@meltin.net>

50.samba eventscript should use is_ctdb_managed_service "winbind".

Currently it checks $CTDB_MANAGES_WINBIND directly in several places.
This doesn't work when someone sets $CTDB_MANAGED_SERVICES directly.

This modifies check_ctdb_manages_winbind() so that it return a
condition rather than modifying $CTDB_MANAGES_WINBIND.  This makes
some code more readable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

50.samba eventscript should use is_ctdb_managed_service "samba".

Currently it checks $CTDB_MANAGES_SAMBA directly.  This doesn't work
when someone sets $CTDB_MANAGED_SERVICES directly.

Signed-off-by: Martin Schwenke <martin@meltin.net>

50.samba eventscript should stop/start services when they become (un)managed.

When the value of $CTDB_MANAGES_SAMBA or $CTDB_MANAGES_WINBIND (or
corresponding changes are made to $CTDB_MANAGED_VERSIONS), the
associated service should be started or stopped as necessary.

This add calls to ctdb_start_stop_service() to manage
starting/stopping samba and winbind.

An associated cleanup is made to the initial checks that one of
$CTDB_MANAGES_SAMBA or $CTDB_MANAGES_WINBIND is set, replacing them
with calls to is_ctdb_managed_service().

To handle the winbind cases ctdb_start_stop_service() and
is_ctdb_managed_service() are updated to take an optional service name
parameter.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Conflicts:

config/events.d/50.samba

Most of this merged elsewhere.  This just removes a check that
this is the monitor event.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add documentation for the new filesystem use monitoring

Add new eventscript 40.fs_use that can be used to monitor file system use and flag a node unhealthy when they become full

make the persistent even longer for lvs to make people even happier

increase the persistent timeout to make people happier

check the shares if they are available before we decide to try to restart nfs

CQ S1027529

Eventscripts - fix 10.interface bash incompatibility.

In dash, this fails gracefully with nothing to stderr:

  t=$(cat /does_not_exist) 2>/dev/null

In bash the error from cat is still printed due to different order of
evaluation.

This works everywhere:

  t=$(cat /does_not_exist 2>/dev/null)

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote branch 'martins/eventscript.00.ctdb'

Merge branch 'eventscript.20.multipathd' into eventscript.00.ctdb

Merge remote branch 'martins/eventscript.20.multipathd'

Merge branch 'eventscript.62.cnfs' into eventscript.20.multipathd

Merge remote branch 'martins/eventscript.62.cnfs'

Merge branch 'eventscript.13.per_ip_routing' into eventscript.62.cnfs

Merge remote branch 'martins/eventscript.13.per_ip_routing'

Merge remote branch 'martins/eventscript_tests'

Merge remote branch 'martins/eventscripts_relative'

Merge remote branch 'martins/test_suite'

Evenscripts: update 61.cnfs to use ctdb_setup_service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 13.per_ip_routing to use ctdb_setup_service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Evenscripts: update 20.multipathd to use ctdb_setup_service_state_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: fix dangerous rm -rf in 00.ctdb init event.

Also remove some unnecessary absolute paths for commands, which were
making the code slightly difficult to read.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: 00.ctdb uses $service_state_dir, neaten update_config_from_tdb().

This also fixes a bug where update_config_from_tdb() used an incorrect
filename in one place.

Signed-off-by: Martin Schwenke <martin@meltin.net>

00.ctdb eventscript removes all files from $ctdb_active_dir.

Without this you can get into a situation where ctdbd can not start.
If the active file for a service exists but the service is not
running, then trying to stop the service may fail, causing the
eventscript to exit from ctdb_start_stop_service().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Scripts: add note about not using absolute command paths to README.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Add a README to the config/ subdirectory.

This includes a comment about using POSIX Bourne shell, including a
suggestion not to use "local" variables.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: new function ctdb_setup_service_state_dir().

To be used by eventscripts to create a per-service directory for their
own state data.  $service_state_dir is set to point to the new
directory.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: new functions to remember/check if service managed.

This was done ad hoc and was badly named.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge branch 'test_suite' into ronnie_target

Merge branch 'eventscript_tests' into ronnie_target

Test suite: print debug output after cluster (un)healthy flip-flop on restart.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Allow proxy_node to be specified for wait_until_node_has_status().

Default to "any"... but allow specification because sometimes it
matters...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Fix consistency in 26_ctdb_config_check_error_on_unreachable.

The test currently waits until any node thinks that the test node is
disconnected, and then uses node 0 as a proxy for testing.  However,
nodes may notice at different times that a node is disconnected, so
this test can fail unnecessarily.

We force the proxy node for the wait-until-disconnected to be the same
as the proxy node used to launch the actual tests.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Fix consistency in 09_ctdb_ping.sh.

Same problem as described in commit
283a85b42d9c0a26acb64d5abcc7f175e31e6e75.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Strip architecture suffix from CTDB RPM package version.

Later versions of RPM seem to include it but we don't want it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: remove getmonmode test.

This can't be made 100% reliable since the monitor mode can change
underneath us due to some event.  Therefore, the test is useless.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Conflicts:

tests/simple/20_ctdb_getmonmode.sh

Signed-off-by: Martin Schwenke <martin@meltin.net>

Test suite: Try much harder to get a healthy cluster when it is restarted.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - Disable the Samba and NFS eventscript tests.

They're broken and not worth fixing without infrastructure changes so
disable them by taking away the execute bit.  This is somewhat easier
than trying to merge in all the other tests but not these ones.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - Tweak 10.interfaces 802.ad bonding test to work with current code.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Scripts: remove absolute paths from interface_modify.sh.

The "ip" command is currently run as "/sbin/ip".  This makes it
impossible to replace with a stub in unit testing.  The functions file
controls $PATH, so we don't need absolute paths.

This replaces the absolute paths...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Scripts: remove absolute paths from interface_modify.sh.

The "ip" command is currently run as "/sbin/ip".  This makes it
impossible to replace with a stub in unit testing.  The functions file
controls $PATH, so we don't need absolute paths.

This replaces the absolute paths...

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts - Remove local variable usage in 10.interfaces.

POSIX sh doesn't have local variables.  Debian's dash doesn't behave
the same way as bash on this contruct:

  local var=`command that produces multiple words`

It only assigns the 1st word and may print an error.

Just remove the use of the "local" keyword in monitor_interfaces() to
solve this.  It isn't actually limiting the scope of any variables
that are used outside the function.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - implement "ctdb -Y ip -v" in stub for eventscript testing.

This is pretty limited but it gets 10.interfaces tests working.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests - stub ip program should assume interface name if "dev" not specified.

Currently it fails if you don't use the "dev" keyword.

This makes it behave as expected.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: source a file specified by $CTDB_RC_LOCAL in functions file.

Another unit testing hook.  This is easier than dropping files into
rc.local.d/ and then removing them.

The file has to be executable.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: update tests to work with previous commit.

Issues:

* 10.monitor no longer prints a message when there is no
  public_addresses file.

* Extra bonding test added to check workaround for IEEE 802.3ad
  Dynamic link aggregation bonding mode bug.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: eventscripts and onnode tests use stubs/ subdirectory instead of bin/.

This sets up a more useful convention and avoids future .gitignore
problems.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: tweak some samba tests to cope with debug from ctdb_check_tcp_ports().

This is a bit too static.  However, it can fixed up later if it is a
hassle.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: Oops!  Add bin directory for eventscript tests.

It was matched by .gitignore.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Git should ignore tests/eventscripts/var.x

Signed-off-by: Martin Schwenke <martin@meltin.net>

Tests: initial eventscript unit tests.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote-tracking branch 'origin/master' into eventscripts_relative

Eventscript functions - use $CTDB_VARDIR instead of local $ctdb_spool_dir.

Signed-off-by: Martin Schwenke <martin@meltin.net>

io: Make queue_io_read() safe for reentry

queue_io_read() may be reentered via the queue callback, recoverd is
particularly guilty of this.

queue_io_read() is not safe for reentry if more than one packet is
received and partial chunks follow - data read off the pipe on re-entry
is assumed to be the start-of-packet four byte length. This leads to a
wrongly aligned stream and the notorious "Invalid packet of length 0"
errors.

This change fixes queue_io_read() to be safe under reentry, only a
single packet is processed per call.

https://bugzilla.samba.org/show_bug.cgi?id=8319

Remove a log message about setting linkstate for an unknown interface.
sometimes we do want to try to set the linkstate for interfaces that are not in use by public addresses right now (but posisbly by other mechanisms) and these messages just spam the logs

S1026357

Eventscripts - remove some more absolute paths to commands.

Signed-off-by: Martin Schwenke <martin@meltin.net>

remove log message we dont need

S1026492

remove a non-error logmessage about persistent databases being healthy, as expected

S1026492

remove a log message we dont need about "allow clients to attach to databases"

S1026492

Change the message when we start the daemon to "CTDB starting on node"

S1026492

Eventscripts - Rework the use of get_proc() for the bonding checks.

Call call_proc(), put the output into a variable and then use it.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: update 60.nfs service() start to use set_proc().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: update 10.interface to use set_proc() and get_proc().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: use set_proc() in startstop_nfs().

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: remove unnecessary absolute paths from external commands.

For eventscript unit testing it will be necessary to override external
commands to allow stub implementations to be used.  If absolute paths
aren't used then this can be done using either a fake bin/
subdirectory or by using shell functions.

This removes all of the simple cases of absolute paths.

Signed-off-by: Martin Schwenke <martin@meltin.net>
Conflicts:

config/ctdb.init
config/events.d/50.samba

        Keep old code but remove absolute paths.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: new functions set_proc() and get_proc().

These provide a thin layer around writing and reading files in /proc.
They can be easily replaced by stubs for unit testing.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscripts: remove ctdb_wait_command() and ctdb_wait_tcp_ports() functions.

These haven't been used for a long time.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Merge remote branch 'martins/test_suite'

Eventscripts: iptables() should put lock in $CTDB_VARDIR.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Make Emacs recognise that the eventscript functions file is a shell script.

Signed-off-by: Martin Schwenke <martin@meltin.net>

Eventscript functions: add $CTDB_ETCDIR and hook service() functions.

* $CTDB_ETCDIR defaults to /etc but can be changed for testing.  All
  hard-coded instances of /etc have been changed to $CTDB_ETCDIR.
  This includes references to /etc/init.d and /etc/sysconfig.

* service() and nice_service() functions now call new function
  _service().  This makes it easier to override these functions (say,
  in rc.local) for testing and call most of the existing functionality
  using _service().

Signed-off-by: Martin Schwenke <martin@meltin.net>