tools/ctdb.c

   1 /*
   2    ctdb control tool
   3
   4    Copyright (C) Andrew Tridgell  2007
   5    Copyright (C) Ronnie Sahlberg  2007
   6
   7    This program is free software; you can redistribute it and/or modify
   8    it under the terms of the GNU General Public License as published by
   9    the Free Software Foundation; either version 3 of the License, or
  10    (at your option) any later version.
  11
  12    This program is distributed in the hope that it will be useful,
  13    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15    GNU General Public License for more details.
  16
  17    You should have received a copy of the GNU General Public License
  18    along with this program; if not, see <http://www.gnu.org/licenses/>.
  19 */
  20
  21 #include "includes.h"
  22 #include "lib/events/events.h"
  23 #include "system/time.h"
  24 #include "system/filesys.h"
  25 #include "system/network.h"
  26 #include "system/locale.h"
  27 #include "popt.h"
  28 #include "cmdline.h"
  29 #include "../include/ctdb.h"
  30 #include "../include/ctdb_private.h"
  31 #include "../common/rb_tree.h"
  32
  33 static void usage(void);
  34
  35 static struct {
  36         int timelimit;
  37         uint32_t pnn;
  38         int machinereadable;
  39         int maxruntime;
  40 } options;
  41
  42 #define TIMELIMIT() timeval_current_ofs(options.timelimit, 0)
  43
  44 #ifdef CTDB_VERS
  45 static int control_version(struct ctdb_context *ctdb, int argc, const char **argv)
  46 {
  47 #define STR(x) #x
  48 #define XSTR(x) STR(x)
  49         printf("CTDB version: %s\n", XSTR(CTDB_VERS));
  50         return 0;
  51 }
  52 #endif
  53
  54 /*
  55   see if a process exists
  56  */
  57 static int control_process_exists(struct ctdb_context *ctdb, int argc, const char **argv)
  58 {
  59         uint32_t pnn, pid;
  60         int ret;
  61         if (argc < 1) {
  62                 usage();
  63         }
  64
  65         if (sscanf(argv[0], "%u:%u", &pnn, &pid) != 2) {
  66                 DEBUG(DEBUG_ERR, ("Badly formed pnn:pid\n"));
  67                 return -1;
  68         }
  69
  70         ret = ctdb_ctrl_process_exists(ctdb, pnn, pid);
  71         if (ret == 0) {
  72                 printf("%u:%u exists\n", pnn, pid);
  73         } else {
  74                 printf("%u:%u does not exist\n", pnn, pid);
  75         }
  76         return ret;
  77 }
  78
  79 /*
  80   display statistics structure
  81  */
  82 static void show_statistics(struct ctdb_statistics *s)
  83 {
  84         TALLOC_CTX *tmp_ctx = talloc_new(NULL);
  85         int i;
  86         const char *prefix=NULL;
  87         int preflen=0;
  88         const struct {
  89                 const char *name;
  90                 uint32_t offset;
  91         } fields[] = {
  92 #define STATISTICS_FIELD(n) { #n, offsetof(struct ctdb_statistics, n) }
  93                 STATISTICS_FIELD(num_clients),
  94                 STATISTICS_FIELD(frozen),
  95                 STATISTICS_FIELD(recovering),
  96                 STATISTICS_FIELD(client_packets_sent),
  97                 STATISTICS_FIELD(client_packets_recv),
  98                 STATISTICS_FIELD(node_packets_sent),
  99                 STATISTICS_FIELD(node_packets_recv),
 100                 STATISTICS_FIELD(keepalive_packets_sent),
 101                 STATISTICS_FIELD(keepalive_packets_recv),
 102                 STATISTICS_FIELD(node.req_call),
 103                 STATISTICS_FIELD(node.reply_call),
 104                 STATISTICS_FIELD(node.req_dmaster),
 105                 STATISTICS_FIELD(node.reply_dmaster),
 106                 STATISTICS_FIELD(node.reply_error),
 107                 STATISTICS_FIELD(node.req_message),
 108                 STATISTICS_FIELD(node.req_control),
 109                 STATISTICS_FIELD(node.reply_control),
 110                 STATISTICS_FIELD(client.req_call),
 111                 STATISTICS_FIELD(client.req_message),
 112                 STATISTICS_FIELD(client.req_control),
 113                 STATISTICS_FIELD(timeouts.call),
 114                 STATISTICS_FIELD(timeouts.control),
 115                 STATISTICS_FIELD(timeouts.traverse),
 116                 STATISTICS_FIELD(total_calls),
 117                 STATISTICS_FIELD(pending_calls),
 118                 STATISTICS_FIELD(lockwait_calls),
 119                 STATISTICS_FIELD(pending_lockwait_calls),
 120                 STATISTICS_FIELD(memory_used),
 121                 STATISTICS_FIELD(max_hop_count),
 122         };
 123         printf("CTDB version %u\n", CTDB_VERSION);
 124         for (i=0;i<ARRAY_SIZE(fields);i++) {
 125                 if (strchr(fields[i].name, '.')) {
 126                         preflen = strcspn(fields[i].name, ".")+1;
 127                         if (!prefix || strncmp(prefix, fields[i].name, preflen) != 0) {
 128                                 prefix = fields[i].name;
 129                                 printf(" %*.*s\n", preflen-1, preflen-1, fields[i].name);
 130                         }
 131                 } else {
 132                         preflen = 0;
 133                 }
 134                 printf(" %*s%-22s%*s%10u\n",
 135                        preflen?4:0, "",
 136                        fields[i].name+preflen,
 137                        preflen?0:4, "",
 138                        *(uint32_t *)(fields[i].offset+(uint8_t *)s));
 139         }
 140         printf(" %-30s     %.6f sec\n", "max_call_latency", s->max_call_latency);
 141         printf(" %-30s     %.6f sec\n", "max_lockwait_latency", s->max_lockwait_latency);
 142         talloc_free(tmp_ctx);
 143 }
 144
 145 /*
 146   display remote ctdb statistics combined from all nodes
 147  */
 148 static int control_statistics_all(struct ctdb_context *ctdb)
 149 {
 150         int ret, i;
 151         struct ctdb_statistics statistics;
 152         uint32_t *nodes;
 153         uint32_t num_nodes;
 154
 155         nodes = ctdb_get_connected_nodes(ctdb, TIMELIMIT(), ctdb, &num_nodes);
 156         CTDB_NO_MEMORY(ctdb, nodes);
 157
 158         ZERO_STRUCT(statistics);
 159
 160         for (i=0;i<num_nodes;i++) {
 161                 struct ctdb_statistics s1;
 162                 int j;
 163                 uint32_t *v1 = (uint32_t *)&s1;
 164                 uint32_t *v2 = (uint32_t *)&statistics;
 165                 uint32_t num_ints =
 166                         offsetof(struct ctdb_statistics, __last_counter) / sizeof(uint32_t);
 167                 ret = ctdb_ctrl_statistics(ctdb, nodes[i], &s1);
 168                 if (ret != 0) {
 169                         DEBUG(DEBUG_ERR, ("Unable to get statistics from node %u\n", nodes[i]));
 170                         return ret;
 171                 }
 172                 for (j=0;j<num_ints;j++) {
 173                         v2[j] += v1[j];
 174                 }
 175                 statistics.max_hop_count =
 176                         MAX(statistics.max_hop_count, s1.max_hop_count);
 177                 statistics.max_call_latency =
 178                         MAX(statistics.max_call_latency, s1.max_call_latency);
 179                 statistics.max_lockwait_latency =
 180                         MAX(statistics.max_lockwait_latency, s1.max_lockwait_latency);
 181         }
 182         talloc_free(nodes);
 183         printf("Gathered statistics for %u nodes\n", num_nodes);
 184         show_statistics(&statistics);
 185         return 0;
 186 }
 187
 188 /*
 189   display remote ctdb statistics
 190  */
 191 static int control_statistics(struct ctdb_context *ctdb, int argc, const char **argv)
 192 {
 193         int ret;
 194         struct ctdb_statistics statistics;
 195
 196         if (options.pnn == CTDB_BROADCAST_ALL) {
 197                 return control_statistics_all(ctdb);
 198         }
 199
 200         ret = ctdb_ctrl_statistics(ctdb, options.pnn, &statistics);
 201         if (ret != 0) {
 202                 DEBUG(DEBUG_ERR, ("Unable to get statistics from node %u\n", options.pnn));
 203                 return ret;
 204         }
 205         show_statistics(&statistics);
 206         return 0;
 207 }
 208
 209
 210 /*
 211   reset remote ctdb statistics
 212  */
 213 static int control_statistics_reset(struct ctdb_context *ctdb, int argc, const char **argv)
 214 {
 215         int ret;
 216
 217         ret = ctdb_statistics_reset(ctdb, options.pnn);
 218         if (ret != 0) {
 219                 DEBUG(DEBUG_ERR, ("Unable to reset statistics on node %u\n", options.pnn));
 220                 return ret;
 221         }
 222         return 0;
 223 }
 224
 225
 226 /*
 227   display uptime of remote node
 228  */
 229 static int control_uptime(struct ctdb_context *ctdb, int argc, const char **argv)
 230 {
 231         int ret;
 232         int mypnn;
 233         struct ctdb_uptime *uptime = NULL;
 234         int tmp, days, hours, minutes, seconds;
 235
 236         mypnn = ctdb_ctrl_getpnn(ctdb, TIMELIMIT(), options.pnn);
 237         if (mypnn == -1) {
 238                 return -1;
 239         }
 240
 241         ret = ctdb_ctrl_uptime(ctdb, ctdb, TIMELIMIT(), options.pnn, &uptime);
 242         if (ret != 0) {
 243                 DEBUG(DEBUG_ERR, ("Unable to get uptime from node %u\n", options.pnn));
 244                 return ret;
 245         }
 246
 247         if (options.machinereadable){
 248                 printf(":Current Node Time:Ctdb Start Time:Last Recovery Time:\n");
 249                 printf(":%u:%u:%u:\n",
 250                         (unsigned int)uptime->current_time.tv_sec,
 251                         (unsigned int)uptime->ctdbd_start_time.tv_sec,
 252                         (unsigned int)uptime->last_recovery_time.tv_sec);
 253                 return 0;
 254         }
 255
 256         printf("Current time of node  : %s", ctime(&uptime->current_time.tv_sec));
 257
 258         tmp = uptime->current_time.tv_sec - uptime->ctdbd_start_time.tv_sec;
 259         seconds = tmp%60;
 260         tmp    /= 60;
 261         minutes = tmp%60;
 262         tmp    /= 60;
 263         hours   = tmp%24;
 264         tmp    /= 24;
 265         days    = tmp;
 266         printf("Ctdbd start time      : (%03d %02d:%02d:%02d) %s", days, hours, minutes, seconds, ctime(&uptime->ctdbd_start_time.tv_sec));
 267
 268         tmp = uptime->current_time.tv_sec - uptime->last_recovery_time.tv_sec;
 269         seconds = tmp%60;
 270         tmp    /= 60;
 271         minutes = tmp%60;
 272         tmp    /= 60;
 273         hours   = tmp%24;
 274         tmp    /= 24;
 275         days    = tmp;
 276         printf("Time of last recovery : (%03d %02d:%02d:%02d) %s", days, hours, minutes, seconds, ctime(&uptime->last_recovery_time.tv_sec));
 277
 278         return 0;
 279 }
 280
 281 /*
 282   display remote ctdb status
 283  */
 284 static int control_status(struct ctdb_context *ctdb, int argc, const char **argv)
 285 {
 286         int i, ret;
 287         struct ctdb_vnn_map *vnnmap=NULL;
 288         struct ctdb_node_map *nodemap=NULL;
 289         uint32_t recmode, recmaster;
 290         int mypnn;
 291
 292         mypnn = ctdb_ctrl_getpnn(ctdb, TIMELIMIT(), options.pnn);
 293         if (mypnn == -1) {
 294                 return -1;
 295         }
 296
 297         ret = ctdb_ctrl_getnodemap(ctdb, TIMELIMIT(), options.pnn, ctdb, &nodemap);
 298         if (ret != 0) {
 299                 DEBUG(DEBUG_ERR, ("Unable to get nodemap from node %u\n", options.pnn));
 300                 return ret;
 301         }
 302
 303         if(options.machinereadable){
 304                 printf(":Node:IP:Disconnected:Banned:Disabled:Unhealthy:\n");
 305                 for(i=0;i<nodemap->num;i++){
 306                         printf(":%d:%s:%d:%d:%d:%d:\n", nodemap->nodes[i].pnn,
 307                                 inet_ntoa(nodemap->nodes[i].sin.sin_addr),
 308                                !!(nodemap->nodes[i].flags&NODE_FLAGS_DISCONNECTED),
 309                                !!(nodemap->nodes[i].flags&NODE_FLAGS_BANNED),
 310                                !!(nodemap->nodes[i].flags&NODE_FLAGS_PERMANENTLY_DISABLED),
 311                                !!(nodemap->nodes[i].flags&NODE_FLAGS_UNHEALTHY));
 312                 }
 313                 return 0;
 314         }
 315
 316         printf("Number of nodes:%d\n", nodemap->num);
 317         for(i=0;i<nodemap->num;i++){
 318                 static const struct {
 319                         uint32_t flag;
 320                         const char *name;
 321                 } flag_names[] = {
 322                         { NODE_FLAGS_DISCONNECTED,          "DISCONNECTED" },
 323                         { NODE_FLAGS_PERMANENTLY_DISABLED,  "DISABLED" },
 324                         { NODE_FLAGS_BANNED,                "BANNED" },
 325                         { NODE_FLAGS_UNHEALTHY,             "UNHEALTHY" },
 326                 };
 327                 char *flags_str = NULL;
 328                 int j;
 329                 for (j=0;j<ARRAY_SIZE(flag_names);j++) {
 330                         if (nodemap->nodes[i].flags & flag_names[j].flag) {
 331                                 if (flags_str == NULL) {
 332                                         flags_str = talloc_strdup(ctdb, flag_names[j].name);
 333                                 } else {
 334                                         flags_str = talloc_asprintf_append(flags_str, "|%s",
 335                                                                            flag_names[j].name);
 336                                 }
 337                                 CTDB_NO_MEMORY_FATAL(ctdb, flags_str);
 338                         }
 339                 }
 340                 if (flags_str == NULL) {
 341                         flags_str = talloc_strdup(ctdb, "OK");
 342                         CTDB_NO_MEMORY_FATAL(ctdb, flags_str);
 343                 }
 344                 printf("pnn:%d %-16s %s%s\n", nodemap->nodes[i].pnn,
 345                        inet_ntoa(nodemap->nodes[i].sin.sin_addr),
 346                        flags_str,
 347                        nodemap->nodes[i].pnn == mypnn?" (THIS NODE)":"");
 348                 talloc_free(flags_str);
 349         }
 350
 351         ret = ctdb_ctrl_getvnnmap(ctdb, TIMELIMIT(), options.pnn, ctdb, &vnnmap);
 352         if (ret != 0) {
 353                 DEBUG(DEBUG_ERR, ("Unable to get vnnmap from node %u\n", options.pnn));
 354                 return ret;
 355         }
 356         if (vnnmap->generation == INVALID_GENERATION) {
 357                 printf("Generation:INVALID\n");
 358         } else {
 359                 printf("Generation:%d\n",vnnmap->generation);
 360         }
 361         printf("Size:%d\n",vnnmap->size);
 362         for(i=0;i<vnnmap->size;i++){
 363                 printf("hash:%d lmaster:%d\n", i, vnnmap->map[i]);
 364         }
 365
 366         ret = ctdb_ctrl_getrecmode(ctdb, ctdb, TIMELIMIT(), options.pnn, &recmode);
 367         if (ret != 0) {
 368                 DEBUG(DEBUG_ERR, ("Unable to get recmode from node %u\n", options.pnn));
 369                 return ret;
 370         }
 371         printf("Recovery mode:%s (%d)\n",recmode==CTDB_RECOVERY_NORMAL?"NORMAL":"RECOVERY",recmode);
 372
 373         ret = ctdb_ctrl_getrecmaster(ctdb, ctdb, TIMELIMIT(), options.pnn, &recmaster);
 374         if (ret != 0) {
 375                 DEBUG(DEBUG_ERR, ("Unable to get recmaster from node %u\n", options.pnn));
 376                 return ret;
 377         }
 378         printf("Recovery master:%d\n",recmaster);
 379
 380         return 0;
 381 }
 382
 383 /*
 384   get a list of all tickles for this pnn
 385  */
 386 static int control_get_tickles(struct ctdb_context *ctdb, int argc, const char **argv)
 387 {
 388         struct ctdb_control_tcp_tickle_list *list;
 389         struct sockaddr_in ip;
 390         int i, ret;
 391
 392         if (argc < 1) {
 393                 usage();
 394         }
 395
 396         ip.sin_family = AF_INET;
 397         if (inet_aton(argv[0], &ip.sin_addr) == 0) {
 398                 DEBUG(DEBUG_ERR,("Wrongly formed ip address '%s'\n", argv[0]));
 399                 return -1;
 400         }
 401
 402         ret = ctdb_ctrl_get_tcp_tickles(ctdb, TIMELIMIT(), options.pnn, ctdb, &ip, &list);
 403         if (ret == -1) {
 404                 DEBUG(DEBUG_ERR, ("Unable to list tickles\n"));
 405                 return -1;
 406         }
 407
 408         printf("Tickles for ip:%s\n", inet_ntoa(list->ip.sin_addr));
 409         printf("Num tickles:%u\n", list->tickles.num);
 410         for (i=0;i<list->tickles.num;i++) {
 411                 printf("SRC: %s:%u   ", inet_ntoa(list->tickles.connections[i].saddr.sin_addr), ntohs(list->tickles.connections[i].saddr.sin_port));
 412                 printf("DST: %s:%u\n", inet_ntoa(list->tickles.connections[i].daddr.sin_addr), ntohs(list->tickles.connections[i].daddr.sin_port));
 413         }
 414
 415         talloc_free(list);
 416
 417         return 0;
 418 }
 419
 420 /* send a release ip to all nodes */
 421 static int control_send_release(struct ctdb_context *ctdb, uint32_t pnn,
 422 struct sockaddr_in *sin)
 423 {
 424         int ret;
 425         struct ctdb_public_ip pip;
 426         TDB_DATA data;
 427         struct ctdb_node_map *nodemap=NULL;
 428
 429         ret = ctdb_ctrl_getnodemap(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE, ctdb, &nodemap);
 430         if (ret != 0) {
 431                 DEBUG(DEBUG_ERR, ("Unable to get nodemap from local node\n"));
 432                 return ret;
 433         }
 434
 435         /* send a moveip message to the recovery master */
 436         pip.pnn = pnn;
 437         pip.sin.sin_family = AF_INET;
 438         pip.sin.sin_addr   = sin->sin_addr;
 439         data.dsize = sizeof(pip);
 440         data.dptr = (unsigned char *)&pip;
 441
 442
 443         /* send release ip to all nodes */
 444         if (ctdb_client_async_control(ctdb, CTDB_CONTROL_RELEASE_IP,
 445                         list_of_active_nodes(ctdb, nodemap, ctdb, true),
 446                         TIMELIMIT(), false, data) != 0) {
 447                 DEBUG(DEBUG_ERR, (__location__ " Unable to send 'ReleaseIP' to all nodes.\n"));
 448                 return -1;
 449         }
 450
 451         return 0;
 452 }
 453
 454 /*
 455   move/failover an ip address to a specific node
 456  */
 457 static int control_moveip(struct ctdb_context *ctdb, int argc, const char **argv)
 458 {
 459         uint32_t pnn;
 460         struct sockaddr_in ip;
 461         uint32_t value;
 462         struct ctdb_all_public_ips *ips;
 463         int i, ret;
 464
 465         if (argc < 2) {
 466                 usage();
 467         }
 468
 469         ip.sin_family = AF_INET;
 470         if (inet_aton(argv[0], &ip.sin_addr) == 0) {
 471                 DEBUG(DEBUG_ERR,("Wrongly formed ip address '%s'\n", argv[0]));
 472                 return -1;
 473         }
 474
 475
 476         if (sscanf(argv[1], "%u", &pnn) != 1) {
 477                 DEBUG(DEBUG_ERR, ("Badly formed pnn\n"));
 478                 return -1;
 479         }
 480
 481         ret = ctdb_ctrl_get_tunable(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE, "DeterministicIPs", &value);
 482         if (ret == -1) {
 483                 DEBUG(DEBUG_ERR, ("Unable to get tunable variable 'DeterministicIPs' from local node\n"));
 484                 return -1;
 485         }
 486         if (value != 0) {
 487                 DEBUG(DEBUG_ERR, ("The tunable 'DeterministicIPs' is set. You can only move ip addresses when this feature is disabled\n"));
 488                 return -1;
 489         }
 490
 491         ret = ctdb_ctrl_get_tunable(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE, "NoIPFailback", &value);
 492         if (ret == -1) {
 493                 DEBUG(DEBUG_ERR, ("Unable to get tunable variable 'NoIPFailback' from local node\n"));
 494                 return -1;
 495         }
 496         if (value == 0) {
 497                 DEBUG(DEBUG_ERR, ("The tunable 'NoIPFailback' is NOT set. You can only move ip addresses when this feature is enabled\n"));
 498                 return -1;
 499         }
 500
 501         /* read the public ip list from the node */
 502         ret = ctdb_ctrl_get_public_ips(ctdb, TIMELIMIT(), pnn, ctdb, &ips);
 503         if (ret != 0) {
 504                 DEBUG(DEBUG_ERR, ("Unable to get public ip list from node %u\n", pnn));
 505                 return -1;
 506         }
 507
 508         for (i=0;i<ips->num;i++) {
 509                 if (ctdb_same_ip(&ip, &ips->ips[i].sin)) {
 510                         break;
 511                 }
 512         }
 513         if (i==ips->num) {
 514                 DEBUG(DEBUG_ERR, ("Node %u can not host ip address '%s'\n",
 515                         pnn, inet_ntoa(ip.sin_addr)));
 516                 return -1;
 517         }
 518         if (ips->ips[i].pnn == pnn) {
 519                 DEBUG(DEBUG_ERR, ("Host %u is already hosting '%s'\n",
 520                         pnn, inet_ntoa(ips->ips[i].sin.sin_addr)));
 521                 return -1;
 522         }
 523
 524         ret = control_send_release(ctdb, pnn, &ips->ips[i].sin);
 525         if (ret != 0) {
 526                 DEBUG(DEBUG_ERR, ("Failed to send 'change ip' to all nodes\n"));;
 527                 return -1;
 528         }
 529
 530         return 0;
 531 }
 532
 533 struct node_ip {
 534         uint32_t pnn;
 535         struct sockaddr_in sin;
 536 };
 537
 538 void getips_store_callback(void *param, void *data)
 539 {
 540         struct node_ip *node_ip = (struct node_ip *)data;
 541         struct ctdb_all_public_ips *ips = param;
 542         int i;
 543
 544         i = ips->num++;
 545         ips->ips[i].pnn = node_ip->pnn;
 546         ips->ips[i].sin = node_ip->sin;
 547 }
 548
 549 void getips_count_callback(void *param, void *data)
 550 {
 551         uint32_t *count = param;
 552
 553         (*count)++;
 554 }
 555
 556 static int
 557 control_get_all_public_ips(struct ctdb_context *ctdb, TALLOC_CTX *tmp_ctx, struct ctdb_all_public_ips **ips)
 558 {
 559         struct ctdb_all_public_ips *tmp_ips;
 560         struct ctdb_node_map *nodemap=NULL;
 561         trbt_tree_t *tree;
 562         int i, j, len, ret;
 563         uint32_t count;
 564
 565         ret = ctdb_ctrl_getnodemap(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE, tmp_ctx, &nodemap);
 566         if (ret != 0) {
 567                 DEBUG(DEBUG_ERR, ("Unable to get nodemap from node %u\n", options.pnn));
 568                 return ret;
 569         }
 570
 571         tree = trbt_create(tmp_ctx, 0);
 572
 573         for(i=0;i<nodemap->num;i++){
 574                 if (nodemap->nodes[i].flags & NODE_FLAGS_DISCONNECTED) {
 575                         continue;
 576                 }
 577
 578                 /* read the public ip list from this node */
 579                 ret = ctdb_ctrl_get_public_ips(ctdb, TIMELIMIT(), nodemap->nodes[i].pnn, tmp_ctx, &tmp_ips);
 580                 if (ret != 0) {
 581                         DEBUG(DEBUG_ERR, ("Unable to get public ip list from node %u\n", nodemap->nodes[i].pnn));
 582                         return -1;
 583                 }
 584
 585                 for (j=0; j<tmp_ips->num;j++) {
 586                         struct node_ip *node_ip;
 587
 588                         node_ip = talloc(tmp_ctx, struct node_ip);
 589                         node_ip->pnn = tmp_ips->ips[j].pnn;
 590                         node_ip->sin = tmp_ips->ips[j].sin;
 591
 592                         trbt_insert32(tree, tmp_ips->ips[j].sin.sin_addr.s_addr, node_ip);
 593                 }
 594                 talloc_free(tmp_ips);
 595         }
 596
 597         /* traverse */
 598         count = 0;
 599         trbt_traversearray32(tree, 1, getips_count_callback, &count);
 600
 601         len = offsetof(struct ctdb_all_public_ips, ips) +
 602                 count*sizeof(struct ctdb_public_ip);
 603         tmp_ips = talloc_zero_size(tmp_ctx, len);
 604         trbt_traversearray32(tree, 1, getips_store_callback, tmp_ips);
 605
 606         *ips = tmp_ips;
 607
 608         return 0;
 609 }
 610
 611
 612 /*
 613  * scans all other nodes and returns a pnn for another node that can host this
 614  * ip address or -1
 615  */
 616 static int
 617 find_other_host_for_public_ip(struct ctdb_context *ctdb, struct sockaddr_in *addr)
 618 {
 619         TALLOC_CTX *tmp_ctx = talloc_new(ctdb);
 620         struct ctdb_all_public_ips *ips;
 621         struct ctdb_node_map *nodemap=NULL;
 622         int i, j, ret;
 623
 624         ret = ctdb_ctrl_getnodemap(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE, tmp_ctx, &nodemap);
 625         if (ret != 0) {
 626                 DEBUG(DEBUG_ERR, ("Unable to get nodemap from node %u\n", options.pnn));
 627                 talloc_free(tmp_ctx);
 628                 return ret;
 629         }
 630
 631         for(i=0;i<nodemap->num;i++){
 632                 if (nodemap->nodes[i].flags & NODE_FLAGS_DISCONNECTED) {
 633                         continue;
 634                 }
 635                 if (nodemap->nodes[i].pnn == options.pnn) {
 636                         continue;
 637                 }
 638
 639                 /* read the public ip list from this node */
 640                 ret = ctdb_ctrl_get_public_ips(ctdb, TIMELIMIT(), nodemap->nodes[i].pnn, tmp_ctx, &ips);
 641                 if (ret != 0) {
 642                         DEBUG(DEBUG_ERR, ("Unable to get public ip list from node %u\n", nodemap->nodes[i].pnn));
 643                         return -1;
 644                 }
 645
 646                 for (j=0;j<ips->num;j++) {
 647                         if (ctdb_same_ip(addr, &ips->ips[j].sin)) {
 648                                 talloc_free(tmp_ctx);
 649                                 return nodemap->nodes[i].pnn;
 650                         }
 651                 }
 652                 talloc_free(ips);
 653         }
 654
 655         talloc_free(tmp_ctx);
 656         return -1;
 657 }
 658
 659 /*
 660   add a public ip address to a node
 661  */
 662 static int control_addip(struct ctdb_context *ctdb, int argc, const char **argv)
 663 {
 664         int i, ret;
 665         int len;
 666         unsigned mask;
 667         struct sockaddr_in addr;
 668         struct ctdb_control_ip_iface *pub;
 669         TALLOC_CTX *tmp_ctx = talloc_new(ctdb);
 670         struct ctdb_all_public_ips *ips;
 671
 672         if (argc != 2) {
 673                 talloc_free(tmp_ctx);
 674                 usage();
 675         }
 676
 677         if (!parse_ip_mask(argv[0], &addr, &mask)) {
 678                 DEBUG(DEBUG_ERR, ("Badly formed ip/mask : %s\n", argv[0]));
 679                 talloc_free(tmp_ctx);
 680                 return -1;
 681         }
 682
 683         ret = control_get_all_public_ips(ctdb, tmp_ctx, &ips);
 684         if (ret != 0) {
 685                 DEBUG(DEBUG_ERR, ("Unable to get public ip list from cluster\n"));
 686                 talloc_free(tmp_ctx);
 687                 return ret;
 688         }
 689
 690
 691         len = offsetof(struct ctdb_control_ip_iface, iface) + strlen(argv[1]) + 1;
 692         pub = talloc_size(tmp_ctx, len);
 693         CTDB_NO_MEMORY(ctdb, pub);
 694
 695         pub->sin   = addr;
 696         pub->mask  = mask;
 697         pub->len   = strlen(argv[1])+1;
 698         memcpy(&pub->iface[0], argv[1], strlen(argv[1])+1);
 699
 700         ret = ctdb_ctrl_add_public_ip(ctdb, TIMELIMIT(), options.pnn, pub);
 701         if (ret != 0) {
 702                 DEBUG(DEBUG_ERR, ("Unable to add public ip to node %u\n", options.pnn));
 703                 talloc_free(tmp_ctx);
 704                 return ret;
 705         }
 706
 707
 708         /* check if some other node is already serving this ip, if not,
 709          * we will claim it
 710          */
 711         for (i=0;i<ips->num;i++) {
 712                 if (ctdb_same_ip(&addr, &ips->ips[i].sin)) {
 713                         break;
 714                 }
 715         }
 716         /* no one has this ip so we claim it */
 717         if (i == ips->num) {
 718                 ret = control_send_release(ctdb, options.pnn, &addr);
 719         } else {
 720                 ret = control_send_release(ctdb, ips->ips[i].pnn, &addr);
 721         }
 722
 723         if (ret != 0) {
 724                 DEBUG(DEBUG_ERR, ("Failed to send 'change ip' to all nodes\n"));
 725                 return -1;
 726         }
 727
 728         talloc_free(tmp_ctx);
 729         return 0;
 730 }
 731
 732 /*
 733   delete a public ip address from a node
 734  */
 735 static int control_delip(struct ctdb_context *ctdb, int argc, const char **argv)
 736 {
 737         int i, ret;
 738         struct sockaddr_in addr;
 739         struct ctdb_control_ip_iface pub;
 740         TALLOC_CTX *tmp_ctx = talloc_new(ctdb);
 741         struct ctdb_all_public_ips *ips;
 742
 743         if (argc != 1) {
 744                 talloc_free(tmp_ctx);
 745                 usage();
 746         }
 747
 748         addr.sin_family = AF_INET;
 749         if (inet_aton(argv[0], &addr.sin_addr) == 0) {
 750                 DEBUG(DEBUG_ERR,("Wrongly formed ip address '%s'\n", argv[0]));
 751                 return -1;
 752         }
 753
 754         pub.sin   = addr;
 755         pub.mask  = 0;
 756         pub.len   = 0;
 757
 758         ret = ctdb_ctrl_get_public_ips(ctdb, TIMELIMIT(), options.pnn, tmp_ctx, &ips);
 759         if (ret != 0) {
 760                 DEBUG(DEBUG_ERR, ("Unable to get public ip list from cluster\n"));
 761                 talloc_free(tmp_ctx);
 762                 return ret;
 763         }
 764
 765         for (i=0;i<ips->num;i++) {
 766                 if (ctdb_same_ip(&addr, &ips->ips[i].sin)) {
 767                         break;
 768                 }
 769         }
 770
 771         if (i==ips->num) {
 772                 DEBUG(DEBUG_ERR, ("This node does not support this public address '%s'\n",
 773                         inet_ntoa(addr.sin_addr)));
 774                 talloc_free(tmp_ctx);
 775                 return -1;
 776         }
 777
 778         if (ips->ips[i].pnn == options.pnn) {
 779                 ret = find_other_host_for_public_ip(ctdb, &addr);
 780                 if (ret != -1) {
 781                         ret = control_send_release(ctdb, ret, &addr);
 782                         if (ret != 0) {
 783                                 DEBUG(DEBUG_ERR, ("Failed to migrate this ip to another node. Use moveip of recover to reassign this address to a node\n"));
 784                         }
 785                 }
 786         }
 787
 788         ret = ctdb_ctrl_del_public_ip(ctdb, TIMELIMIT(), options.pnn, &pub);
 789         if (ret != 0) {
 790                 DEBUG(DEBUG_ERR, ("Unable to del public ip from node %u\n", options.pnn));
 791                 talloc_free(tmp_ctx);
 792                 return ret;
 793         }
 794
 795         talloc_free(tmp_ctx);
 796         return 0;
 797 }
 798
 799 /*
 800   kill a tcp connection
 801  */
 802 static int kill_tcp(struct ctdb_context *ctdb, int argc, const char **argv)
 803 {
 804         int ret;
 805         struct ctdb_control_killtcp killtcp;
 806
 807         if (argc < 2) {
 808                 usage();
 809         }
 810
 811         if (!parse_ip_port(argv[0], &killtcp.src)) {
 812                 DEBUG(DEBUG_ERR, ("Bad IP:port '%s'\n", argv[0]));
 813                 return -1;
 814         }
 815
 816         if (!parse_ip_port(argv[1], &killtcp.dst)) {
 817                 DEBUG(DEBUG_ERR, ("Bad IP:port '%s'\n", argv[1]));
 818                 return -1;
 819         }
 820
 821         ret = ctdb_ctrl_killtcp(ctdb, TIMELIMIT(), options.pnn, &killtcp);
 822         if (ret != 0) {
 823                 DEBUG(DEBUG_ERR, ("Unable to killtcp from node %u\n", options.pnn));
 824                 return ret;
 825         }
 826
 827         return 0;
 828 }
 829
 830
 831 /*
 832   send a gratious arp
 833  */
 834 static int control_gratious_arp(struct ctdb_context *ctdb, int argc, const char **argv)
 835 {
 836         int ret;
 837         struct sockaddr_in sin;
 838
 839         if (argc < 2) {
 840                 usage();
 841         }
 842
 843         sin.sin_family = AF_INET;
 844         if (inet_aton(argv[0], &sin.sin_addr) == 0) {
 845                 DEBUG(DEBUG_ERR,("Wrongly formed ip address '%s'\n", argv[0]));
 846                 return -1;
 847         }
 848
 849         ret = ctdb_ctrl_gratious_arp(ctdb, TIMELIMIT(), options.pnn, &sin, argv[1]);
 850         if (ret != 0) {
 851                 DEBUG(DEBUG_ERR, ("Unable to send gratious_arp from node %u\n", options.pnn));
 852                 return ret;
 853         }
 854
 855         return 0;
 856 }
 857
 858 /*
 859   register a server id
 860  */
 861 static int regsrvid(struct ctdb_context *ctdb, int argc, const char **argv)
 862 {
 863         int ret;
 864         struct ctdb_server_id server_id;
 865
 866         if (argc < 3) {
 867                 usage();
 868         }
 869
 870         server_id.pnn       = strtoul(argv[0], NULL, 0);
 871         server_id.type      = strtoul(argv[1], NULL, 0);
 872         server_id.server_id = strtoul(argv[2], NULL, 0);
 873
 874         ret = ctdb_ctrl_register_server_id(ctdb, TIMELIMIT(), &server_id);
 875         if (ret != 0) {
 876                 DEBUG(DEBUG_ERR, ("Unable to register server_id from node %u\n", options.pnn));
 877                 return ret;
 878         }
 879         return -1;
 880 }
 881
 882 /*
 883   unregister a server id
 884  */
 885 static int unregsrvid(struct ctdb_context *ctdb, int argc, const char **argv)
 886 {
 887         int ret;
 888         struct ctdb_server_id server_id;
 889
 890         if (argc < 3) {
 891                 usage();
 892         }
 893
 894         server_id.pnn       = strtoul(argv[0], NULL, 0);
 895         server_id.type      = strtoul(argv[1], NULL, 0);
 896         server_id.server_id = strtoul(argv[2], NULL, 0);
 897
 898         ret = ctdb_ctrl_unregister_server_id(ctdb, TIMELIMIT(), &server_id);
 899         if (ret != 0) {
 900                 DEBUG(DEBUG_ERR, ("Unable to unregister server_id from node %u\n", options.pnn));
 901                 return ret;
 902         }
 903         return -1;
 904 }
 905
 906 /*
 907   check if a server id exists
 908  */
 909 static int chksrvid(struct ctdb_context *ctdb, int argc, const char **argv)
 910 {
 911         uint32_t status;
 912         int ret;
 913         struct ctdb_server_id server_id;
 914
 915         if (argc < 3) {
 916                 usage();
 917         }
 918
 919         server_id.pnn       = strtoul(argv[0], NULL, 0);
 920         server_id.type      = strtoul(argv[1], NULL, 0);
 921         server_id.server_id = strtoul(argv[2], NULL, 0);
 922
 923         ret = ctdb_ctrl_check_server_id(ctdb, TIMELIMIT(), options.pnn, &server_id, &status);
 924         if (ret != 0) {
 925                 DEBUG(DEBUG_ERR, ("Unable to check server_id from node %u\n", options.pnn));
 926                 return ret;
 927         }
 928
 929         if (status) {
 930                 printf("Server id %d:%d:%d EXISTS\n", server_id.pnn, server_id.type, server_id.server_id);
 931         } else {
 932                 printf("Server id %d:%d:%d does NOT exist\n", server_id.pnn, server_id.type, server_id.server_id);
 933         }
 934         return 0;
 935 }
 936
 937 /*
 938   get a list of all server ids that are registered on a node
 939  */
 940 static int getsrvids(struct ctdb_context *ctdb, int argc, const char **argv)
 941 {
 942         int i, ret;
 943         struct ctdb_server_id_list *server_ids;
 944
 945         ret = ctdb_ctrl_get_server_id_list(ctdb, ctdb, TIMELIMIT(), options.pnn, &server_ids);
 946         if (ret != 0) {
 947                 DEBUG(DEBUG_ERR, ("Unable to get server_id list from node %u\n", options.pnn));
 948                 return ret;
 949         }
 950
 951         for (i=0; i<server_ids->num; i++) {
 952                 printf("Server id %d:%d:%d\n",
 953                         server_ids->server_ids[i].pnn,
 954                         server_ids->server_ids[i].type,
 955                         server_ids->server_ids[i].server_id);
 956         }
 957
 958         return -1;
 959 }
 960
 961 /*
 962   send a tcp tickle ack
 963  */
 964 static int tickle_tcp(struct ctdb_context *ctdb, int argc, const char **argv)
 965 {
 966         int s, ret;
 967         struct sockaddr_in src, dst;
 968
 969         if (argc < 2) {
 970                 usage();
 971         }
 972
 973         if (!parse_ip_port(argv[0], &src)) {
 974                 DEBUG(DEBUG_ERR, ("Bad IP:port '%s'\n", argv[0]));
 975                 return -1;
 976         }
 977
 978         if (!parse_ip_port(argv[1], &dst)) {
 979                 DEBUG(DEBUG_ERR, ("Bad IP:port '%s'\n", argv[1]));
 980                 return -1;
 981         }
 982
 983         s = ctdb_sys_open_sending_socket();
 984         if (s == -1) {
 985                 DEBUG(DEBUG_ERR, ("Failed to open socket for sending tickle\n"));
 986                 return 0;
 987         }
 988
 989         ret = ctdb_sys_send_tcp(s, &src, &dst, 0, 0, 0);
 990         close(s);
 991         if (ret==0) {
 992                 return 0;
 993         }
 994         DEBUG(DEBUG_ERR, ("Error while sending tickle ack\n"));
 995
 996         return -1;
 997 }
 998
 999
1000 /*
1001   display public ip status
1002  */
1003 static int control_ip(struct ctdb_context *ctdb, int argc, const char **argv)
1004 {
1005         int i, ret;
1006         TALLOC_CTX *tmp_ctx = talloc_new(ctdb);
1007         struct ctdb_all_public_ips *ips;
1008
1009         if (options.pnn == CTDB_BROADCAST_ALL) {
1010                 /* read the list of public ips from all nodes */
1011                 ret = control_get_all_public_ips(ctdb, tmp_ctx, &ips);
1012         } else {
1013                 /* read the public ip list from this node */
1014                 ret = ctdb_ctrl_get_public_ips(ctdb, TIMELIMIT(), options.pnn, tmp_ctx, &ips);
1015         }
1016         if (ret != 0) {
1017                 DEBUG(DEBUG_ERR, ("Unable to get public ips from node %u\n", options.pnn));
1018                 talloc_free(tmp_ctx);
1019                 return ret;
1020         }
1021
1022         if (options.machinereadable){
1023                 printf(":Public IP:Node:\n");
1024         } else {
1025                 if (options.pnn == CTDB_BROADCAST_ALL) {
1026                         printf("Public IPs on ALL nodes\n");
1027                 } else {
1028                         printf("Public IPs on node %u\n", options.pnn);
1029                 }
1030         }
1031
1032         for (i=1;i<=ips->num;i++) {
1033                 if (options.machinereadable){
1034                         printf(":%s:%d:\n", inet_ntoa(ips->ips[ips->num-i].sin.sin_addr), ips->ips[ips->num-i].pnn);
1035                 } else {
1036                         printf("%s %d\n", inet_ntoa(ips->ips[ips->num-i].sin.sin_addr), ips->ips[ips->num-i].pnn);
1037                 }
1038         }
1039
1040         talloc_free(tmp_ctx);
1041         return 0;
1042 }
1043
1044 /*
1045   display pid of a ctdb daemon
1046  */
1047 static int control_getpid(struct ctdb_context *ctdb, int argc, const char **argv)
1048 {
1049         uint32_t pid;
1050         int ret;
1051
1052         ret = ctdb_ctrl_getpid(ctdb, TIMELIMIT(), options.pnn, &pid);
1053         if (ret != 0) {
1054                 DEBUG(DEBUG_ERR, ("Unable to get daemon pid from node %u\n", options.pnn));
1055                 return ret;
1056         }
1057         printf("Pid:%d\n", pid);
1058
1059         return 0;
1060 }
1061
1062 /*
1063   disable a remote node
1064  */
1065 static int control_disable(struct ctdb_context *ctdb, int argc, const char **argv)
1066 {
1067         int ret;
1068
1069         ret = ctdb_ctrl_modflags(ctdb, TIMELIMIT(), options.pnn, NODE_FLAGS_PERMANENTLY_DISABLED, 0);
1070         if (ret != 0) {
1071                 DEBUG(DEBUG_ERR, ("Unable to disable node %u\n", options.pnn));
1072                 return ret;
1073         }
1074
1075         return 0;
1076 }
1077
1078 /*
1079   enable a disabled remote node
1080  */
1081 static int control_enable(struct ctdb_context *ctdb, int argc, const char **argv)
1082 {
1083         int ret;
1084
1085         ret = ctdb_ctrl_modflags(ctdb, TIMELIMIT(), options.pnn, 0, NODE_FLAGS_PERMANENTLY_DISABLED);
1086         if (ret != 0) {
1087                 DEBUG(DEBUG_ERR, ("Unable to enable node %u\n", options.pnn));
1088                 return ret;
1089         }
1090
1091         return 0;
1092 }
1093
1094 /*
1095   ban a node from the cluster
1096  */
1097 static int control_ban(struct ctdb_context *ctdb, int argc, const char **argv)
1098 {
1099         int ret;
1100         struct ctdb_ban_info b;
1101         TDB_DATA data;
1102         uint32_t ban_time;
1103
1104         if (argc < 1) {
1105                 usage();
1106         }
1107
1108         ban_time = strtoul(argv[0], NULL, 0);
1109
1110         b.pnn = options.pnn;
1111         b.ban_time = ban_time;
1112
1113         data.dptr = (uint8_t *)&b;
1114         data.dsize = sizeof(b);
1115
1116         ret = ctdb_send_message(ctdb, options.pnn, CTDB_SRVID_BAN_NODE, data);
1117         if (ret != 0) {
1118                 DEBUG(DEBUG_ERR,("Failed to ban node %u\n", options.pnn));
1119                 return -1;
1120         }
1121
1122         return 0;
1123 }
1124
1125
1126 /*
1127   unban a node from the cluster
1128  */
1129 static int control_unban(struct ctdb_context *ctdb, int argc, const char **argv)
1130 {
1131         int ret;
1132         TDB_DATA data;
1133
1134         data.dptr = (uint8_t *)&options.pnn;
1135         data.dsize = sizeof(uint32_t);
1136
1137         ret = ctdb_send_message(ctdb, options.pnn, CTDB_SRVID_UNBAN_NODE, data);
1138         if (ret != 0) {
1139                 DEBUG(DEBUG_ERR,("Failed to to unban node %u\n", options.pnn));
1140                 return -1;
1141         }
1142
1143         return 0;
1144 }
1145
1146
1147 /*
1148   shutdown a daemon
1149  */
1150 static int control_shutdown(struct ctdb_context *ctdb, int argc, const char **argv)
1151 {
1152         int ret;
1153
1154         ret = ctdb_ctrl_shutdown(ctdb, TIMELIMIT(), options.pnn);
1155         if (ret != 0) {
1156                 DEBUG(DEBUG_ERR, ("Unable to shutdown node %u\n", options.pnn));
1157                 return ret;
1158         }
1159
1160         return 0;
1161 }
1162
1163 /*
1164   trigger a recovery
1165  */
1166 static int control_recover(struct ctdb_context *ctdb, int argc, const char **argv)
1167 {
1168         int ret;
1169
1170         ret = ctdb_ctrl_freeze(ctdb, TIMELIMIT(), options.pnn);
1171         if (ret != 0) {
1172                 DEBUG(DEBUG_ERR, ("Unable to freeze node\n"));
1173                 return ret;
1174         }
1175
1176         ret = ctdb_ctrl_setrecmode(ctdb, TIMELIMIT(), options.pnn, CTDB_RECOVERY_ACTIVE);
1177         if (ret != 0) {
1178                 DEBUG(DEBUG_ERR, ("Unable to set recovery mode\n"));
1179                 return ret;
1180         }
1181
1182         return 0;
1183 }
1184
1185
1186 /*
1187   display monitoring mode of a remote node
1188  */
1189 static int control_getmonmode(struct ctdb_context *ctdb, int argc, const char **argv)
1190 {
1191         uint32_t monmode;
1192         int ret;
1193
1194         ret = ctdb_ctrl_getmonmode(ctdb, TIMELIMIT(), options.pnn, &monmode);
1195         if (ret != 0) {
1196                 DEBUG(DEBUG_ERR, ("Unable to get monmode from node %u\n", options.pnn));
1197                 return ret;
1198         }
1199         printf("Monitoring mode:%s (%d)\n",monmode==CTDB_MONITORING_ACTIVE?"ACTIVE":"DISABLED",monmode);
1200
1201         return 0;
1202 }
1203
1204
1205 /*
1206   disable monitoring on a  node
1207  */
1208 static int control_disable_monmode(struct ctdb_context *ctdb, int argc, const char **argv)
1209 {
1210
1211         int ret;
1212
1213         ret = ctdb_ctrl_disable_monmode(ctdb, TIMELIMIT(), options.pnn);
1214         if (ret != 0) {
1215                 DEBUG(DEBUG_ERR, ("Unable to disable monmode on node %u\n", options.pnn));
1216                 return ret;
1217         }
1218         printf("Monitoring mode:%s\n","DISABLED");
1219
1220         return 0;
1221 }
1222
1223 /*
1224   enable monitoring on a  node
1225  */
1226 static int control_enable_monmode(struct ctdb_context *ctdb, int argc, const char **argv)
1227 {
1228
1229         int ret;
1230
1231         ret = ctdb_ctrl_enable_monmode(ctdb, TIMELIMIT(), options.pnn);
1232         if (ret != 0) {
1233                 DEBUG(DEBUG_ERR, ("Unable to enable monmode on node %u\n", options.pnn));
1234                 return ret;
1235         }
1236         printf("Monitoring mode:%s\n","ACTIVE");
1237
1238         return 0;
1239 }
1240
1241 /*
1242   display remote list of keys/data for a db
1243  */
1244 static int control_catdb(struct ctdb_context *ctdb, int argc, const char **argv)
1245 {
1246         const char *db_name;
1247         struct ctdb_db_context *ctdb_db;
1248         int ret;
1249
1250         if (argc < 1) {
1251                 usage();
1252         }
1253
1254         db_name = argv[0];
1255         ctdb_db = ctdb_attach(ctdb, db_name, false);
1256
1257         if (ctdb_db == NULL) {
1258                 DEBUG(DEBUG_ERR,("Unable to attach to database '%s'\n", db_name));
1259                 return -1;
1260         }
1261
1262         /* traverse and dump the cluster tdb */
1263         ret = ctdb_dump_db(ctdb_db, stdout);
1264         if (ret == -1) {
1265                 DEBUG(DEBUG_ERR, ("Unable to dump database\n"));
1266                 return -1;
1267         }
1268         talloc_free(ctdb_db);
1269
1270         printf("Dumped %d records\n", ret);
1271         return 0;
1272 }
1273
1274
1275 /*
1276   display a list of the databases on a remote ctdb
1277  */
1278 static int control_getdbmap(struct ctdb_context *ctdb, int argc, const char **argv)
1279 {
1280         int i, ret;
1281         struct ctdb_dbid_map *dbmap=NULL;
1282
1283         ret = ctdb_ctrl_getdbmap(ctdb, TIMELIMIT(), options.pnn, ctdb, &dbmap);
1284         if (ret != 0) {
1285                 DEBUG(DEBUG_ERR, ("Unable to get dbids from node %u\n", options.pnn));
1286                 return ret;
1287         }
1288
1289         printf("Number of databases:%d\n", dbmap->num);
1290         for(i=0;i<dbmap->num;i++){
1291                 const char *path;
1292                 const char *name;
1293                 bool persistent;
1294
1295                 ctdb_ctrl_getdbpath(ctdb, TIMELIMIT(), options.pnn, dbmap->dbs[i].dbid, ctdb, &path);
1296                 ctdb_ctrl_getdbname(ctdb, TIMELIMIT(), options.pnn, dbmap->dbs[i].dbid, ctdb, &name);
1297                 persistent = dbmap->dbs[i].persistent;
1298                 printf("dbid:0x%08x name:%s path:%s %s\n", dbmap->dbs[i].dbid, name,
1299                        path, persistent?"PERSISTENT":"");
1300         }
1301
1302         return 0;
1303 }
1304
1305 /*
1306   get the filename of the reclock file
1307  */
1308 static int control_getreclock(struct ctdb_context *ctdb, int argc, const char **argv)
1309 {
1310         int i, ret, fd;
1311         const char *reclock;
1312         struct ctdb_node_map *nodemap=NULL;
1313         char *pnnfile;
1314
1315         ret = ctdb_ctrl_getreclock(ctdb, TIMELIMIT(), options.pnn, ctdb, &reclock);
1316         if (ret != 0) {
1317                 DEBUG(DEBUG_ERR, ("Unable to get reclock file from node %u\n", options.pnn));
1318                 return ret;
1319         }
1320
1321         ret = ctdb_ctrl_getnodemap(ctdb, TIMELIMIT(), options.pnn, ctdb, &nodemap);
1322         if (ret != 0) {
1323                 DEBUG(DEBUG_ERR, ("Unable to get nodemap from node %u\n", options.pnn));
1324                 return ret;
1325         }
1326
1327
1328         pnnfile = talloc_asprintf(ctdb, "%s.pnn", reclock);
1329         CTDB_NO_MEMORY(ctdb, pnnfile);
1330
1331         fd = open(pnnfile, O_RDONLY);
1332         if (fd == -1) {
1333                 DEBUG(DEBUG_CRIT,(__location__ " Failed to open reclock pnn file %s - (%s)\n",
1334                          pnnfile, strerror(errno)));
1335                 exit(10);
1336         }
1337
1338
1339         printf("Reclock file : %s\n", reclock);
1340         for (i=0; i<nodemap->num; i++) {
1341                 int count;
1342
1343                 count = ctdb_read_pnn_lock(fd, nodemap->nodes[i].pnn);
1344
1345                 printf("pnn:%d %-16s", nodemap->nodes[i].pnn,
1346                        inet_ntoa(nodemap->nodes[i].sin.sin_addr));
1347                 if (count == -1) {
1348                         printf(" NOT ACTIVE\n");
1349                 } else {
1350                         printf(" ACTIVE with %d connections\n", count);
1351                 }
1352         }
1353
1354         close(fd);
1355         return 0;
1356 }
1357
1358
1359 /*
1360   check if the local node is recmaster or not
1361   it will return 1 if this node is the recmaster and 0 if it is not
1362   or if the local ctdb daemon could not be contacted
1363  */
1364 static int control_isnotrecmaster(struct ctdb_context *ctdb, int argc, const char **argv)
1365 {
1366         uint32_t mypnn, recmaster;
1367         int ret;
1368
1369         mypnn = ctdb_ctrl_getpnn(ctdb, TIMELIMIT(), options.pnn);
1370         if (mypnn == -1) {
1371                 printf("Failed to get pnn of node\n");
1372                 return 1;
1373         }
1374
1375         ret = ctdb_ctrl_getrecmaster(ctdb, ctdb, TIMELIMIT(), options.pnn, &recmaster);
1376         if (ret != 0) {
1377                 printf("Failed to get the recmaster\n");
1378                 return 1;
1379         }
1380
1381         if (recmaster != mypnn) {
1382                 printf("this node is not the recmaster\n");
1383                 return 1;
1384         }
1385
1386         printf("this node is the recmaster\n");
1387         return 0;
1388 }
1389
1390 /*
1391   ping a node
1392  */
1393 static int control_ping(struct ctdb_context *ctdb, int argc, const char **argv)
1394 {
1395         int ret;
1396         struct timeval tv = timeval_current();
1397         ret = ctdb_ctrl_ping(ctdb, options.pnn);
1398         if (ret == -1) {
1399                 printf("Unable to get ping response from node %u\n", options.pnn);
1400         } else {
1401                 printf("response from %u time=%.6f sec  (%d clients)\n",
1402                        options.pnn, timeval_elapsed(&tv), ret);
1403         }
1404         return 0;
1405 }
1406
1407
1408 /*
1409   get a tunable
1410  */
1411 static int control_getvar(struct ctdb_context *ctdb, int argc, const char **argv)
1412 {
1413         const char *name;
1414         uint32_t value;
1415         int ret;
1416
1417         if (argc < 1) {
1418                 usage();
1419         }
1420
1421         name = argv[0];
1422         ret = ctdb_ctrl_get_tunable(ctdb, TIMELIMIT(), options.pnn, name, &value);
1423         if (ret == -1) {
1424                 DEBUG(DEBUG_ERR, ("Unable to get tunable variable '%s'\n", name));
1425                 return -1;
1426         }
1427
1428         printf("%-19s = %u\n", name, value);
1429         return 0;
1430 }
1431
1432 /*
1433   set a tunable
1434  */
1435 static int control_setvar(struct ctdb_context *ctdb, int argc, const char **argv)
1436 {
1437         const char *name;
1438         uint32_t value;
1439         int ret;
1440
1441         if (argc < 2) {
1442                 usage();
1443         }
1444
1445         name = argv[0];
1446         value = strtoul(argv[1], NULL, 0);
1447
1448         ret = ctdb_ctrl_set_tunable(ctdb, TIMELIMIT(), options.pnn, name, value);
1449         if (ret == -1) {
1450                 DEBUG(DEBUG_ERR, ("Unable to set tunable variable '%s'\n", name));
1451                 return -1;
1452         }
1453         return 0;
1454 }
1455
1456 /*
1457   list all tunables
1458  */
1459 static int control_listvars(struct ctdb_context *ctdb, int argc, const char **argv)
1460 {
1461         uint32_t count;
1462         const char **list;
1463         int ret, i;
1464
1465         ret = ctdb_ctrl_list_tunables(ctdb, TIMELIMIT(), options.pnn, ctdb, &list, &count);
1466         if (ret == -1) {
1467                 DEBUG(DEBUG_ERR, ("Unable to list tunable variables\n"));
1468                 return -1;
1469         }
1470
1471         for (i=0;i<count;i++) {
1472                 control_getvar(ctdb, 1, &list[i]);
1473         }
1474
1475         talloc_free(list);
1476
1477         return 0;
1478 }
1479
1480 static struct {
1481         int32_t level;
1482         const char *description;
1483 } debug_levels[] = {
1484         {DEBUG_EMERG,   "EMERG"},
1485         {DEBUG_ALERT,   "ALERT"},
1486         {DEBUG_CRIT,    "CRIT"},
1487         {DEBUG_ERR,     "ERR"},
1488         {DEBUG_WARNING, "WARNING"},
1489         {DEBUG_NOTICE,  "NOTICE"},
1490         {DEBUG_INFO,    "INFO"},
1491         {DEBUG_DEBUG,   "DEBUG"}
1492 };
1493
1494 static const char *get_debug_by_level(int32_t level)
1495 {
1496         int i;
1497
1498         for (i=0;i<ARRAY_SIZE(debug_levels);i++) {
1499                 if (debug_levels[i].level == level) {
1500                         return debug_levels[i].description;
1501                 }
1502         }
1503         return "Unknown";
1504 }
1505
1506 static int32_t get_debug_by_desc(const char *desc)
1507 {
1508         int i;
1509
1510         for (i=0;i<ARRAY_SIZE(debug_levels);i++) {
1511                 if (!strcmp(debug_levels[i].description, desc)) {
1512                         return debug_levels[i].level;
1513                 }
1514         }
1515         return DEBUG_ERR;
1516 }
1517
1518 /*
1519   display debug level on a node
1520  */
1521 static int control_getdebug(struct ctdb_context *ctdb, int argc, const char **argv)
1522 {
1523         int ret;
1524         int32_t level;
1525
1526         ret = ctdb_ctrl_get_debuglevel(ctdb, options.pnn, &level);
1527         if (ret != 0) {
1528                 DEBUG(DEBUG_ERR, ("Unable to get debuglevel response from node %u\n", options.pnn));
1529                 return ret;
1530         } else {
1531                 if (options.machinereadable){
1532                         printf(":Name:Level:\n");
1533                         printf(":%s:%d:\n",get_debug_by_level(level),level);
1534                 } else {
1535                         printf("Node %u is at debug level %s (%u)\n", options.pnn, get_debug_by_level(level), level);
1536                 }
1537         }
1538         return 0;
1539 }
1540
1541
1542 /*
1543   set debug level on a node or all nodes
1544  */
1545 static int control_setdebug(struct ctdb_context *ctdb, int argc, const char **argv)
1546 {
1547         int ret;
1548         uint32_t level;
1549
1550         if (argc < 1) {
1551                 usage();
1552         }
1553
1554         if (isalpha(argv[0][0])) {
1555                 level = get_debug_by_desc(argv[0]);
1556         } else {
1557                 level = strtoul(argv[0], NULL, 0);
1558         }
1559
1560         ret = ctdb_ctrl_set_debuglevel(ctdb, options.pnn, level);
1561         if (ret != 0) {
1562                 DEBUG(DEBUG_ERR, ("Unable to set debug level on node %u\n", options.pnn));
1563         }
1564         return 0;
1565 }
1566
1567
1568 /*
1569   freeze a node
1570  */
1571 static int control_freeze(struct ctdb_context *ctdb, int argc, const char **argv)
1572 {
1573         int ret;
1574
1575         ret = ctdb_ctrl_freeze(ctdb, TIMELIMIT(), options.pnn);
1576         if (ret != 0) {
1577                 DEBUG(DEBUG_ERR, ("Unable to freeze node %u\n", options.pnn));
1578         }
1579         return 0;
1580 }
1581
1582 /*
1583   thaw a node
1584  */
1585 static int control_thaw(struct ctdb_context *ctdb, int argc, const char **argv)
1586 {
1587         int ret;
1588
1589         ret = ctdb_ctrl_thaw(ctdb, TIMELIMIT(), options.pnn);
1590         if (ret != 0) {
1591                 DEBUG(DEBUG_ERR, ("Unable to thaw node %u\n", options.pnn));
1592         }
1593         return 0;
1594 }
1595
1596
1597 /*
1598   attach to a database
1599  */
1600 static int control_attach(struct ctdb_context *ctdb, int argc, const char **argv)
1601 {
1602         const char *db_name;
1603         struct ctdb_db_context *ctdb_db;
1604
1605         if (argc < 1) {
1606                 usage();
1607         }
1608         db_name = argv[0];
1609
1610         ctdb_db = ctdb_attach(ctdb, db_name, false);
1611         if (ctdb_db == NULL) {
1612                 DEBUG(DEBUG_ERR,("Unable to attach to database '%s'\n", db_name));
1613                 return -1;
1614         }
1615
1616         return 0;
1617 }
1618
1619 /*
1620   dump memory usage
1621  */
1622 static int control_eventscript(struct ctdb_context *ctdb, int argc, const char **argv)
1623 {
1624         TDB_DATA data;
1625         int ret;
1626         int32_t res;
1627         char *errmsg;
1628         TALLOC_CTX *tmp_ctx = talloc_new(ctdb);
1629
1630         if (argc != 1) {
1631                 DEBUG(DEBUG_ERR,("Invalid arguments\n"));
1632                 return -1;
1633         }
1634
1635         data.dptr = (unsigned char *)discard_const(argv[0]);
1636         data.dsize = strlen((char *)data.dptr) + 1;
1637
1638         DEBUG(DEBUG_ERR, ("Running eventscripts with arguments \"%s\" on node %u\n", data.dptr, options.pnn));
1639
1640         ret = ctdb_control(ctdb, options.pnn, 0, CTDB_CONTROL_RUN_EVENTSCRIPTS,
1641                            0, data, tmp_ctx, NULL, &res, NULL, &errmsg);
1642         if (ret != 0 || res != 0) {
1643                 DEBUG(DEBUG_ERR,("Failed to run eventscripts - %s\n", errmsg));
1644                 talloc_free(tmp_ctx);
1645                 return -1;
1646         }
1647         talloc_free(tmp_ctx);
1648         return 0;
1649 }
1650
1651 /*
1652   dump memory usage
1653  */
1654 static int control_dumpmemory(struct ctdb_context *ctdb, int argc, const char **argv)
1655 {
1656         TDB_DATA data;
1657         int ret;
1658         int32_t res;
1659         char *errmsg;
1660         TALLOC_CTX *tmp_ctx = talloc_new(ctdb);
1661         ret = ctdb_control(ctdb, options.pnn, 0, CTDB_CONTROL_DUMP_MEMORY,
1662                            0, tdb_null, tmp_ctx, &data, &res, NULL, &errmsg);
1663         if (ret != 0 || res != 0) {
1664                 DEBUG(DEBUG_ERR,("Failed to dump memory - %s\n", errmsg));
1665                 talloc_free(tmp_ctx);
1666                 return -1;
1667         }
1668         write(1, data.dptr, data.dsize);
1669         talloc_free(tmp_ctx);
1670         return 0;
1671 }
1672
1673 /*
1674   handler for memory dumps
1675 */
1676 static void mem_dump_handler(struct ctdb_context *ctdb, uint64_t srvid,
1677                              TDB_DATA data, void *private_data)
1678 {
1679         write(1, data.dptr, data.dsize);
1680         exit(0);
1681 }
1682
1683 /*
1684   dump memory usage on the recovery daemon
1685  */
1686 static int control_rddumpmemory(struct ctdb_context *ctdb, int argc, const char **argv)
1687 {
1688         int ret;
1689         TDB_DATA data;
1690         struct rd_memdump_reply rd;
1691
1692         rd.pnn = ctdb_ctrl_getpnn(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE);
1693         if (rd.pnn == -1) {
1694                 DEBUG(DEBUG_ERR, ("Failed to get pnn of local node\n"));
1695                 return -1;
1696         }
1697         rd.srvid = getpid();
1698
1699         /* register a message port for receiveing the reply so that we
1700            can receive the reply
1701         */
1702         ctdb_set_message_handler(ctdb, rd.srvid, mem_dump_handler, NULL);
1703
1704
1705         data.dptr = (uint8_t *)&rd;
1706         data.dsize = sizeof(rd);
1707
1708         ret = ctdb_send_message(ctdb, options.pnn, CTDB_SRVID_MEM_DUMP, data);
1709         if (ret != 0) {
1710                 DEBUG(DEBUG_ERR,("Failed to send memdump request message to %u\n", options.pnn));
1711                 return -1;
1712         }
1713
1714         /* this loop will terminate when we have received the reply */
1715         while (1) {
1716                 event_loop_once(ctdb->ev);
1717         }
1718
1719         return 0;
1720 }
1721
1722 /*
1723   list all nodes in the cluster
1724  */
1725 static int control_listnodes(struct ctdb_context *ctdb, int argc, const char **argv)
1726 {
1727         int i, ret;
1728         struct ctdb_node_map *nodemap=NULL;
1729
1730         ret = ctdb_ctrl_getnodemap(ctdb, TIMELIMIT(), options.pnn, ctdb, &nodemap);
1731         if (ret != 0) {
1732                 DEBUG(DEBUG_ERR, ("Unable to get nodemap from node %u\n", options.pnn));
1733                 return ret;
1734         }
1735
1736         for(i=0;i<nodemap->num;i++){
1737                 printf("%s\n", inet_ntoa(nodemap->nodes[i].sin.sin_addr));
1738         }
1739
1740         return 0;
1741 }
1742
1743 /*
1744   reload the nodes file on the local node
1745  */
1746 static int control_reload_nodes_file(struct ctdb_context *ctdb, int argc, const char **argv)
1747 {
1748         int i, ret;
1749         int mypnn;
1750         struct ctdb_node_map *nodemap=NULL;
1751
1752         mypnn = ctdb_ctrl_getpnn(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE);
1753         if (mypnn == -1) {
1754                 DEBUG(DEBUG_ERR, ("Failed to read pnn of local node\n"));
1755                 return -1;
1756         }
1757
1758         ret = ctdb_ctrl_getnodemap(ctdb, TIMELIMIT(), CTDB_CURRENT_NODE, ctdb, &nodemap);
1759         if (ret != 0) {
1760                 DEBUG(DEBUG_ERR, ("Unable to get nodemap from local node\n"));
1761                 return ret;
1762         }
1763
1764         /* reload the nodes file on all remote nodes */
1765         for (i=0;i<nodemap->num;i++) {
1766                 if (nodemap->nodes[i].pnn == mypnn) {
1767                         continue;
1768                 }
1769                 DEBUG(DEBUG_NOTICE, ("Reloading nodes file on node %u\n", nodemap->nodes[i].pnn));
1770                 ret = ctdb_ctrl_reload_nodes_file(ctdb, TIMELIMIT(),
1771                         nodemap->nodes[i].pnn);
1772                 if (ret != 0) {
1773                         DEBUG(DEBUG_ERR, ("ERROR: Failed to reload nodes file on node %u. You MUST fix that node manually!\n", nodemap->nodes[i].pnn));
1774                 }
1775         }
1776
1777         /* reload the nodes file on the local node */
1778         DEBUG(DEBUG_NOTICE, ("Reloading nodes file on node %u\n", mypnn));
1779         ret = ctdb_ctrl_reload_nodes_file(ctdb, TIMELIMIT(), mypnn);
1780         if (ret != 0) {
1781                 DEBUG(DEBUG_ERR, ("ERROR: Failed to reload nodes file on node %u. You MUST fix that node manually!\n", mypnn));
1782         }
1783
1784         return 0;
1785 }
1786
1787
1788 static const struct {
1789         const char *name;
1790         int (*fn)(struct ctdb_context *, int, const char **);
1791         bool auto_all;
1792         const char *msg;
1793         const char *args;
1794 } ctdb_commands[] = {
1795 #ifdef CTDB_VERS
1796         { "version",         control_version,           true,  "show version of ctdb" },
1797 #endif
1798         { "status",          control_status,            true,  "show node status" },
1799         { "uptime",          control_uptime,            true,  "show node uptime" },
1800         { "ping",            control_ping,              true,  "ping all nodes" },
1801         { "getvar",          control_getvar,            true,  "get a tunable variable",               "<name>"},
1802         { "setvar",          control_setvar,            true,  "set a tunable variable",               "<name> <value>"},
1803         { "listvars",        control_listvars,          true,  "list tunable variables"},
1804         { "statistics",      control_statistics,        false, "show statistics" },
1805         { "statisticsreset", control_statistics_reset,  true,  "reset statistics"},
1806         { "ip",              control_ip,                false,  "show which public ip's that ctdb manages" },
1807         { "process-exists",  control_process_exists,    true,  "check if a process exists on a node",  "<pid>"},
1808         { "getdbmap",        control_getdbmap,          true,  "show the database map" },
1809         { "catdb",           control_catdb,             true,  "dump a database" ,                     "<dbname>"},
1810         { "getmonmode",      control_getmonmode,        true,  "show monitoring mode" },
1811         { "disablemonitor",      control_disable_monmode,        true,  "set monitoring mode to DISABLE" },
1812         { "enablemonitor",      control_enable_monmode,        true,  "set monitoring mode to ACTIVE" },
1813         { "setdebug",        control_setdebug,          true,  "set debug level",                      "<EMERG|ALERT|CRIT|ERR|WARNING|NOTICE|INFO|DEBUG>" },
1814         { "getdebug",        control_getdebug,          true,  "get debug level" },
1815         { "attach",          control_attach,            true,  "attach to a database",                 "<dbname>" },
1816         { "dumpmemory",      control_dumpmemory,        true,  "dump memory map to stdout" },
1817         { "rddumpmemory",    control_rddumpmemory,      true,  "dump memory map from the recovery daemon to stdout" },
1818         { "getpid",          control_getpid,            true,  "get ctdbd process ID" },
1819         { "disable",         control_disable,           true,  "disable a nodes public IP" },
1820         { "enable",          control_enable,            true,  "enable a nodes public IP" },
1821         { "ban",             control_ban,               true,  "ban a node from the cluster",          "<bantime|0>"},
1822         { "unban",           control_unban,             true,  "unban a node from the cluster" },
1823         { "shutdown",        control_shutdown,          true,  "shutdown ctdbd" },
1824         { "recover",         control_recover,           true,  "force recovery" },
1825         { "freeze",          control_freeze,            true,  "freeze all databases" },
1826         { "thaw",            control_thaw,              true,  "thaw all databases" },
1827         { "isnotrecmaster",  control_isnotrecmaster,    false,  "check if the local node is recmaster or not" },
1828         { "killtcp",         kill_tcp,                  false, "kill a tcp connection.", "<srcip:port> <dstip:port>" },
1829         { "gratiousarp",     control_gratious_arp,      false, "send a gratious arp", "<ip> <interface>" },
1830         { "tickle",          tickle_tcp,                false, "send a tcp tickle ack", "<srcip:port> <dstip:port>" },
1831         { "gettickles",      control_get_tickles,       false, "get the list of tickles registered for this ip", "<ip>" },
1832
1833         { "regsrvid",        regsrvid,                  false, "register a server id", "<pnn> <type> <id>" },
1834         { "unregsrvid",      unregsrvid,                false, "unregister a server id", "<pnn> <type> <id>" },
1835         { "chksrvid",        chksrvid,                  false, "check if a server id exists", "<pnn> <type> <id>" },
1836         { "getsrvids",       getsrvids,                 false, "get a list of all server ids"},
1837         { "vacuum",          ctdb_vacuum,               false, "vacuum the databases of empty records", "[max_records]"},
1838         { "repack",          ctdb_repack,               false, "repack all databases", "[max_freelist]"},
1839         { "listnodes",       control_listnodes,         false, "list all nodes in the cluster"},
1840         { "reloadnodes",     control_reload_nodes_file,         false, "reload the nodes file and restart the transport on all nodes"},
1841         { "getreclock",      control_getreclock,        false,  "get the path to the reclock file" },
1842         { "moveip",          control_moveip,            false, "move/failover an ip address to another node", "<ip> <node>"},
1843         { "addip",           control_addip,             true, "add a ip address to a node", "<ip/mask> <iface>"},
1844         { "delip",           control_delip,             false, "delete an ip address from a node", "<ip>"},
1845         { "eventscript",     control_eventscript,       true, "run the eventscript with the given parameters on a node", "<arguments>"},
1846 };
1847
1848 /*
1849   show usage message
1850  */
1851 static void usage(void)
1852 {
1853         int i;
1854         printf(
1855 "Usage: ctdb [options] <control>\n" \
1856 "Options:\n" \
1857 "   -n <node>          choose node number, or 'all' (defaults to local node)\n"
1858 "   -Y                 generate machinereadable output\n"
1859 "   -t <timelimit>     set timelimit for control in seconds (default %u)\n", options.timelimit);
1860         printf("Controls:\n");
1861         for (i=0;i<ARRAY_SIZE(ctdb_commands);i++) {
1862                 printf("  %-15s %-27s  %s\n",
1863                        ctdb_commands[i].name,
1864                        ctdb_commands[i].args?ctdb_commands[i].args:"",
1865                        ctdb_commands[i].msg);
1866         }
1867         exit(1);
1868 }
1869
1870
1871 static void ctdb_alarm(int sig)
1872 {
1873         printf("Maximum runtime exceeded - exiting\n");
1874         _exit(0);
1875 }
1876
1877 /*
1878   main program
1879 */
1880 int main(int argc, const char *argv[])
1881 {
1882         struct ctdb_context *ctdb;
1883         char *nodestring = NULL;
1884         struct poptOption popt_options[] = {
1885                 POPT_AUTOHELP
1886                 POPT_CTDB_CMDLINE
1887                 { "timelimit", 't', POPT_ARG_INT, &options.timelimit, 0, "timelimit", "integer" },
1888                 { "node",      'n', POPT_ARG_STRING, &nodestring, 0, "node", "integer|all" },
1889                 { "machinereadable", 'Y', POPT_ARG_NONE, &options.machinereadable, 0, "enable machinereadable output", NULL },
1890                 { "maxruntime", 'T', POPT_ARG_INT, &options.maxruntime, 0, "die if runtime exceeds this limit (in seconds)", "integer" },
1891                 POPT_TABLEEND
1892         };
1893         int opt;
1894         const char **extra_argv;
1895         int extra_argc = 0;
1896         int ret=-1, i;
1897         poptContext pc;
1898         struct event_context *ev;
1899         const char *control;
1900
1901         setlinebuf(stdout);
1902
1903         /* set some defaults */
1904         options.maxruntime = 0;
1905         options.timelimit = 3;
1906         options.pnn = CTDB_CURRENT_NODE;
1907
1908         pc = poptGetContext(argv[0], argc, argv, popt_options, POPT_CONTEXT_KEEP_FIRST);
1909
1910         while ((opt = poptGetNextOpt(pc)) != -1) {
1911                 switch (opt) {
1912                 default:
1913                         DEBUG(DEBUG_ERR, ("Invalid option %s: %s\n",
1914                                 poptBadOption(pc, 0), poptStrerror(opt)));
1915                         exit(1);
1916                 }
1917         }
1918
1919         /* setup the remaining options for the main program to use */
1920         extra_argv = poptGetArgs(pc);
1921         if (extra_argv) {
1922                 extra_argv++;
1923                 while (extra_argv[extra_argc]) extra_argc++;
1924         }
1925
1926         if (extra_argc < 1) {
1927                 usage();
1928         }
1929
1930         if (options.maxruntime != 0) {
1931                 signal(SIGALRM, ctdb_alarm);
1932                 alarm(options.maxruntime);
1933         }
1934
1935         /* setup the node number to contact */
1936         if (nodestring != NULL) {
1937                 if (strcmp(nodestring, "all") == 0) {
1938                         options.pnn = CTDB_BROADCAST_ALL;
1939                 } else {
1940                         options.pnn = strtoul(nodestring, NULL, 0);
1941                 }
1942         }
1943
1944         control = extra_argv[0];
1945
1946         ev = event_context_init(NULL);
1947
1948         /* initialise ctdb */
1949         ctdb = ctdb_cmdline_client(ev);
1950         if (ctdb == NULL) {
1951                 DEBUG(DEBUG_ERR, ("Failed to init ctdb\n"));
1952                 exit(1);
1953         }
1954
1955         for (i=0;i<ARRAY_SIZE(ctdb_commands);i++) {
1956                 if (strcmp(control, ctdb_commands[i].name) == 0) {
1957                         int j;
1958
1959                         if (options.pnn == CTDB_CURRENT_NODE) {
1960                                 int pnn;
1961                                 pnn = ctdb_ctrl_getpnn(ctdb, TIMELIMIT(), options.pnn);
1962                                 if (pnn == -1) {
1963                                         return -1;
1964                                 }
1965                                 options.pnn = pnn;
1966                         }
1967
1968                         if (ctdb_commands[i].auto_all &&
1969                             options.pnn == CTDB_BROADCAST_ALL) {
1970                                 uint32_t *nodes;
1971                                 uint32_t num_nodes;
1972                                 ret = 0;
1973
1974                                 nodes = ctdb_get_connected_nodes(ctdb, TIMELIMIT(), ctdb, &num_nodes);
1975                                 CTDB_NO_MEMORY(ctdb, nodes);
1976
1977                                 for (j=0;j<num_nodes;j++) {
1978                                         options.pnn = nodes[j];
1979                                         ret |= ctdb_commands[i].fn(ctdb, extra_argc-1, extra_argv+1);
1980                                 }
1981                                 talloc_free(nodes);
1982                         } else {
1983                                 ret = ctdb_commands[i].fn(ctdb, extra_argc-1, extra_argv+1);
1984                         }
1985                         break;
1986                 }
1987         }
1988
1989         if (i == ARRAY_SIZE(ctdb_commands)) {
1990                 DEBUG(DEBUG_ERR, ("Unknown control '%s'\n", control));
1991                 exit(1);
1992         }
1993
1994         return ret;
1995 }