ctdb/common/ctdb_util.c

   1 /*
   2    ctdb utility code
   3
   4    Copyright (C) Andrew Tridgell  2006
   5
   6    This program is free software; you can redistribute it and/or modify
   7    it under the terms of the GNU General Public License as published by
   8    the Free Software Foundation; either version 3 of the License, or
   9    (at your option) any later version.
  10
  11    This program is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14    GNU General Public License for more details.
  15
  16    You should have received a copy of the GNU General Public License
  17    along with this program; if not, see <http://www.gnu.org/licenses/>.
  18 */
  19
  20 #include "replace.h"
  21 #include "system/network.h"
  22 #include "system/filesys.h"
  23 #include "system/wait.h"
  24
  25 #include <tdb.h>
  26
  27 #include "lib/util/debug.h"
  28 #include "lib/util/samba_util.h"
  29
  30 #include "ctdb_logging.h"
  31 #include "ctdb_private.h"
  32
  33 #include "common/reqid.h"
  34 #include "common/system.h"
  35
  36 /*
  37   return error string for last error
  38 */
  39 const char *ctdb_errstr(struct ctdb_context *ctdb)
  40 {
  41         return ctdb->err_msg;
  42 }
  43
  44
  45 /*
  46   remember an error message
  47 */
  48 void ctdb_set_error(struct ctdb_context *ctdb, const char *fmt, ...)
  49 {
  50         va_list ap;
  51         talloc_free(ctdb->err_msg);
  52         va_start(ap, fmt);
  53         ctdb->err_msg = talloc_vasprintf(ctdb, fmt, ap);
  54         DEBUG(DEBUG_ERR,("ctdb error: %s\n", ctdb->err_msg));
  55         va_end(ap);
  56 }
  57
  58 /*
  59   a fatal internal error occurred - no hope for recovery
  60 */
  61 void ctdb_fatal(struct ctdb_context *ctdb, const char *msg)
  62 {
  63         DEBUG(DEBUG_ALERT,("ctdb fatal error: %s\n", msg));
  64         abort();
  65 }
  66
  67 /*
  68   like ctdb_fatal() but a core/backtrace would not be useful
  69 */
  70 void ctdb_die(struct ctdb_context *ctdb, const char *msg)
  71 {
  72         DEBUG(DEBUG_ALERT,("ctdb exiting with error: %s\n", msg));
  73         exit(1);
  74 }
  75
  76 /* Set the path of a helper program from envvar, falling back to
  77  * dir/file if envvar unset. type is a string to print in log
  78  * messages.  helper is assumed to point to a statically allocated
  79  * array of size bytes, initialised to "".  If file is NULL don't fall
  80  * back if envvar is unset.  If dir is NULL and envvar is unset (but
  81  * file is not NULL) then this is an error.  Returns true if helper is
  82  * set, either previously or this time. */
  83 bool ctdb_set_helper(const char *type, char *helper, size_t size,
  84                      const char *envvar,
  85                      const char *dir, const char *file)
  86 {
  87         const char *t;
  88         struct stat st;
  89
  90         if (helper[0] != '\0') {
  91                 /* Already set */
  92                 return true;
  93         }
  94
  95         t = getenv(envvar);
  96         if (t != NULL) {
  97                 if (strlen(t) >= size) {
  98                         DEBUG(DEBUG_ERR,
  99                               ("Unable to set %s - path too long\n", type));
 100                         return false;
 101                 }
 102
 103                 strncpy(helper, t, size);
 104         } else if (file == NULL) {
 105                 return false;
 106         } else if (dir == NULL) {
 107                         DEBUG(DEBUG_ERR,
 108                               ("Unable to set %s - dir is NULL\n", type));
 109                 return false;
 110         } else {
 111                 if (snprintf(helper, size, "%s/%s", dir, file) >= size) {
 112                         DEBUG(DEBUG_ERR,
 113                               ("Unable to set %s - path too long\n", type));
 114                         return false;
 115                 }
 116         }
 117
 118         if (stat(helper, &st) != 0) {
 119                 DEBUG(DEBUG_ERR,
 120                       ("Unable to set %s \"%s\" - %s\n",
 121                        type, helper, strerror(errno)));
 122                 return false;
 123         }
 124         if (!(st.st_mode & S_IXUSR)) {
 125                 DEBUG(DEBUG_ERR,
 126                       ("Unable to set %s \"%s\" - not executable\n",
 127                        type, helper));
 128                 return false;
 129         }
 130
 131         DEBUG(DEBUG_NOTICE,
 132               ("Set %s to \"%s\"\n", type, helper));
 133         return true;
 134 }
 135
 136 /* Invoke an external program to do some sort of tracing on the CTDB
 137  * process.  This might block for a little while.  The external
 138  * program is specified by the environment variable
 139  * CTDB_EXTERNAL_TRACE.  This program should take one argument: the
 140  * pid of the process to trace.  Commonly, the program would be a
 141  * wrapper script around gcore.
 142  */
 143 void ctdb_external_trace(void)
 144 {
 145         int ret;
 146         static char external_trace[PATH_MAX+1] = "";
 147         char * cmd;
 148
 149         if (!ctdb_set_helper("external trace handler",
 150                              external_trace, sizeof(external_trace),
 151                              "CTDB_EXTERNAL_TRACE", NULL, NULL)) {
 152                 return;
 153         }
 154
 155         cmd = talloc_asprintf(NULL, "%s %lu", external_trace, (unsigned long) getpid());
 156         DEBUG(DEBUG_WARNING,("begin external trace: %s\n", cmd));
 157         ret = system(cmd);
 158         if (ret == -1) {
 159                 DEBUG(DEBUG_ERR,
 160                       ("external trace command \"%s\" failed\n", cmd));
 161         }
 162         DEBUG(DEBUG_WARNING,("end external trace: %s\n", cmd));
 163         talloc_free(cmd);
 164 }
 165
 166 /*
 167   parse a IP:port pair
 168 */
 169 int ctdb_parse_address(TALLOC_CTX *mem_ctx, const char *str,
 170                        ctdb_sock_addr *address)
 171 {
 172         struct servent *se;
 173         int port;
 174
 175         setservent(0);
 176         se = getservbyname("ctdb", "tcp");
 177         endservent();
 178
 179         if (se == NULL) {
 180                 port = CTDB_PORT;
 181         } else {
 182                 port = ntohs(se->s_port);
 183         }
 184
 185         if (! parse_ip(str, NULL, port, address)) {
 186                 return -1;
 187         }
 188
 189         return 0;
 190 }
 191
 192
 193 /*
 194   check if two addresses are the same
 195 */
 196 bool ctdb_same_address(ctdb_sock_addr *a1, ctdb_sock_addr *a2)
 197 {
 198         return ctdb_same_ip(a1, a2) &&
 199                 ctdb_addr_to_port(a1) == ctdb_addr_to_port(a2);
 200 }
 201
 202
 203 /*
 204   hash function for mapping data to a VNN - taken from tdb
 205 */
 206 uint32_t ctdb_hash(const TDB_DATA *key)
 207 {
 208         return tdb_jenkins_hash(discard_const(key));
 209 }
 210
 211
 212 static uint32_t ctdb_marshall_record_size(TDB_DATA key,
 213                                           struct ctdb_ltdb_header *header,
 214                                           TDB_DATA data)
 215 {
 216         return offsetof(struct ctdb_rec_data, data) + key.dsize +
 217                data.dsize + (header ? sizeof(*header) : 0);
 218 }
 219
 220 static void ctdb_marshall_record_copy(struct ctdb_rec_data *rec,
 221                                       uint32_t reqid,
 222                                       TDB_DATA key,
 223                                       struct ctdb_ltdb_header *header,
 224                                       TDB_DATA data,
 225                                       uint32_t length)
 226 {
 227         uint32_t offset;
 228
 229         rec->length = length;
 230         rec->reqid = reqid;
 231         rec->keylen = key.dsize;
 232         memcpy(&rec->data[0], key.dptr, key.dsize);
 233         offset = key.dsize;
 234
 235         if (header) {
 236                 rec->datalen = data.dsize + sizeof(*header);
 237                 memcpy(&rec->data[offset], header, sizeof(*header));
 238                 offset += sizeof(*header);
 239         } else {
 240                 rec->datalen = data.dsize;
 241         }
 242         memcpy(&rec->data[offset], data.dptr, data.dsize);
 243 }
 244
 245 /*
 246   form a ctdb_rec_data record from a key/data pair
 247
 248   note that header may be NULL. If not NULL then it is included in the data portion
 249   of the record
 250  */
 251 struct ctdb_rec_data *ctdb_marshall_record(TALLOC_CTX *mem_ctx, uint32_t reqid,
 252                                            TDB_DATA key,
 253                                            struct ctdb_ltdb_header *header,
 254                                            TDB_DATA data)
 255 {
 256         size_t length;
 257         struct ctdb_rec_data *d;
 258
 259         length = ctdb_marshall_record_size(key, header, data);
 260
 261         d = (struct ctdb_rec_data *)talloc_size(mem_ctx, length);
 262         if (d == NULL) {
 263                 return NULL;
 264         }
 265
 266         ctdb_marshall_record_copy(d, reqid, key, header, data, length);
 267         return d;
 268 }
 269
 270
 271 /* helper function for marshalling multiple records */
 272 struct ctdb_marshall_buffer *ctdb_marshall_add(TALLOC_CTX *mem_ctx,
 273                                                struct ctdb_marshall_buffer *m,
 274                                                uint64_t db_id,
 275                                                uint32_t reqid,
 276                                                TDB_DATA key,
 277                                                struct ctdb_ltdb_header *header,
 278                                                TDB_DATA data)
 279 {
 280         struct ctdb_rec_data *r;
 281         struct ctdb_marshall_buffer *m2;
 282         uint32_t length, offset;
 283
 284         length = ctdb_marshall_record_size(key, header, data);
 285
 286         if (m == NULL) {
 287                 offset = offsetof(struct ctdb_marshall_buffer, data);
 288                 m2 = talloc_zero_size(mem_ctx, offset + length);
 289         } else {
 290                 offset = talloc_get_size(m);
 291                 m2 = talloc_realloc_size(mem_ctx, m, offset + length);
 292         }
 293         if (m2 == NULL) {
 294                 TALLOC_FREE(m);
 295                 return NULL;
 296         }
 297
 298         if (m == NULL) {
 299                 m2->db_id = db_id;
 300         }
 301
 302         r = (struct ctdb_rec_data *)((uint8_t *)m2 + offset);
 303         ctdb_marshall_record_copy(r, reqid, key, header, data, length);
 304         m2->count++;
 305
 306         return m2;
 307 }
 308
 309 /* we've finished marshalling, return a data blob with the marshalled records */
 310 TDB_DATA ctdb_marshall_finish(struct ctdb_marshall_buffer *m)
 311 {
 312         TDB_DATA data;
 313         data.dptr = (uint8_t *)m;
 314         data.dsize = talloc_get_size(m);
 315         return data;
 316 }
 317
 318 /*
 319    loop over a marshalling buffer
 320
 321      - pass r==NULL to start
 322      - loop the number of times indicated by m->count
 323 */
 324 struct ctdb_rec_data *ctdb_marshall_loop_next(struct ctdb_marshall_buffer *m, struct ctdb_rec_data *r,
 325                                               uint32_t *reqid,
 326                                               struct ctdb_ltdb_header *header,
 327                                               TDB_DATA *key, TDB_DATA *data)
 328 {
 329         if (r == NULL) {
 330                 r = (struct ctdb_rec_data *)&m->data[0];
 331         } else {
 332                 r = (struct ctdb_rec_data *)(r->length + (uint8_t *)r);
 333         }
 334
 335         if (reqid != NULL) {
 336                 *reqid = r->reqid;
 337         }
 338
 339         if (key != NULL) {
 340                 key->dptr   = &r->data[0];
 341                 key->dsize  = r->keylen;
 342         }
 343         if (data != NULL) {
 344                 data->dptr  = &r->data[r->keylen];
 345                 data->dsize = r->datalen;
 346                 if (header != NULL) {
 347                         data->dptr += sizeof(*header);
 348                         data->dsize -= sizeof(*header);
 349                 }
 350         }
 351
 352         if (header != NULL) {
 353                 if (r->datalen < sizeof(*header)) {
 354                         return NULL;
 355                 }
 356                 memcpy(header, &r->data[r->keylen], sizeof(*header));
 357         }
 358
 359         return r;
 360 }
 361
 362 /*
 363    This is used to canonicalize a ctdb_sock_addr structure.
 364 */
 365 void ctdb_canonicalize_ip(const ctdb_sock_addr *ip, ctdb_sock_addr *cip)
 366 {
 367         char prefix[12] = { 0,0,0,0,0,0,0,0,0,0,0xff,0xff };
 368
 369         memcpy(cip, ip, sizeof (*cip));
 370
 371         if ( (ip->sa.sa_family == AF_INET6)
 372         && !memcmp(&ip->ip6.sin6_addr, prefix, 12)) {
 373                 memset(cip, 0, sizeof(*cip));
 374 #ifdef HAVE_SOCK_SIN_LEN
 375                 cip->ip.sin_len = sizeof(*cip);
 376 #endif
 377                 cip->ip.sin_family = AF_INET;
 378                 cip->ip.sin_port   = ip->ip6.sin6_port;
 379                 memcpy(&cip->ip.sin_addr, &ip->ip6.sin6_addr.s6_addr[12], 4);
 380         }
 381 }
 382
 383 bool ctdb_same_ip(const ctdb_sock_addr *tip1, const ctdb_sock_addr *tip2)
 384 {
 385         ctdb_sock_addr ip1, ip2;
 386
 387         ctdb_canonicalize_ip(tip1, &ip1);
 388         ctdb_canonicalize_ip(tip2, &ip2);
 389
 390         if (ip1.sa.sa_family != ip2.sa.sa_family) {
 391                 return false;
 392         }
 393
 394         switch (ip1.sa.sa_family) {
 395         case AF_INET:
 396                 return ip1.ip.sin_addr.s_addr == ip2.ip.sin_addr.s_addr;
 397         case AF_INET6:
 398                 return !memcmp(&ip1.ip6.sin6_addr.s6_addr[0],
 399                                 &ip2.ip6.sin6_addr.s6_addr[0],
 400                                 16);
 401         default:
 402                 DEBUG(DEBUG_ERR, (__location__ " CRITICAL Can not compare sockaddr structures of type %u\n", ip1.sa.sa_family));
 403                 return false;
 404         }
 405
 406         return true;
 407 }
 408
 409 /*
 410   compare two ctdb_sock_addr structures
 411  */
 412 bool ctdb_same_sockaddr(const ctdb_sock_addr *ip1, const ctdb_sock_addr *ip2)
 413 {
 414         return ctdb_same_ip(ip1, ip2) && ip1->ip.sin_port == ip2->ip.sin_port;
 415 }
 416
 417 char *ctdb_addr_to_str(ctdb_sock_addr *addr)
 418 {
 419         static char cip[128] = "";
 420
 421         switch (addr->sa.sa_family) {
 422         case AF_INET:
 423                 inet_ntop(addr->ip.sin_family, &addr->ip.sin_addr, cip, sizeof(cip));
 424                 break;
 425         case AF_INET6:
 426                 inet_ntop(addr->ip6.sin6_family, &addr->ip6.sin6_addr, cip, sizeof(cip));
 427                 break;
 428         default:
 429                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
 430                 ctdb_external_trace();
 431         }
 432
 433         return cip;
 434 }
 435
 436 unsigned ctdb_addr_to_port(ctdb_sock_addr *addr)
 437 {
 438         switch (addr->sa.sa_family) {
 439         case AF_INET:
 440                 return ntohs(addr->ip.sin_port);
 441                 break;
 442         case AF_INET6:
 443                 return ntohs(addr->ip6.sin6_port);
 444                 break;
 445         default:
 446                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
 447         }
 448
 449         return 0;
 450 }
 451
 452 /* Add a node to a node map with given address and flags */
 453 static bool node_map_add(TALLOC_CTX *mem_ctx,
 454                          const char *nstr, uint32_t flags,
 455                          struct ctdb_node_map **node_map)
 456 {
 457         ctdb_sock_addr addr;
 458         uint32_t num;
 459         size_t s;
 460         struct ctdb_node_and_flags *n;
 461
 462         /* Might as well do this before trying to allocate memory */
 463         if (ctdb_parse_address(mem_ctx, nstr, &addr) == -1) {
 464                 return false;
 465         }
 466
 467         num = (*node_map)->num + 1;
 468         s = offsetof(struct ctdb_node_map, nodes) +
 469                 num * sizeof(struct ctdb_node_and_flags);
 470         *node_map = talloc_realloc_size(mem_ctx, *node_map, s);
 471         if (*node_map == NULL) {
 472                 DEBUG(DEBUG_ERR, (__location__ " Out of memory\n"));
 473                 return false;
 474         }
 475
 476         n = &(*node_map)->nodes[(*node_map)->num];
 477         n->addr = addr;
 478         n->pnn = (*node_map)->num;
 479         n->flags = flags;
 480
 481         (*node_map)->num++;
 482
 483         return true;
 484 }
 485
 486 /* Read a nodes file into a node map */
 487 struct ctdb_node_map *ctdb_read_nodes_file(TALLOC_CTX *mem_ctx,
 488                                            const char *nlist)
 489 {
 490         char **lines;
 491         int nlines;
 492         int i;
 493         struct ctdb_node_map *ret;
 494
 495         /* Allocate node map header */
 496         ret = talloc_zero_size(mem_ctx, offsetof(struct ctdb_node_map, nodes));
 497         if (ret == NULL) {
 498                 DEBUG(DEBUG_ERR, (__location__ " Out of memory\n"));
 499                 return false;
 500         }
 501
 502         lines = file_lines_load(nlist, &nlines, 0, mem_ctx);
 503         if (lines == NULL) {
 504                 DEBUG(DEBUG_ERR, ("Failed to read nodes file \"%s\"\n", nlist));
 505                 return false;
 506         }
 507         while (nlines > 0 && strcmp(lines[nlines-1], "") == 0) {
 508                 nlines--;
 509         }
 510
 511         for (i=0; i < nlines; i++) {
 512                 char *node;
 513                 uint32_t flags;
 514                 size_t len;
 515
 516                 node = lines[i];
 517                 /* strip leading spaces */
 518                 while((*node == ' ') || (*node == '\t')) {
 519                         node++;
 520                 }
 521
 522                 len = strlen(node);
 523
 524                 while ((len > 1) &&
 525                        ((node[len-1] == ' ') || (node[len-1] == '\t')))
 526                 {
 527                         node[len-1] = '\0';
 528                         len--;
 529                 }
 530
 531                 if (len == 0) {
 532                         continue;
 533                 }
 534                 if (*node == '#') {
 535                         /* A "deleted" node is a node that is
 536                            commented out in the nodes file.  This is
 537                            used instead of removing a line, which
 538                            would cause subsequent nodes to change
 539                            their PNN. */
 540                         flags = NODE_FLAGS_DELETED;
 541                         node = discard_const("0.0.0.0");
 542                 } else {
 543                         flags = 0;
 544                 }
 545                 if (!node_map_add(mem_ctx, node, flags, &ret)) {
 546                         talloc_free(lines);
 547                         TALLOC_FREE(ret);
 548                         return NULL;
 549                 }
 550         }
 551
 552         talloc_free(lines);
 553         return ret;
 554 }
 555
 556 struct ctdb_node_map *
 557 ctdb_node_list_to_map(struct ctdb_node **nodes, uint32_t num_nodes,
 558                       TALLOC_CTX *mem_ctx)
 559 {
 560         uint32_t i;
 561         size_t size;
 562         struct ctdb_node_map *node_map;
 563
 564         size = offsetof(struct ctdb_node_map, nodes) +
 565                 num_nodes * sizeof(struct ctdb_node_and_flags);
 566         node_map  = (struct ctdb_node_map *)talloc_zero_size(mem_ctx, size);
 567         if (node_map == NULL) {
 568                 DEBUG(DEBUG_ERR,
 569                       (__location__ " Failed to allocate nodemap array\n"));
 570                 return NULL;
 571         }
 572
 573         node_map->num = num_nodes;
 574         for (i=0; i<num_nodes; i++) {
 575                 node_map->nodes[i].addr  = nodes[i]->address;
 576                 node_map->nodes[i].pnn   = nodes[i]->pnn;
 577                 node_map->nodes[i].flags = nodes[i]->flags;
 578         }
 579
 580         return node_map;
 581 }
 582
 583 const char *ctdb_eventscript_call_names[] = {
 584         "init",
 585         "setup",
 586         "startup",
 587         "startrecovery",
 588         "recovered",
 589         "takeip",
 590         "releaseip",
 591         "stopped",
 592         "monitor",
 593         "status",
 594         "shutdown",
 595         "reload",
 596         "updateip",
 597         "ipreallocated"
 598 };
 599
 600 /* Runstate handling */
 601 static struct {
 602         enum ctdb_runstate runstate;
 603         const char * label;
 604 } runstate_map[] = {
 605         { CTDB_RUNSTATE_UNKNOWN, "UNKNOWN" },
 606         { CTDB_RUNSTATE_INIT, "INIT" },
 607         { CTDB_RUNSTATE_SETUP, "SETUP" },
 608         { CTDB_RUNSTATE_FIRST_RECOVERY, "FIRST_RECOVERY" },
 609         { CTDB_RUNSTATE_STARTUP, "STARTUP" },
 610         { CTDB_RUNSTATE_RUNNING, "RUNNING" },
 611         { CTDB_RUNSTATE_SHUTDOWN, "SHUTDOWN" },
 612         { -1, NULL },
 613 };
 614
 615 const char *runstate_to_string(enum ctdb_runstate runstate)
 616 {
 617         int i;
 618         for (i=0; runstate_map[i].label != NULL ; i++) {
 619                 if (runstate_map[i].runstate == runstate) {
 620                         return runstate_map[i].label;
 621                 }
 622         }
 623
 624         return runstate_map[0].label;
 625 }
 626
 627 enum ctdb_runstate runstate_from_string(const char *label)
 628 {
 629         int i;
 630         for (i=0; runstate_map[i].label != NULL; i++) {
 631                 if (strcasecmp(runstate_map[i].label, label) == 0) {
 632                         return runstate_map[i].runstate;
 633                 }
 634         }
 635
 636         return CTDB_RUNSTATE_UNKNOWN;
 637 }
 638
 639 void ctdb_set_runstate(struct ctdb_context *ctdb, enum ctdb_runstate runstate)
 640 {
 641         if (runstate <= ctdb->runstate) {
 642                 ctdb_fatal(ctdb, "runstate must always increase");
 643         }
 644
 645         DEBUG(DEBUG_NOTICE,("Set runstate to %s (%d)\n",
 646                             runstate_to_string(runstate), runstate));
 647         ctdb->runstate = runstate;
 648 }
 649
 650 /* Convert arbitrary data to 4-byte boundary padded uint32 array */
 651 uint32_t *ctdb_key_to_idkey(TALLOC_CTX *mem_ctx, TDB_DATA key)
 652 {
 653         uint32_t idkey_size, *k;
 654
 655         idkey_size = 1 + (key.dsize + sizeof(uint32_t)-1) / sizeof(uint32_t);
 656
 657         k = talloc_zero_array(mem_ctx, uint32_t, idkey_size);
 658         if (k == NULL) {
 659                 return NULL;
 660         }
 661
 662         k[0] = idkey_size;
 663         memcpy(&k[1], key.dptr, key.dsize);
 664
 665         return k;
 666 }