common/ctdb_util.c

   1 /*
   2    ctdb utility code
   3
   4    Copyright (C) Andrew Tridgell  2006
   5
   6    This program is free software; you can redistribute it and/or modify
   7    it under the terms of the GNU General Public License as published by
   8    the Free Software Foundation; either version 3 of the License, or
   9    (at your option) any later version.
  10
  11    This program is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14    GNU General Public License for more details.
  15
  16    You should have received a copy of the GNU General Public License
  17    along with this program; if not, see <http://www.gnu.org/licenses/>.
  18 */
  19
  20 #include "includes.h"
  21 #include "lib/tevent/tevent.h"
  22 #include "lib/tdb/include/tdb.h"
  23 #include "system/network.h"
  24 #include "system/filesys.h"
  25 #include "system/wait.h"
  26 #include "system/shmem.h"
  27 #include "../include/ctdb_private.h"
  28
  29 int LogLevel = DEBUG_NOTICE;
  30 int this_log_level = 0;
  31
  32 /*
  33   return error string for last error
  34 */
  35 const char *ctdb_errstr(struct ctdb_context *ctdb)
  36 {
  37         return ctdb->err_msg;
  38 }
  39
  40
  41 /*
  42   remember an error message
  43 */
  44 void ctdb_set_error(struct ctdb_context *ctdb, const char *fmt, ...)
  45 {
  46         va_list ap;
  47         talloc_free(ctdb->err_msg);
  48         va_start(ap, fmt);
  49         ctdb->err_msg = talloc_vasprintf(ctdb, fmt, ap);
  50         DEBUG(DEBUG_ERR,("ctdb error: %s\n", ctdb->err_msg));
  51         va_end(ap);
  52 }
  53
  54 /*
  55   a fatal internal error occurred - no hope for recovery
  56 */
  57 void ctdb_fatal(struct ctdb_context *ctdb, const char *msg)
  58 {
  59         DEBUG(DEBUG_ALERT,("ctdb fatal error: %s\n", msg));
  60         abort();
  61 }
  62
  63 /*
  64   parse a IP:port pair
  65 */
  66 int ctdb_parse_address(struct ctdb_context *ctdb,
  67                        TALLOC_CTX *mem_ctx, const char *str,
  68                        struct ctdb_address *address)
  69 {
  70         struct servent *se;
  71
  72         setservent(0);
  73         se = getservbyname("ctdb", "tcp");
  74         endservent();
  75
  76         address->address = talloc_strdup(mem_ctx, str);
  77         CTDB_NO_MEMORY(ctdb, address->address);
  78
  79         if (se == NULL) {
  80                 address->port = CTDB_PORT;
  81         } else {
  82                 address->port = ntohs(se->s_port);
  83         }
  84         return 0;
  85 }
  86
  87
  88 /*
  89   check if two addresses are the same
  90 */
  91 bool ctdb_same_address(struct ctdb_address *a1, struct ctdb_address *a2)
  92 {
  93         return strcmp(a1->address, a2->address) == 0 && a1->port == a2->port;
  94 }
  95
  96
  97 /*
  98   hash function for mapping data to a VNN - taken from tdb
  99 */
 100 uint32_t ctdb_hash(const TDB_DATA *key)
 101 {
 102         uint32_t value; /* Used to compute the hash value.  */
 103         uint32_t i;     /* Used to cycle through random values. */
 104
 105         /* Set the initial value from the key size. */
 106         for (value = 0x238F13AF * key->dsize, i=0; i < key->dsize; i++)
 107                 value = (value + (key->dptr[i] << (i*5 % 24)));
 108
 109         return (1103515243 * value + 12345);
 110 }
 111
 112 /*
 113   a type checking varient of idr_find
 114  */
 115 static void *_idr_find_type(struct idr_context *idp, int id, const char *type, const char *location)
 116 {
 117         void *p = idr_find(idp, id);
 118         if (p && talloc_check_name(p, type) == NULL) {
 119                 DEBUG(DEBUG_ERR,("%s idr_find_type expected type %s  but got %s\n",
 120                          location, type, talloc_get_name(p)));
 121                 return NULL;
 122         }
 123         return p;
 124 }
 125
 126
 127 /*
 128   update a max latency number
 129  */
 130 void ctdb_latency(struct ctdb_db_context *ctdb_db, const char *name, double *latency, struct timeval t)
 131 {
 132         double l = timeval_elapsed(&t);
 133         if (l > *latency) {
 134                 *latency = l;
 135         }
 136
 137         if (ctdb_db->ctdb->tunable.log_latency_ms !=0) {
 138                 if (l*1000 > ctdb_db->ctdb->tunable.log_latency_ms) {
 139                         DEBUG(DEBUG_WARNING, ("High latency %.6fs for operation %s on database %s\n", l, name, ctdb_db->db_name));
 140                 }
 141         }
 142 }
 143
 144 /*
 145   update a reclock latency number
 146  */
 147 void ctdb_reclock_latency(struct ctdb_context *ctdb, const char *name, double *latency, double l)
 148 {
 149         if (l > *latency) {
 150                 *latency = l;
 151         }
 152
 153         if (ctdb->tunable.reclock_latency_ms !=0) {
 154                 if (l*1000 > ctdb->tunable.reclock_latency_ms) {
 155                         DEBUG(DEBUG_ERR, ("High RECLOCK latency %fs for operation %s\n", l, name));
 156                 }
 157         }
 158 }
 159
 160 uint32_t ctdb_reqid_new(struct ctdb_context *ctdb, void *state)
 161 {
 162         int id = idr_get_new_above(ctdb->idr, state, ctdb->lastid+1, INT_MAX);
 163         if (id < 0) {
 164                 DEBUG(DEBUG_NOTICE, ("Reqid wrap!\n"));
 165                 id = idr_get_new(ctdb->idr, state, INT_MAX);
 166         }
 167         ctdb->lastid = id;
 168         return id;
 169 }
 170
 171 void *_ctdb_reqid_find(struct ctdb_context *ctdb, uint32_t reqid, const char *type, const char *location)
 172 {
 173         void *p;
 174
 175         p = _idr_find_type(ctdb->idr, reqid, type, location);
 176         if (p == NULL) {
 177                 DEBUG(DEBUG_WARNING, ("Could not find idr:%u\n",reqid));
 178         }
 179
 180         return p;
 181 }
 182
 183
 184 void ctdb_reqid_remove(struct ctdb_context *ctdb, uint32_t reqid)
 185 {
 186         int ret;
 187
 188         ret = idr_remove(ctdb->idr, reqid);
 189         if (ret != 0) {
 190                 DEBUG(DEBUG_ERR, ("Removing idr that does not exist\n"));
 191         }
 192 }
 193
 194
 195 /*
 196   form a ctdb_rec_data record from a key/data pair
 197
 198   note that header may be NULL. If not NULL then it is included in the data portion
 199   of the record
 200  */
 201 struct ctdb_rec_data *ctdb_marshall_record(TALLOC_CTX *mem_ctx, uint32_t reqid,
 202                                            TDB_DATA key,
 203                                            struct ctdb_ltdb_header *header,
 204                                            TDB_DATA data)
 205 {
 206         size_t length;
 207         struct ctdb_rec_data *d;
 208
 209         length = offsetof(struct ctdb_rec_data, data) + key.dsize +
 210                 data.dsize + (header?sizeof(*header):0);
 211         d = (struct ctdb_rec_data *)talloc_size(mem_ctx, length);
 212         if (d == NULL) {
 213                 return NULL;
 214         }
 215         d->length = length;
 216         d->reqid = reqid;
 217         d->keylen = key.dsize;
 218         memcpy(&d->data[0], key.dptr, key.dsize);
 219         if (header) {
 220                 d->datalen = data.dsize + sizeof(*header);
 221                 memcpy(&d->data[key.dsize], header, sizeof(*header));
 222                 memcpy(&d->data[key.dsize+sizeof(*header)], data.dptr, data.dsize);
 223         } else {
 224                 d->datalen = data.dsize;
 225                 memcpy(&d->data[key.dsize], data.dptr, data.dsize);
 226         }
 227         return d;
 228 }
 229
 230
 231 /* helper function for marshalling multiple records */
 232 struct ctdb_marshall_buffer *ctdb_marshall_add(TALLOC_CTX *mem_ctx,
 233                                                struct ctdb_marshall_buffer *m,
 234                                                uint64_t db_id,
 235                                                uint32_t reqid,
 236                                                TDB_DATA key,
 237                                                struct ctdb_ltdb_header *header,
 238                                                TDB_DATA data)
 239 {
 240         struct ctdb_rec_data *r;
 241         size_t m_size, r_size;
 242         struct ctdb_marshall_buffer *m2;
 243
 244         r = ctdb_marshall_record(mem_ctx, reqid, key, header, data);
 245         if (r == NULL) {
 246                 talloc_free(m);
 247                 return NULL;
 248         }
 249
 250         if (m == NULL) {
 251                 m = talloc_zero_size(mem_ctx, offsetof(struct ctdb_marshall_buffer, data));
 252                 if (m == NULL) {
 253                         return NULL;
 254                 }
 255                 m->db_id = db_id;
 256         }
 257
 258         m_size = talloc_get_size(m);
 259         r_size = talloc_get_size(r);
 260
 261         m2 = talloc_realloc_size(mem_ctx, m,  m_size + r_size);
 262         if (m2 == NULL) {
 263                 talloc_free(m);
 264                 return NULL;
 265         }
 266
 267         memcpy(m_size + (uint8_t *)m2, r, r_size);
 268
 269         talloc_free(r);
 270
 271         m2->count++;
 272
 273         return m2;
 274 }
 275
 276 /* we've finished marshalling, return a data blob with the marshalled records */
 277 TDB_DATA ctdb_marshall_finish(struct ctdb_marshall_buffer *m)
 278 {
 279         TDB_DATA data;
 280         data.dptr = (uint8_t *)m;
 281         data.dsize = talloc_get_size(m);
 282         return data;
 283 }
 284
 285 /*
 286    loop over a marshalling buffer
 287
 288      - pass r==NULL to start
 289      - loop the number of times indicated by m->count
 290 */
 291 struct ctdb_rec_data *ctdb_marshall_loop_next(struct ctdb_marshall_buffer *m, struct ctdb_rec_data *r,
 292                                               uint32_t *reqid,
 293                                               struct ctdb_ltdb_header *header,
 294                                               TDB_DATA *key, TDB_DATA *data)
 295 {
 296         if (r == NULL) {
 297                 r = (struct ctdb_rec_data *)&m->data[0];
 298         } else {
 299                 r = (struct ctdb_rec_data *)(r->length + (uint8_t *)r);
 300         }
 301
 302         if (reqid != NULL) {
 303                 *reqid = r->reqid;
 304         }
 305
 306         if (key != NULL) {
 307                 key->dptr   = &r->data[0];
 308                 key->dsize  = r->keylen;
 309         }
 310         if (data != NULL) {
 311                 data->dptr  = &r->data[r->keylen];
 312                 data->dsize = r->datalen;
 313                 if (header != NULL) {
 314                         data->dptr += sizeof(*header);
 315                         data->dsize -= sizeof(*header);
 316                 }
 317         }
 318
 319         if (header != NULL) {
 320                 if (r->datalen < sizeof(*header)) {
 321                         return NULL;
 322                 }
 323                 *header = *(struct ctdb_ltdb_header *)&r->data[r->keylen];
 324         }
 325
 326         return r;
 327 }
 328
 329 /*
 330   if possible, make this task very high priority
 331  */
 332 void ctdb_high_priority(struct ctdb_context *ctdb)
 333 {
 334         errno = 0;
 335         if (nice(-20) == -1 && errno != 0) {
 336                 DEBUG(DEBUG_WARNING,("Unable to renice self: %s\n",
 337                                      strerror(errno)));
 338         } else {
 339                 DEBUG(DEBUG_NOTICE,("Scheduler says I'm nice: %i\n",
 340                                     getpriority(PRIO_PROCESS, getpid())));
 341         }
 342 }
 343
 344 /*
 345   make ourselves slightly nicer: eg. a ctdb child.
 346  */
 347 void ctdb_reduce_priority(struct ctdb_context *ctdb)
 348 {
 349         errno = 0;
 350         if (nice(10) == -1 && errno != 0) {
 351                 DEBUG(DEBUG_WARNING,("Unable to lower priority: %s\n",
 352                                      strerror(errno)));
 353         }
 354 }
 355
 356 void set_nonblocking(int fd)
 357 {
 358         unsigned v;
 359         v = fcntl(fd, F_GETFL, 0);
 360         fcntl(fd, F_SETFL, v | O_NONBLOCK);
 361 }
 362
 363 void set_close_on_exec(int fd)
 364 {
 365         unsigned v;
 366         v = fcntl(fd, F_GETFD, 0);
 367         fcntl(fd, F_SETFD, v | FD_CLOEXEC);
 368 }
 369
 370
 371 bool parse_ipv4(const char *s, unsigned port, struct sockaddr_in *sin)
 372 {
 373         sin->sin_family = AF_INET;
 374         sin->sin_port   = htons(port);
 375
 376         if (inet_pton(AF_INET, s, &sin->sin_addr) != 1) {
 377                 DEBUG(DEBUG_ERR, (__location__ " Failed to translate %s into sin_addr\n", s));
 378                 return false;
 379         }
 380
 381         return true;
 382 }
 383
 384 static bool parse_ipv6(const char *s, const char *ifaces, unsigned port, ctdb_sock_addr *saddr)
 385 {
 386         saddr->ip6.sin6_family   = AF_INET6;
 387         saddr->ip6.sin6_port     = htons(port);
 388         saddr->ip6.sin6_flowinfo = 0;
 389         saddr->ip6.sin6_scope_id = 0;
 390
 391         if (inet_pton(AF_INET6, s, &saddr->ip6.sin6_addr) != 1) {
 392                 DEBUG(DEBUG_ERR, (__location__ " Failed to translate %s into sin6_addr\n", s));
 393                 return false;
 394         }
 395
 396         if (ifaces && IN6_IS_ADDR_LINKLOCAL(&saddr->ip6.sin6_addr)) {
 397                 if (strchr(ifaces, ',')) {
 398                         DEBUG(DEBUG_ERR, (__location__ " Link local address %s "
 399                                           "is specified for multiple ifaces %s\n",
 400                                           s, ifaces));
 401                         return false;
 402                 }
 403                 saddr->ip6.sin6_scope_id = if_nametoindex(ifaces);
 404         }
 405
 406         return true;
 407 }
 408 /*
 409   parse a ip:port pair
 410  */
 411 bool parse_ip_port(const char *addr, ctdb_sock_addr *saddr)
 412 {
 413         TALLOC_CTX *tmp_ctx = talloc_new(NULL);
 414         char *s, *p;
 415         unsigned port;
 416         char *endp = NULL;
 417         bool ret;
 418
 419         s = talloc_strdup(tmp_ctx, addr);
 420         if (s == NULL) {
 421                 DEBUG(DEBUG_ERR, (__location__ " Failed strdup()\n"));
 422                 talloc_free(tmp_ctx);
 423                 return false;
 424         }
 425
 426         p = rindex(s, ':');
 427         if (p == NULL) {
 428                 DEBUG(DEBUG_ERR, (__location__ " This addr: %s does not contain a port number\n", s));
 429                 talloc_free(tmp_ctx);
 430                 return false;
 431         }
 432
 433         port = strtoul(p+1, &endp, 10);
 434         if (endp == NULL || *endp != 0) {
 435                 /* trailing garbage */
 436                 DEBUG(DEBUG_ERR, (__location__ " Trailing garbage after the port in %s\n", s));
 437                 talloc_free(tmp_ctx);
 438                 return false;
 439         }
 440         *p = 0;
 441
 442
 443         /* now is this a ipv4 or ipv6 address ?*/
 444         ret = parse_ip(s, NULL, port, saddr);
 445
 446         talloc_free(tmp_ctx);
 447         return ret;
 448 }
 449
 450 /*
 451   parse an ip
 452  */
 453 bool parse_ip(const char *addr, const char *ifaces, unsigned port, ctdb_sock_addr *saddr)
 454 {
 455         char *p;
 456         bool ret;
 457
 458         /* now is this a ipv4 or ipv6 address ?*/
 459         p = index(addr, ':');
 460         if (p == NULL) {
 461                 ret = parse_ipv4(addr, port, &saddr->ip);
 462         } else {
 463                 ret = parse_ipv6(addr, ifaces, port, saddr);
 464         }
 465
 466         return ret;
 467 }
 468
 469 /*
 470   parse a ip/mask pair
 471  */
 472 bool parse_ip_mask(const char *str, const char *ifaces, ctdb_sock_addr *addr, unsigned *mask)
 473 {
 474         TALLOC_CTX *tmp_ctx = talloc_new(NULL);
 475         char *s, *p;
 476         char *endp = NULL;
 477         bool ret;
 478
 479         ZERO_STRUCT(*addr);
 480         s = talloc_strdup(tmp_ctx, str);
 481         if (s == NULL) {
 482                 DEBUG(DEBUG_ERR, (__location__ " Failed strdup()\n"));
 483                 talloc_free(tmp_ctx);
 484                 return false;
 485         }
 486
 487         p = rindex(s, '/');
 488         if (p == NULL) {
 489                 DEBUG(DEBUG_ERR, (__location__ " This addr: %s does not contain a mask\n", s));
 490                 talloc_free(tmp_ctx);
 491                 return false;
 492         }
 493
 494         *mask = strtoul(p+1, &endp, 10);
 495         if (endp == NULL || *endp != 0) {
 496                 /* trailing garbage */
 497                 DEBUG(DEBUG_ERR, (__location__ " Trailing garbage after the mask in %s\n", s));
 498                 talloc_free(tmp_ctx);
 499                 return false;
 500         }
 501         *p = 0;
 502
 503
 504         /* now is this a ipv4 or ipv6 address ?*/
 505         ret = parse_ip(s, ifaces, 0, addr);
 506
 507         talloc_free(tmp_ctx);
 508         return ret;
 509 }
 510
 511 /*
 512    This is used to canonicalize a ctdb_sock_addr structure.
 513 */
 514 void ctdb_canonicalize_ip(const ctdb_sock_addr *ip, ctdb_sock_addr *cip)
 515 {
 516         char prefix[12] = { 0,0,0,0,0,0,0,0,0,0,0xff,0xff };
 517
 518         memcpy(cip, ip, sizeof (*cip));
 519
 520         if ( (ip->sa.sa_family == AF_INET6)
 521         && !memcmp(&ip->ip6.sin6_addr, prefix, 12)) {
 522                 memset(cip, 0, sizeof(*cip));
 523 #ifdef HAVE_SOCK_SIN_LEN
 524                 cip->ip.sin_len = sizeof(*cip);
 525 #endif
 526                 cip->ip.sin_family = AF_INET;
 527                 cip->ip.sin_port   = ip->ip6.sin6_port;
 528                 memcpy(&cip->ip.sin_addr, &ip->ip6.sin6_addr.s6_addr32[3], 4);
 529         }
 530 }
 531
 532 bool ctdb_same_ip(const ctdb_sock_addr *tip1, const ctdb_sock_addr *tip2)
 533 {
 534         ctdb_sock_addr ip1, ip2;
 535
 536         ctdb_canonicalize_ip(tip1, &ip1);
 537         ctdb_canonicalize_ip(tip2, &ip2);
 538
 539         if (ip1.sa.sa_family != ip2.sa.sa_family) {
 540                 return false;
 541         }
 542
 543         switch (ip1.sa.sa_family) {
 544         case AF_INET:
 545                 return ip1.ip.sin_addr.s_addr == ip2.ip.sin_addr.s_addr;
 546         case AF_INET6:
 547                 return !memcmp(&ip1.ip6.sin6_addr.s6_addr[0],
 548                                 &ip2.ip6.sin6_addr.s6_addr[0],
 549                                 16);
 550         default:
 551                 DEBUG(DEBUG_ERR, (__location__ " CRITICAL Can not compare sockaddr structures of type %u\n", ip1.sa.sa_family));
 552                 return false;
 553         }
 554
 555         return true;
 556 }
 557
 558 /*
 559   compare two ctdb_sock_addr structures
 560  */
 561 bool ctdb_same_sockaddr(const ctdb_sock_addr *ip1, const ctdb_sock_addr *ip2)
 562 {
 563         return ctdb_same_ip(ip1, ip2) && ip1->ip.sin_port == ip2->ip.sin_port;
 564 }
 565
 566 char *ctdb_addr_to_str(ctdb_sock_addr *addr)
 567 {
 568         static char cip[128] = "";
 569
 570         switch (addr->sa.sa_family) {
 571         case AF_INET:
 572                 inet_ntop(addr->ip.sin_family, &addr->ip.sin_addr, cip, sizeof(cip));
 573                 break;
 574         case AF_INET6:
 575                 inet_ntop(addr->ip6.sin6_family, &addr->ip6.sin6_addr, cip, sizeof(cip));
 576                 break;
 577         default:
 578                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
 579         }
 580
 581         return cip;
 582 }
 583
 584 unsigned ctdb_addr_to_port(ctdb_sock_addr *addr)
 585 {
 586         switch (addr->sa.sa_family) {
 587         case AF_INET:
 588                 return ntohs(addr->ip.sin_port);
 589                 break;
 590         case AF_INET6:
 591                 return ntohs(addr->ip6.sin6_port);
 592                 break;
 593         default:
 594                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
 595         }
 596
 597         return 0;
 598 }
 599
 600 void ctdb_block_signal(int signum)
 601 {
 602         sigset_t set;
 603         sigemptyset(&set);
 604         sigaddset(&set,signum);
 605         sigprocmask(SIG_BLOCK,&set,NULL);
 606 }
 607
 608 void ctdb_unblock_signal(int signum)
 609 {
 610         sigset_t set;
 611         sigemptyset(&set);
 612         sigaddset(&set,signum);
 613         sigprocmask(SIG_UNBLOCK,&set,NULL);
 614 }
 615
 616 struct debug_levels debug_levels[] = {
 617         {DEBUG_EMERG,   "EMERG"},
 618         {DEBUG_ALERT,   "ALERT"},
 619         {DEBUG_CRIT,    "CRIT"},
 620         {DEBUG_ERR,     "ERR"},
 621         {DEBUG_WARNING, "WARNING"},
 622         {DEBUG_NOTICE,  "NOTICE"},
 623         {DEBUG_INFO,    "INFO"},
 624         {DEBUG_DEBUG,   "DEBUG"},
 625         {0, NULL}
 626 };
 627
 628 const char *get_debug_by_level(int32_t level)
 629 {
 630         int i;
 631
 632         for (i=0; debug_levels[i].description != NULL; i++) {
 633                 if (debug_levels[i].level == level) {
 634                         return debug_levels[i].description;
 635                 }
 636         }
 637         return "Unknown";
 638 }
 639
 640 int32_t get_debug_by_desc(const char *desc)
 641 {
 642         int i;
 643
 644         for (i=0; debug_levels[i].description != NULL; i++) {
 645                 if (!strcmp(debug_levels[i].description, desc)) {
 646                         return debug_levels[i].level;
 647                 }
 648         }
 649
 650         return DEBUG_ERR;
 651 }
 652
 653 /* we don't lock future pages here; it would increase the chance that
 654  * we'd fail to mmap later on. */
 655 void ctdb_lockdown_memory(struct ctdb_context *ctdb)
 656 {
 657 #ifdef HAVE_MLOCKALL
 658         /* Extra stack, please! */
 659         char dummy[10000];
 660         memset(dummy, 0, sizeof(dummy));
 661
 662         if (ctdb->valgrinding) {
 663                 return;
 664         }
 665
 666         /* Avoid compiler optimizing out dummy. */
 667         mlock(dummy, sizeof(dummy));
 668         if (mlockall(MCL_CURRENT) != 0) {
 669                 DEBUG(DEBUG_WARNING,("Failed to lock memory: %s'\n",
 670                                      strerror(errno)));
 671         }
 672 #endif
 673 }
 674
 675 const char *ctdb_eventscript_call_names[] = {
 676         "init",
 677         "setup",
 678         "startup",
 679         "startrecovery",
 680         "recovered",
 681         "takeip",
 682         "releaseip",
 683         "stopped",
 684         "monitor",
 685         "status",
 686         "shutdown",
 687         "reload",
 688         "updateip",
 689         "ipreallocated"
 690 };