ctdb-common: Ensure unused bytes in union are initialised
[metze/samba/wip.git] / ctdb / common / ctdb_util.c
1 /* 
2    ctdb utility code
3
4    Copyright (C) Andrew Tridgell  2006
5
6    This program is free software; you can redistribute it and/or modify
7    it under the terms of the GNU General Public License as published by
8    the Free Software Foundation; either version 3 of the License, or
9    (at your option) any later version.
10    
11    This program is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14    GNU General Public License for more details.
15    
16    You should have received a copy of the GNU General Public License
17    along with this program; if not, see <http://www.gnu.org/licenses/>.
18 */
19
20 #include "replace.h"
21 #include "system/network.h"
22 #include "system/filesys.h"
23 #include "system/wait.h"
24
25 #include <tdb.h>
26
27 #include "lib/util/debug.h"
28 #include "lib/util/samba_util.h"
29
30 #include "ctdb_private.h"
31
32 #include "protocol/protocol_util.h"
33
34 #include "common/reqid.h"
35 #include "common/system.h"
36 #include "common/common.h"
37 #include "common/logging.h"
38
39 /*
40   return error string for last error
41 */
42 const char *ctdb_errstr(struct ctdb_context *ctdb)
43 {
44         return ctdb->err_msg;
45 }
46
47
48 /*
49   remember an error message
50 */
51 void ctdb_set_error(struct ctdb_context *ctdb, const char *fmt, ...)
52 {
53         va_list ap;
54         talloc_free(ctdb->err_msg);
55         va_start(ap, fmt);
56         ctdb->err_msg = talloc_vasprintf(ctdb, fmt, ap);
57         DEBUG(DEBUG_ERR,("ctdb error: %s\n", ctdb->err_msg));
58         va_end(ap);
59 }
60
61 /*
62   a fatal internal error occurred - no hope for recovery
63 */
64 void ctdb_fatal(struct ctdb_context *ctdb, const char *msg)
65 {
66         DEBUG(DEBUG_ALERT,("ctdb fatal error: %s\n", msg));
67         abort();
68 }
69
70 /*
71   like ctdb_fatal() but a core/backtrace would not be useful
72 */
73 void ctdb_die(struct ctdb_context *ctdb, const char *msg)
74 {
75         DEBUG(DEBUG_ALERT,("ctdb exiting with error: %s\n", msg));
76         exit(1);
77 }
78
79 /* Set the path of a helper program from envvar, falling back to
80  * dir/file if envvar unset. type is a string to print in log
81  * messages.  helper is assumed to point to a statically allocated
82  * array of size bytes, initialised to "".  If file is NULL don't fall
83  * back if envvar is unset.  If dir is NULL and envvar is unset (but
84  * file is not NULL) then this is an error.  Returns true if helper is
85  * set, either previously or this time. */
86 bool ctdb_set_helper(const char *type, char *helper, size_t size,
87                      const char *envvar,
88                      const char *dir, const char *file)
89 {
90         const char *t;
91         struct stat st;
92
93         if (helper[0] != '\0') {
94                 /* Already set */
95                 return true;
96         }
97
98         t = getenv(envvar);
99         if (t != NULL) {
100                 if (strlen(t) >= size) {
101                         DEBUG(DEBUG_ERR,
102                               ("Unable to set %s - path too long\n", type));
103                         return false;
104                 }
105
106                 strncpy(helper, t, size);
107         } else if (file == NULL) {
108                 return false;
109         } else if (dir == NULL) {
110                         DEBUG(DEBUG_ERR,
111                               ("Unable to set %s - dir is NULL\n", type));
112                 return false;
113         } else {
114                 if (snprintf(helper, size, "%s/%s", dir, file) >= size) {
115                         DEBUG(DEBUG_ERR,
116                               ("Unable to set %s - path too long\n", type));
117                         return false;
118                 }
119         }
120
121         if (stat(helper, &st) != 0) {
122                 DEBUG(DEBUG_ERR,
123                       ("Unable to set %s \"%s\" - %s\n",
124                        type, helper, strerror(errno)));
125                 return false;
126         }
127         if (!(st.st_mode & S_IXUSR)) {
128                 DEBUG(DEBUG_ERR,
129                       ("Unable to set %s \"%s\" - not executable\n",
130                        type, helper));
131                 return false;
132         }
133
134         DEBUG(DEBUG_NOTICE,
135               ("Set %s to \"%s\"\n", type, helper));
136         return true;
137 }
138
139 /* Invoke an external program to do some sort of tracing on the CTDB
140  * process.  This might block for a little while.  The external
141  * program is specified by the environment variable
142  * CTDB_EXTERNAL_TRACE.  This program should take one argument: the
143  * pid of the process to trace.  Commonly, the program would be a
144  * wrapper script around gcore.
145  */
146 void ctdb_external_trace(void)
147 {
148         int ret;
149         static char external_trace[PATH_MAX+1] = "";
150         char * cmd;
151
152         if (!ctdb_set_helper("external trace handler",
153                              external_trace, sizeof(external_trace),
154                              "CTDB_EXTERNAL_TRACE", NULL, NULL)) {
155                 return;
156         }
157
158         cmd = talloc_asprintf(NULL, "%s %lu", external_trace, (unsigned long) getpid());
159         DEBUG(DEBUG_WARNING,("begin external trace: %s\n", cmd));
160         ret = system(cmd);
161         if (ret == -1) {
162                 DEBUG(DEBUG_ERR,
163                       ("external trace command \"%s\" failed\n", cmd));
164         }
165         DEBUG(DEBUG_WARNING,("end external trace: %s\n", cmd));
166         talloc_free(cmd);
167 }
168
169 /*
170   parse a IP:port pair
171 */
172 int ctdb_parse_address(TALLOC_CTX *mem_ctx, const char *str,
173                        ctdb_sock_addr *address)
174 {
175         struct servent *se;
176         int port;
177         int ret;
178
179         setservent(0);
180         se = getservbyname("ctdb", "tcp");
181         endservent();
182
183         if (se == NULL) {
184                 port = CTDB_PORT;
185         } else {
186                 port = ntohs(se->s_port);
187         }
188
189         ret = ctdb_sock_addr_from_string(str, address, false);
190         if (ret != 0) {
191                 return -1;
192         }
193         ctdb_sock_addr_set_port(address, port);
194
195         return 0;
196 }
197
198
199 /*
200   check if two addresses are the same
201 */
202 bool ctdb_same_address(ctdb_sock_addr *a1, ctdb_sock_addr *a2)
203 {
204         return ctdb_same_ip(a1, a2) &&
205                 ctdb_addr_to_port(a1) == ctdb_addr_to_port(a2);
206 }
207
208
209 /*
210   hash function for mapping data to a VNN - taken from tdb
211 */
212 uint32_t ctdb_hash(const TDB_DATA *key)
213 {
214         return tdb_jenkins_hash(discard_const(key));
215 }
216
217
218 static uint32_t ctdb_marshall_record_size(TDB_DATA key,
219                                           struct ctdb_ltdb_header *header,
220                                           TDB_DATA data)
221 {
222         return offsetof(struct ctdb_rec_data_old, data) + key.dsize +
223                data.dsize + (header ? sizeof(*header) : 0);
224 }
225
226 static void ctdb_marshall_record_copy(struct ctdb_rec_data_old *rec,
227                                       uint32_t reqid,
228                                       TDB_DATA key,
229                                       struct ctdb_ltdb_header *header,
230                                       TDB_DATA data,
231                                       uint32_t length)
232 {
233         uint32_t offset;
234
235         rec->length = length;
236         rec->reqid = reqid;
237         rec->keylen = key.dsize;
238         memcpy(&rec->data[0], key.dptr, key.dsize);
239         offset = key.dsize;
240
241         if (header) {
242                 rec->datalen = data.dsize + sizeof(*header);
243                 memcpy(&rec->data[offset], header, sizeof(*header));
244                 offset += sizeof(*header);
245         } else {
246                 rec->datalen = data.dsize;
247         }
248         memcpy(&rec->data[offset], data.dptr, data.dsize);
249 }
250
251 /*
252   form a ctdb_rec_data record from a key/data pair
253   
254   note that header may be NULL. If not NULL then it is included in the data portion
255   of the record
256  */
257 struct ctdb_rec_data_old *ctdb_marshall_record(TALLOC_CTX *mem_ctx,
258                                                uint32_t reqid,
259                                                TDB_DATA key,
260                                                struct ctdb_ltdb_header *header,
261                                                TDB_DATA data)
262 {
263         size_t length;
264         struct ctdb_rec_data_old *d;
265
266         length = ctdb_marshall_record_size(key, header, data);
267
268         d = (struct ctdb_rec_data_old *)talloc_size(mem_ctx, length);
269         if (d == NULL) {
270                 return NULL;
271         }
272
273         ctdb_marshall_record_copy(d, reqid, key, header, data, length);
274         return d;
275 }
276
277
278 /* helper function for marshalling multiple records */
279 struct ctdb_marshall_buffer *ctdb_marshall_add(TALLOC_CTX *mem_ctx,
280                                                struct ctdb_marshall_buffer *m,
281                                                uint32_t db_id,
282                                                uint32_t reqid,
283                                                TDB_DATA key,
284                                                struct ctdb_ltdb_header *header,
285                                                TDB_DATA data)
286 {
287         struct ctdb_rec_data_old *r;
288         struct ctdb_marshall_buffer *m2;
289         uint32_t length, offset;
290
291         length = ctdb_marshall_record_size(key, header, data);
292
293         if (m == NULL) {
294                 offset = offsetof(struct ctdb_marshall_buffer, data);
295                 m2 = talloc_zero_size(mem_ctx, offset + length);
296         } else {
297                 offset = talloc_get_size(m);
298                 m2 = talloc_realloc_size(mem_ctx, m, offset + length);
299         }
300         if (m2 == NULL) {
301                 TALLOC_FREE(m);
302                 return NULL;
303         }
304
305         if (m == NULL) {
306                 m2->db_id = db_id;
307         }
308
309         r = (struct ctdb_rec_data_old *)((uint8_t *)m2 + offset);
310         ctdb_marshall_record_copy(r, reqid, key, header, data, length);
311         m2->count++;
312
313         return m2;
314 }
315
316 /* we've finished marshalling, return a data blob with the marshalled records */
317 TDB_DATA ctdb_marshall_finish(struct ctdb_marshall_buffer *m)
318 {
319         TDB_DATA data;
320         data.dptr = (uint8_t *)m;
321         data.dsize = talloc_get_size(m);
322         return data;
323 }
324
325 /* 
326    loop over a marshalling buffer 
327    
328      - pass r==NULL to start
329      - loop the number of times indicated by m->count
330 */
331 struct ctdb_rec_data_old *ctdb_marshall_loop_next(
332                                 struct ctdb_marshall_buffer *m,
333                                 struct ctdb_rec_data_old *r,
334                                 uint32_t *reqid,
335                                 struct ctdb_ltdb_header *header,
336                                 TDB_DATA *key, TDB_DATA *data)
337 {
338         if (r == NULL) {
339                 r = (struct ctdb_rec_data_old *)&m->data[0];
340         } else {
341                 r = (struct ctdb_rec_data_old *)(r->length + (uint8_t *)r);
342         }
343
344         if (reqid != NULL) {
345                 *reqid = r->reqid;
346         }
347         
348         if (key != NULL) {
349                 key->dptr   = &r->data[0];
350                 key->dsize  = r->keylen;
351         }
352         if (data != NULL) {
353                 data->dptr  = &r->data[r->keylen];
354                 data->dsize = r->datalen;
355                 if (header != NULL) {
356                         data->dptr += sizeof(*header);
357                         data->dsize -= sizeof(*header);
358                 }
359         }
360
361         if (header != NULL) {
362                 if (r->datalen < sizeof(*header)) {
363                         return NULL;
364                 }
365                 memcpy(header, &r->data[r->keylen], sizeof(*header));
366         }
367
368         return r;
369 }
370
371 /*
372    This is used to canonicalize a ctdb_sock_addr structure.
373 */
374 void ctdb_canonicalize_ip(const ctdb_sock_addr *ip, ctdb_sock_addr *cip)
375 {
376         ZERO_STRUCTP(cip);
377
378         if (ip->sa.sa_family == AF_INET6) {
379                 const char prefix[12] = { 0,0,0,0,0,0,0,0,0,0,0xff,0xff };
380                 if (memcmp(&ip->ip6.sin6_addr, prefix, sizeof(prefix)) == 0) {
381                         /* Copy IPv4-mapped IPv6 addresses as IPv4 */
382                         cip->ip.sin_family = AF_INET;
383 #ifdef HAVE_SOCK_SIN_LEN
384                         cip->ip.sin_len = sizeof(ctdb_sock_addr);
385 #endif
386                         cip->ip.sin_port   = ip->ip6.sin6_port;
387                         memcpy(&cip->ip.sin_addr,
388                                &ip->ip6.sin6_addr.s6_addr[12],
389                                sizeof(cip->ip.sin_addr));
390                 } else {
391                         cip->ip6.sin6_family = AF_INET6;
392 #ifdef HAVE_SOCK_SIN_LEN
393                         cip->ip6.sin_len = sizeof(ctdb_sock_addr);
394 #endif
395                         cip->ip6.sin6_port   = ip->ip6.sin6_port;
396                         memcpy(&cip->ip6.sin6_addr,
397                                &ip->ip6.sin6_addr,
398                                sizeof(cip->ip6.sin6_addr));
399                 }
400
401                 return;
402         }
403
404         if (ip->sa.sa_family == AF_INET) {
405                 cip->ip.sin_family = AF_INET;
406 #ifdef HAVE_SOCK_SIN_LEN
407                 cip->ip.sin_len = sizeof(ctdb_sock_addr);
408 #endif
409                 cip->ip.sin_port = ip->ip.sin_port;
410                 memcpy(&cip->ip.sin_addr,
411                        &ip->ip.sin_addr,
412                        sizeof(ip->ip.sin_addr));
413
414                 return;
415         }
416 }
417
418 bool ctdb_same_ip(const ctdb_sock_addr *tip1, const ctdb_sock_addr *tip2)
419 {
420         ctdb_sock_addr ip1, ip2;
421
422         ctdb_canonicalize_ip(tip1, &ip1);
423         ctdb_canonicalize_ip(tip2, &ip2);
424         
425         if (ip1.sa.sa_family != ip2.sa.sa_family) {
426                 return false;
427         }
428
429         switch (ip1.sa.sa_family) {
430         case AF_INET:
431                 return ip1.ip.sin_addr.s_addr == ip2.ip.sin_addr.s_addr;
432         case AF_INET6:
433                 return !memcmp(&ip1.ip6.sin6_addr.s6_addr[0],
434                                 &ip2.ip6.sin6_addr.s6_addr[0],
435                                 16);
436         default:
437                 DEBUG(DEBUG_ERR, (__location__ " CRITICAL Can not compare sockaddr structures of type %u\n", ip1.sa.sa_family));
438                 return false;
439         }
440
441         return true;
442 }
443
444 /*
445   compare two ctdb_sock_addr structures
446  */
447 bool ctdb_same_sockaddr(const ctdb_sock_addr *ip1, const ctdb_sock_addr *ip2)
448 {
449         return ctdb_same_ip(ip1, ip2) && ip1->ip.sin_port == ip2->ip.sin_port;
450 }
451
452 char *ctdb_addr_to_str(ctdb_sock_addr *addr)
453 {
454         static char cip[128] = "";
455
456         switch (addr->sa.sa_family) {
457         case AF_INET:
458                 inet_ntop(addr->ip.sin_family, &addr->ip.sin_addr, cip, sizeof(cip));
459                 break;
460         case AF_INET6:
461                 inet_ntop(addr->ip6.sin6_family, &addr->ip6.sin6_addr, cip, sizeof(cip));
462                 break;
463         default:
464                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
465                 ctdb_external_trace();
466         }
467
468         return cip;
469 }
470
471 unsigned ctdb_addr_to_port(ctdb_sock_addr *addr)
472 {
473         switch (addr->sa.sa_family) {
474         case AF_INET:
475                 return ntohs(addr->ip.sin_port);
476                 break;
477         case AF_INET6:
478                 return ntohs(addr->ip6.sin6_port);
479                 break;
480         default:
481                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
482         }
483
484         return 0;
485 }
486
487 /* Add a node to a node map with given address and flags */
488 static bool node_map_add(TALLOC_CTX *mem_ctx,
489                          const char *nstr, uint32_t flags,
490                          struct ctdb_node_map_old **node_map)
491 {
492         ctdb_sock_addr addr;
493         uint32_t num;
494         size_t s;
495         struct ctdb_node_and_flags *n;
496
497         /* Might as well do this before trying to allocate memory */
498         if (ctdb_parse_address(mem_ctx, nstr, &addr) == -1) {
499                 return false;
500         }
501
502         num = (*node_map)->num + 1;
503         s = offsetof(struct ctdb_node_map_old, nodes) +
504                 num * sizeof(struct ctdb_node_and_flags);
505         *node_map = talloc_realloc_size(mem_ctx, *node_map, s);
506         if (*node_map == NULL) {
507                 DEBUG(DEBUG_ERR, (__location__ " Out of memory\n"));
508                 return false;
509         }
510
511         n = &(*node_map)->nodes[(*node_map)->num];
512         n->addr = addr;
513         n->pnn = (*node_map)->num;
514         n->flags = flags;
515
516         (*node_map)->num++;
517
518         return true;
519 }
520
521 /* Read a nodes file into a node map */
522 struct ctdb_node_map_old *ctdb_read_nodes_file(TALLOC_CTX *mem_ctx,
523                                            const char *nlist)
524 {
525         char **lines;
526         int nlines;
527         int i;
528         struct ctdb_node_map_old *ret;
529
530         /* Allocate node map header */
531         ret = talloc_zero_size(mem_ctx, offsetof(struct ctdb_node_map_old, nodes));
532         if (ret == NULL) {
533                 DEBUG(DEBUG_ERR, (__location__ " Out of memory\n"));
534                 return false;
535         }
536
537         lines = file_lines_load(nlist, &nlines, 0, mem_ctx);
538         if (lines == NULL) {
539                 DEBUG(DEBUG_ERR, ("Failed to read nodes file \"%s\"\n", nlist));
540                 return false;
541         }
542         while (nlines > 0 && strcmp(lines[nlines-1], "") == 0) {
543                 nlines--;
544         }
545
546         for (i=0; i < nlines; i++) {
547                 char *node;
548                 uint32_t flags;
549                 size_t len;
550
551                 node = lines[i];
552                 /* strip leading spaces */
553                 while((*node == ' ') || (*node == '\t')) {
554                         node++;
555                 }
556
557                 len = strlen(node);
558
559                 while ((len > 1) &&
560                        ((node[len-1] == ' ') || (node[len-1] == '\t')))
561                 {
562                         node[len-1] = '\0';
563                         len--;
564                 }
565
566                 if (len == 0) {
567                         continue;
568                 }
569                 if (*node == '#') {
570                         /* A "deleted" node is a node that is
571                            commented out in the nodes file.  This is
572                            used instead of removing a line, which
573                            would cause subsequent nodes to change
574                            their PNN. */
575                         flags = NODE_FLAGS_DELETED;
576                         node = discard_const("0.0.0.0");
577                 } else {
578                         flags = 0;
579                 }
580                 if (!node_map_add(mem_ctx, node, flags, &ret)) {
581                         talloc_free(lines);
582                         TALLOC_FREE(ret);
583                         return NULL;
584                 }
585         }
586
587         talloc_free(lines);
588         return ret;
589 }
590
591 struct ctdb_node_map_old *
592 ctdb_node_list_to_map(struct ctdb_node **nodes, uint32_t num_nodes,
593                       TALLOC_CTX *mem_ctx)
594 {
595         uint32_t i;
596         size_t size;
597         struct ctdb_node_map_old *node_map;
598
599         size = offsetof(struct ctdb_node_map_old, nodes) +
600                 num_nodes * sizeof(struct ctdb_node_and_flags);
601         node_map  = (struct ctdb_node_map_old *)talloc_zero_size(mem_ctx, size);
602         if (node_map == NULL) {
603                 DEBUG(DEBUG_ERR,
604                       (__location__ " Failed to allocate nodemap array\n"));
605                 return NULL;
606         }
607
608         node_map->num = num_nodes;
609         for (i=0; i<num_nodes; i++) {
610                 node_map->nodes[i].addr  = nodes[i]->address;
611                 node_map->nodes[i].pnn   = nodes[i]->pnn;
612                 node_map->nodes[i].flags = nodes[i]->flags;
613         }
614
615         return node_map;
616 }
617
618 const char *ctdb_eventscript_call_names[] = {
619         "init",
620         "setup",
621         "startup",
622         "startrecovery",
623         "recovered",
624         "takeip",
625         "releaseip",
626         "stopped",
627         "monitor",
628         "status",
629         "shutdown",
630         "reload",
631         "updateip",
632         "ipreallocated"
633 };
634
635 /* Runstate handling */
636 static struct {
637         enum ctdb_runstate runstate;
638         const char * label;
639 } runstate_map[] = {
640         { CTDB_RUNSTATE_UNKNOWN, "UNKNOWN" },
641         { CTDB_RUNSTATE_INIT, "INIT" },
642         { CTDB_RUNSTATE_SETUP, "SETUP" },
643         { CTDB_RUNSTATE_FIRST_RECOVERY, "FIRST_RECOVERY" },
644         { CTDB_RUNSTATE_STARTUP, "STARTUP" },
645         { CTDB_RUNSTATE_RUNNING, "RUNNING" },
646         { CTDB_RUNSTATE_SHUTDOWN, "SHUTDOWN" },
647         { -1, NULL },
648 };
649
650 const char *runstate_to_string(enum ctdb_runstate runstate)
651 {
652         int i;
653         for (i=0; runstate_map[i].label != NULL ; i++) {
654                 if (runstate_map[i].runstate == runstate) {
655                         return runstate_map[i].label;
656                 }
657         }
658
659         return runstate_map[0].label;
660 }
661
662 enum ctdb_runstate runstate_from_string(const char *label)
663 {
664         int i;
665         for (i=0; runstate_map[i].label != NULL; i++) {
666                 if (strcasecmp(runstate_map[i].label, label) == 0) {
667                         return runstate_map[i].runstate;
668                 }
669         }
670
671         return CTDB_RUNSTATE_UNKNOWN;
672 }
673
674 void ctdb_set_runstate(struct ctdb_context *ctdb, enum ctdb_runstate runstate)
675 {
676         DEBUG(DEBUG_NOTICE,("Set runstate to %s (%d)\n",
677                             runstate_to_string(runstate), runstate));
678
679         if (runstate <= ctdb->runstate) {
680                 ctdb_fatal(ctdb, "runstate must always increase");
681         }
682
683         ctdb->runstate = runstate;
684 }
685
686 /* Convert arbitrary data to 4-byte boundary padded uint32 array */
687 uint32_t *ctdb_key_to_idkey(TALLOC_CTX *mem_ctx, TDB_DATA key)
688 {
689         uint32_t idkey_size, *k;
690
691         idkey_size = 1 + (key.dsize + sizeof(uint32_t)-1) / sizeof(uint32_t);
692
693         k = talloc_zero_array(mem_ctx, uint32_t, idkey_size);
694         if (k == NULL) {
695                 return NULL;
696         }
697
698         k[0] = idkey_size;
699         memcpy(&k[1], key.dptr, key.dsize);
700
701         return k;
702 }