ctdb-util: Refactor record marshalling routines to avoid extra talloc
[obnox/samba/samba-obnox.git] / ctdb / common / ctdb_util.c
1 /* 
2    ctdb utility code
3
4    Copyright (C) Andrew Tridgell  2006
5
6    This program is free software; you can redistribute it and/or modify
7    it under the terms of the GNU General Public License as published by
8    the Free Software Foundation; either version 3 of the License, or
9    (at your option) any later version.
10    
11    This program is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14    GNU General Public License for more details.
15    
16    You should have received a copy of the GNU General Public License
17    along with this program; if not, see <http://www.gnu.org/licenses/>.
18 */
19
20 #include "includes.h"
21 #include "tdb.h"
22 #include "system/network.h"
23 #include "system/filesys.h"
24 #include "system/wait.h"
25 #include "../include/ctdb_private.h"
26
27 /*
28   return error string for last error
29 */
30 const char *ctdb_errstr(struct ctdb_context *ctdb)
31 {
32         return ctdb->err_msg;
33 }
34
35
36 /*
37   remember an error message
38 */
39 void ctdb_set_error(struct ctdb_context *ctdb, const char *fmt, ...)
40 {
41         va_list ap;
42         talloc_free(ctdb->err_msg);
43         va_start(ap, fmt);
44         ctdb->err_msg = talloc_vasprintf(ctdb, fmt, ap);
45         DEBUG(DEBUG_ERR,("ctdb error: %s\n", ctdb->err_msg));
46         va_end(ap);
47 }
48
49 /*
50   a fatal internal error occurred - no hope for recovery
51 */
52 void ctdb_fatal(struct ctdb_context *ctdb, const char *msg)
53 {
54         DEBUG(DEBUG_ALERT,("ctdb fatal error: %s\n", msg));
55         abort();
56 }
57
58 /*
59   like ctdb_fatal() but a core/backtrace would not be useful
60 */
61 void ctdb_die(struct ctdb_context *ctdb, const char *msg)
62 {
63         DEBUG(DEBUG_ALERT,("ctdb exiting with error: %s\n", msg));
64         exit(1);
65 }
66
67 /* Invoke an external program to do some sort of tracing on the CTDB
68  * process.  This might block for a little while.  The external
69  * program is specified by the environment variable
70  * CTDB_EXTERNAL_TRACE.  This program should take one argument: the
71  * pid of the process to trace.  Commonly, the program would be a
72  * wrapper script around gcore.
73  */
74 void ctdb_external_trace(void)
75 {
76
77         const char * t = getenv("CTDB_EXTERNAL_TRACE");
78         char * cmd;
79
80         if (t == NULL) {
81                 return;
82         }
83
84         cmd = talloc_asprintf(NULL, "%s %lu", t, (unsigned long) getpid());
85         DEBUG(DEBUG_WARNING,("begin external trace: %s\n", cmd));
86         system(cmd);
87         DEBUG(DEBUG_WARNING,("end external trace: %s\n", cmd));
88         talloc_free(cmd);
89 }
90
91 /*
92   parse a IP:port pair
93 */
94 int ctdb_parse_address(struct ctdb_context *ctdb,
95                        TALLOC_CTX *mem_ctx, const char *str,
96                        struct ctdb_address *address)
97 {
98         struct servent *se;
99
100         setservent(0);
101         se = getservbyname("ctdb", "tcp");
102         endservent();
103         
104         address->address = talloc_strdup(mem_ctx, str);
105         CTDB_NO_MEMORY(ctdb, address->address);
106
107         if (se == NULL) {
108                 address->port = CTDB_PORT;
109         } else {
110                 address->port = ntohs(se->s_port);
111         }
112         return 0;
113 }
114
115
116 /*
117   check if two addresses are the same
118 */
119 bool ctdb_same_address(struct ctdb_address *a1, struct ctdb_address *a2)
120 {
121         return strcmp(a1->address, a2->address) == 0 && a1->port == a2->port;
122 }
123
124
125 /*
126   hash function for mapping data to a VNN - taken from tdb
127 */
128 uint32_t ctdb_hash(const TDB_DATA *key)
129 {
130         return tdb_jenkins_hash(discard_const(key));
131 }
132
133 /*
134   a type checking varient of idr_find
135  */
136 static void *_idr_find_type(struct idr_context *idp, int id, const char *type, const char *location)
137 {
138         void *p = idr_find(idp, id);
139         if (p && talloc_check_name(p, type) == NULL) {
140                 DEBUG(DEBUG_ERR,("%s idr_find_type expected type %s  but got %s\n",
141                          location, type, talloc_get_name(p)));
142                 return NULL;
143         }
144         return p;
145 }
146
147 uint32_t ctdb_reqid_new(struct ctdb_context *ctdb, void *state)
148 {
149         int id = idr_get_new_above(ctdb->idr, state, ctdb->lastid+1, INT_MAX);
150         if (id < 0) {
151                 DEBUG(DEBUG_DEBUG, ("Reqid wrap!\n"));
152                 id = idr_get_new(ctdb->idr, state, INT_MAX);
153         }
154         ctdb->lastid = id;
155         return id;
156 }
157
158 void *_ctdb_reqid_find(struct ctdb_context *ctdb, uint32_t reqid, const char *type, const char *location)
159 {
160         void *p;
161
162         p = _idr_find_type(ctdb->idr, reqid, type, location);
163         if (p == NULL) {
164                 DEBUG(DEBUG_WARNING, ("Could not find idr:%u\n",reqid));
165         }
166
167         return p;
168 }
169
170
171 void ctdb_reqid_remove(struct ctdb_context *ctdb, uint32_t reqid)
172 {
173         int ret;
174
175         ret = idr_remove(ctdb->idr, reqid);
176         if (ret != 0) {
177                 DEBUG(DEBUG_ERR, ("Removing idr that does not exist\n"));
178         }
179 }
180
181
182 static uint32_t ctdb_marshall_record_size(TDB_DATA key,
183                                           struct ctdb_ltdb_header *header,
184                                           TDB_DATA data)
185 {
186         return offsetof(struct ctdb_rec_data, data) + key.dsize +
187                data.dsize + (header ? sizeof(*header) : 0);
188 }
189
190 static void ctdb_marshall_record_copy(struct ctdb_rec_data *rec,
191                                       uint32_t reqid,
192                                       TDB_DATA key,
193                                       struct ctdb_ltdb_header *header,
194                                       TDB_DATA data,
195                                       uint32_t length)
196 {
197         uint32_t offset;
198
199         rec->length = length;
200         rec->reqid = reqid;
201         rec->keylen = key.dsize;
202         memcpy(&rec->data[0], key.dptr, key.dsize);
203         offset = key.dsize;
204
205         if (header) {
206                 rec->datalen = data.dsize + sizeof(*header);
207                 memcpy(&rec->data[offset], header, sizeof(*header));
208                 offset += sizeof(*header);
209         } else {
210                 rec->datalen = data.dsize;
211         }
212         memcpy(&rec->data[offset], data.dptr, data.dsize);
213 }
214
215 /*
216   form a ctdb_rec_data record from a key/data pair
217   
218   note that header may be NULL. If not NULL then it is included in the data portion
219   of the record
220  */
221 struct ctdb_rec_data *ctdb_marshall_record(TALLOC_CTX *mem_ctx, uint32_t reqid,
222                                            TDB_DATA key,
223                                            struct ctdb_ltdb_header *header,
224                                            TDB_DATA data)
225 {
226         size_t length;
227         struct ctdb_rec_data *d;
228
229         length = ctdb_marshall_record_size(key, header, data);
230
231         d = (struct ctdb_rec_data *)talloc_size(mem_ctx, length);
232         if (d == NULL) {
233                 return NULL;
234         }
235
236         ctdb_marshall_record_copy(d, reqid, key, header, data, length);
237         return d;
238 }
239
240
241 /* helper function for marshalling multiple records */
242 struct ctdb_marshall_buffer *ctdb_marshall_add(TALLOC_CTX *mem_ctx,
243                                                struct ctdb_marshall_buffer *m,
244                                                uint64_t db_id,
245                                                uint32_t reqid,
246                                                TDB_DATA key,
247                                                struct ctdb_ltdb_header *header,
248                                                TDB_DATA data)
249 {
250         struct ctdb_rec_data *r;
251         struct ctdb_marshall_buffer *m2;
252         uint32_t length, offset;
253
254         length = ctdb_marshall_record_size(key, header, data);
255
256         if (m == NULL) {
257                 offset = offsetof(struct ctdb_marshall_buffer, data);
258                 m2 = talloc_zero_size(mem_ctx, offset + length);
259         } else {
260                 offset = talloc_get_size(m);
261                 m2 = talloc_realloc_size(mem_ctx, m, offset + length);
262         }
263         if (m2 == NULL) {
264                 TALLOC_FREE(m);
265                 return NULL;
266         }
267
268         if (m == NULL) {
269                 m2->db_id = db_id;
270         }
271
272         r = (struct ctdb_rec_data *)((uint8_t *)m2 + offset);
273         ctdb_marshall_record_copy(r, reqid, key, header, data, length);
274         m2->count++;
275
276         return m2;
277 }
278
279 /* we've finished marshalling, return a data blob with the marshalled records */
280 TDB_DATA ctdb_marshall_finish(struct ctdb_marshall_buffer *m)
281 {
282         TDB_DATA data;
283         data.dptr = (uint8_t *)m;
284         data.dsize = talloc_get_size(m);
285         return data;
286 }
287
288 /* 
289    loop over a marshalling buffer 
290    
291      - pass r==NULL to start
292      - loop the number of times indicated by m->count
293 */
294 struct ctdb_rec_data *ctdb_marshall_loop_next(struct ctdb_marshall_buffer *m, struct ctdb_rec_data *r,
295                                               uint32_t *reqid,
296                                               struct ctdb_ltdb_header *header,
297                                               TDB_DATA *key, TDB_DATA *data)
298 {
299         if (r == NULL) {
300                 r = (struct ctdb_rec_data *)&m->data[0];
301         } else {
302                 r = (struct ctdb_rec_data *)(r->length + (uint8_t *)r);
303         }
304
305         if (reqid != NULL) {
306                 *reqid = r->reqid;
307         }
308         
309         if (key != NULL) {
310                 key->dptr   = &r->data[0];
311                 key->dsize  = r->keylen;
312         }
313         if (data != NULL) {
314                 data->dptr  = &r->data[r->keylen];
315                 data->dsize = r->datalen;
316                 if (header != NULL) {
317                         data->dptr += sizeof(*header);
318                         data->dsize -= sizeof(*header);
319                 }
320         }
321
322         if (header != NULL) {
323                 if (r->datalen < sizeof(*header)) {
324                         return NULL;
325                 }
326                 *header = *(struct ctdb_ltdb_header *)&r->data[r->keylen];
327         }
328
329         return r;
330 }
331
332 /*
333    This is used to canonicalize a ctdb_sock_addr structure.
334 */
335 void ctdb_canonicalize_ip(const ctdb_sock_addr *ip, ctdb_sock_addr *cip)
336 {
337         char prefix[12] = { 0,0,0,0,0,0,0,0,0,0,0xff,0xff };
338
339         memcpy(cip, ip, sizeof (*cip));
340
341         if ( (ip->sa.sa_family == AF_INET6)
342         && !memcmp(&ip->ip6.sin6_addr, prefix, 12)) {
343                 memset(cip, 0, sizeof(*cip));
344 #ifdef HAVE_SOCK_SIN_LEN
345                 cip->ip.sin_len = sizeof(*cip);
346 #endif
347                 cip->ip.sin_family = AF_INET;
348                 cip->ip.sin_port   = ip->ip6.sin6_port;
349                 memcpy(&cip->ip.sin_addr, &ip->ip6.sin6_addr.s6_addr[12], 4);
350         }
351 }
352
353 bool ctdb_same_ip(const ctdb_sock_addr *tip1, const ctdb_sock_addr *tip2)
354 {
355         ctdb_sock_addr ip1, ip2;
356
357         ctdb_canonicalize_ip(tip1, &ip1);
358         ctdb_canonicalize_ip(tip2, &ip2);
359         
360         if (ip1.sa.sa_family != ip2.sa.sa_family) {
361                 return false;
362         }
363
364         switch (ip1.sa.sa_family) {
365         case AF_INET:
366                 return ip1.ip.sin_addr.s_addr == ip2.ip.sin_addr.s_addr;
367         case AF_INET6:
368                 return !memcmp(&ip1.ip6.sin6_addr.s6_addr[0],
369                                 &ip2.ip6.sin6_addr.s6_addr[0],
370                                 16);
371         default:
372                 DEBUG(DEBUG_ERR, (__location__ " CRITICAL Can not compare sockaddr structures of type %u\n", ip1.sa.sa_family));
373                 return false;
374         }
375
376         return true;
377 }
378
379 /*
380   compare two ctdb_sock_addr structures
381  */
382 bool ctdb_same_sockaddr(const ctdb_sock_addr *ip1, const ctdb_sock_addr *ip2)
383 {
384         return ctdb_same_ip(ip1, ip2) && ip1->ip.sin_port == ip2->ip.sin_port;
385 }
386
387 char *ctdb_addr_to_str(ctdb_sock_addr *addr)
388 {
389         static char cip[128] = "";
390
391         switch (addr->sa.sa_family) {
392         case AF_INET:
393                 inet_ntop(addr->ip.sin_family, &addr->ip.sin_addr, cip, sizeof(cip));
394                 break;
395         case AF_INET6:
396                 inet_ntop(addr->ip6.sin6_family, &addr->ip6.sin6_addr, cip, sizeof(cip));
397                 break;
398         default:
399                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
400                 ctdb_external_trace();
401         }
402
403         return cip;
404 }
405
406 unsigned ctdb_addr_to_port(ctdb_sock_addr *addr)
407 {
408         switch (addr->sa.sa_family) {
409         case AF_INET:
410                 return ntohs(addr->ip.sin_port);
411                 break;
412         case AF_INET6:
413                 return ntohs(addr->ip6.sin6_port);
414                 break;
415         default:
416                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
417         }
418
419         return 0;
420 }
421
422
423 const char *ctdb_eventscript_call_names[] = {
424         "init",
425         "setup",
426         "startup",
427         "startrecovery",
428         "recovered",
429         "takeip",
430         "releaseip",
431         "stopped",
432         "monitor",
433         "status",
434         "shutdown",
435         "reload",
436         "updateip",
437         "ipreallocated"
438 };
439
440 /* Runstate handling */
441 static struct {
442         enum ctdb_runstate runstate;
443         const char * label;
444 } runstate_map[] = {
445         { CTDB_RUNSTATE_UNKNOWN, "UNKNOWN" },
446         { CTDB_RUNSTATE_INIT, "INIT" },
447         { CTDB_RUNSTATE_SETUP, "SETUP" },
448         { CTDB_RUNSTATE_FIRST_RECOVERY, "FIRST_RECOVERY" },
449         { CTDB_RUNSTATE_STARTUP, "STARTUP" },
450         { CTDB_RUNSTATE_RUNNING, "RUNNING" },
451         { CTDB_RUNSTATE_SHUTDOWN, "SHUTDOWN" },
452         { -1, NULL },
453 };
454
455 const char *runstate_to_string(enum ctdb_runstate runstate)
456 {
457         int i;
458         for (i=0; runstate_map[i].label != NULL ; i++) {
459                 if (runstate_map[i].runstate == runstate) {
460                         return runstate_map[i].label;
461                 }
462         }
463
464         return runstate_map[0].label;
465 }
466
467 enum ctdb_runstate runstate_from_string(const char *label)
468 {
469         int i;
470         for (i=0; runstate_map[i].label != NULL; i++) {
471                 if (strcasecmp(runstate_map[i].label, label) == 0) {
472                         return runstate_map[i].runstate;
473                 }
474         }
475
476         return CTDB_RUNSTATE_UNKNOWN;
477 }
478
479 void ctdb_set_runstate(struct ctdb_context *ctdb, enum ctdb_runstate runstate)
480 {
481         if (runstate <= ctdb->runstate) {
482                 ctdb_fatal(ctdb, "runstate must always increase");
483         }
484
485         DEBUG(DEBUG_NOTICE,("Set runstate to %s (%d)\n",
486                             runstate_to_string(runstate), runstate));
487         ctdb->runstate = runstate;
488 }