ctdbd: Add new runstate CTDB_RUNSTATE_FIRST_RECOVERY
[samba.git] / ctdb / common / ctdb_util.c
1 /* 
2    ctdb utility code
3
4    Copyright (C) Andrew Tridgell  2006
5
6    This program is free software; you can redistribute it and/or modify
7    it under the terms of the GNU General Public License as published by
8    the Free Software Foundation; either version 3 of the License, or
9    (at your option) any later version.
10    
11    This program is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14    GNU General Public License for more details.
15    
16    You should have received a copy of the GNU General Public License
17    along with this program; if not, see <http://www.gnu.org/licenses/>.
18 */
19
20 #include "includes.h"
21 #include "lib/tdb/include/tdb.h"
22 #include "system/network.h"
23 #include "system/filesys.h"
24 #include "system/wait.h"
25 #include "system/shmem.h"
26 #include "../include/ctdb_private.h"
27
28 int LogLevel = DEBUG_NOTICE;
29 int this_log_level = 0;
30
31 /*
32   return error string for last error
33 */
34 const char *ctdb_errstr(struct ctdb_context *ctdb)
35 {
36         return ctdb->err_msg;
37 }
38
39
40 /*
41   remember an error message
42 */
43 void ctdb_set_error(struct ctdb_context *ctdb, const char *fmt, ...)
44 {
45         va_list ap;
46         talloc_free(ctdb->err_msg);
47         va_start(ap, fmt);
48         ctdb->err_msg = talloc_vasprintf(ctdb, fmt, ap);
49         DEBUG(DEBUG_ERR,("ctdb error: %s\n", ctdb->err_msg));
50         va_end(ap);
51 }
52
53 /*
54   a fatal internal error occurred - no hope for recovery
55 */
56 void ctdb_fatal(struct ctdb_context *ctdb, const char *msg)
57 {
58         DEBUG(DEBUG_ALERT,("ctdb fatal error: %s\n", msg));
59         abort();
60 }
61
62 /* Invoke an external program to do some sort of tracing on the CTDB
63  * process.  This might block for a little while.  The external
64  * program is specified by the environment variable
65  * CTDB_EXTERNAL_TRACE.  This program should take one argument: the
66  * pid of the process to trace.  Commonly, the program would be a
67  * wrapper script around gcore.
68  */
69 void ctdb_external_trace(void)
70 {
71
72         const char * t = getenv("CTDB_EXTERNAL_TRACE");
73         char * cmd;
74
75         if (t == NULL) {
76                 return;
77         }
78
79         cmd = talloc_asprintf(NULL, "%s %lu", t, (unsigned long) getpid());
80         DEBUG(DEBUG_WARNING,("begin external trace: %s\n", cmd));
81         system(cmd);
82         DEBUG(DEBUG_WARNING,("end external trace: %s\n", cmd));
83         talloc_free(cmd);
84 }
85
86 /*
87   parse a IP:port pair
88 */
89 int ctdb_parse_address(struct ctdb_context *ctdb,
90                        TALLOC_CTX *mem_ctx, const char *str,
91                        struct ctdb_address *address)
92 {
93         struct servent *se;
94
95         setservent(0);
96         se = getservbyname("ctdb", "tcp");
97         endservent();
98         
99         address->address = talloc_strdup(mem_ctx, str);
100         CTDB_NO_MEMORY(ctdb, address->address);
101
102         if (se == NULL) {
103                 address->port = CTDB_PORT;
104         } else {
105                 address->port = ntohs(se->s_port);
106         }
107         return 0;
108 }
109
110
111 /*
112   check if two addresses are the same
113 */
114 bool ctdb_same_address(struct ctdb_address *a1, struct ctdb_address *a2)
115 {
116         return strcmp(a1->address, a2->address) == 0 && a1->port == a2->port;
117 }
118
119
120 /*
121   hash function for mapping data to a VNN - taken from tdb
122 */
123 uint32_t ctdb_hash(const TDB_DATA *key)
124 {
125         return tdb_jenkins_hash(discard_const(key));
126 }
127
128 /*
129   a type checking varient of idr_find
130  */
131 static void *_idr_find_type(struct idr_context *idp, int id, const char *type, const char *location)
132 {
133         void *p = idr_find(idp, id);
134         if (p && talloc_check_name(p, type) == NULL) {
135                 DEBUG(DEBUG_ERR,("%s idr_find_type expected type %s  but got %s\n",
136                          location, type, talloc_get_name(p)));
137                 return NULL;
138         }
139         return p;
140 }
141
142 uint32_t ctdb_reqid_new(struct ctdb_context *ctdb, void *state)
143 {
144         int id = idr_get_new_above(ctdb->idr, state, ctdb->lastid+1, INT_MAX);
145         if (id < 0) {
146                 DEBUG(DEBUG_DEBUG, ("Reqid wrap!\n"));
147                 id = idr_get_new(ctdb->idr, state, INT_MAX);
148         }
149         ctdb->lastid = id;
150         return id;
151 }
152
153 void *_ctdb_reqid_find(struct ctdb_context *ctdb, uint32_t reqid, const char *type, const char *location)
154 {
155         void *p;
156
157         p = _idr_find_type(ctdb->idr, reqid, type, location);
158         if (p == NULL) {
159                 DEBUG(DEBUG_WARNING, ("Could not find idr:%u\n",reqid));
160         }
161
162         return p;
163 }
164
165
166 void ctdb_reqid_remove(struct ctdb_context *ctdb, uint32_t reqid)
167 {
168         int ret;
169
170         ret = idr_remove(ctdb->idr, reqid);
171         if (ret != 0) {
172                 DEBUG(DEBUG_ERR, ("Removing idr that does not exist\n"));
173         }
174 }
175
176
177 /*
178   form a ctdb_rec_data record from a key/data pair
179   
180   note that header may be NULL. If not NULL then it is included in the data portion
181   of the record
182  */
183 struct ctdb_rec_data *ctdb_marshall_record(TALLOC_CTX *mem_ctx, uint32_t reqid, 
184                                            TDB_DATA key, 
185                                            struct ctdb_ltdb_header *header,
186                                            TDB_DATA data)
187 {
188         size_t length;
189         struct ctdb_rec_data *d;
190
191         length = offsetof(struct ctdb_rec_data, data) + key.dsize + 
192                 data.dsize + (header?sizeof(*header):0);
193         d = (struct ctdb_rec_data *)talloc_size(mem_ctx, length);
194         if (d == NULL) {
195                 return NULL;
196         }
197         d->length = length;
198         d->reqid = reqid;
199         d->keylen = key.dsize;
200         memcpy(&d->data[0], key.dptr, key.dsize);
201         if (header) {
202                 d->datalen = data.dsize + sizeof(*header);
203                 memcpy(&d->data[key.dsize], header, sizeof(*header));
204                 memcpy(&d->data[key.dsize+sizeof(*header)], data.dptr, data.dsize);
205         } else {
206                 d->datalen = data.dsize;
207                 memcpy(&d->data[key.dsize], data.dptr, data.dsize);
208         }
209         return d;
210 }
211
212
213 /* helper function for marshalling multiple records */
214 struct ctdb_marshall_buffer *ctdb_marshall_add(TALLOC_CTX *mem_ctx, 
215                                                struct ctdb_marshall_buffer *m,
216                                                uint64_t db_id,
217                                                uint32_t reqid,
218                                                TDB_DATA key,
219                                                struct ctdb_ltdb_header *header,
220                                                TDB_DATA data)
221 {
222         struct ctdb_rec_data *r;
223         size_t m_size, r_size;
224         struct ctdb_marshall_buffer *m2;
225
226         r = ctdb_marshall_record(mem_ctx, reqid, key, header, data);
227         if (r == NULL) {
228                 talloc_free(m);
229                 return NULL;
230         }
231
232         if (m == NULL) {
233                 m = talloc_zero_size(mem_ctx, offsetof(struct ctdb_marshall_buffer, data));
234                 if (m == NULL) {
235                         return NULL;
236                 }
237                 m->db_id = db_id;
238         }
239
240         m_size = talloc_get_size(m);
241         r_size = talloc_get_size(r);
242
243         m2 = talloc_realloc_size(mem_ctx, m,  m_size + r_size);
244         if (m2 == NULL) {
245                 talloc_free(m);
246                 return NULL;
247         }
248
249         memcpy(m_size + (uint8_t *)m2, r, r_size);
250
251         talloc_free(r);
252
253         m2->count++;
254
255         return m2;
256 }
257
258 /* we've finished marshalling, return a data blob with the marshalled records */
259 TDB_DATA ctdb_marshall_finish(struct ctdb_marshall_buffer *m)
260 {
261         TDB_DATA data;
262         data.dptr = (uint8_t *)m;
263         data.dsize = talloc_get_size(m);
264         return data;
265 }
266
267 /* 
268    loop over a marshalling buffer 
269    
270      - pass r==NULL to start
271      - loop the number of times indicated by m->count
272 */
273 struct ctdb_rec_data *ctdb_marshall_loop_next(struct ctdb_marshall_buffer *m, struct ctdb_rec_data *r,
274                                               uint32_t *reqid,
275                                               struct ctdb_ltdb_header *header,
276                                               TDB_DATA *key, TDB_DATA *data)
277 {
278         if (r == NULL) {
279                 r = (struct ctdb_rec_data *)&m->data[0];
280         } else {
281                 r = (struct ctdb_rec_data *)(r->length + (uint8_t *)r);
282         }
283
284         if (reqid != NULL) {
285                 *reqid = r->reqid;
286         }
287         
288         if (key != NULL) {
289                 key->dptr   = &r->data[0];
290                 key->dsize  = r->keylen;
291         }
292         if (data != NULL) {
293                 data->dptr  = &r->data[r->keylen];
294                 data->dsize = r->datalen;
295                 if (header != NULL) {
296                         data->dptr += sizeof(*header);
297                         data->dsize -= sizeof(*header);
298                 }
299         }
300
301         if (header != NULL) {
302                 if (r->datalen < sizeof(*header)) {
303                         return NULL;
304                 }
305                 *header = *(struct ctdb_ltdb_header *)&r->data[r->keylen];
306         }
307
308         return r;
309 }
310
311
312 #if HAVE_SCHED_H
313 #include <sched.h>
314 #endif
315
316 /*
317   if possible, make this task real time
318  */
319 void ctdb_set_scheduler(struct ctdb_context *ctdb)
320 {
321 #if HAVE_SCHED_SETSCHEDULER     
322         struct sched_param p;
323         if (ctdb->saved_scheduler_param == NULL) {
324                 ctdb->saved_scheduler_param = talloc_size(ctdb, sizeof(p));
325         }
326         
327         if (sched_getparam(0, (struct sched_param *)ctdb->saved_scheduler_param) == -1) {
328                 DEBUG(DEBUG_ERR,("Unable to get old scheduler params\n"));
329                 return;
330         }
331
332         p = *(struct sched_param *)ctdb->saved_scheduler_param;
333         p.sched_priority = 1;
334
335         if (sched_setscheduler(0, SCHED_FIFO, &p) == -1) {
336                 DEBUG(DEBUG_CRIT,("Unable to set scheduler to SCHED_FIFO (%s)\n", 
337                          strerror(errno)));
338         } else {
339                 DEBUG(DEBUG_NOTICE,("Set scheduler to SCHED_FIFO\n"));
340         }
341 #endif
342 }
343
344 /*
345   restore previous scheduler parameters
346  */
347 void ctdb_restore_scheduler(struct ctdb_context *ctdb)
348 {
349 #if HAVE_SCHED_SETSCHEDULER     
350         if (ctdb->saved_scheduler_param == NULL) {
351                 ctdb_fatal(ctdb, "No saved scheduler parameters\n");
352         }
353         if (sched_setscheduler(0, SCHED_OTHER, (struct sched_param *)ctdb->saved_scheduler_param) == -1) {
354                 ctdb_fatal(ctdb, "Unable to restore old scheduler parameters\n");
355         }
356 #endif
357 }
358
359 void set_nonblocking(int fd)
360 {
361         unsigned v;
362         v = fcntl(fd, F_GETFL, 0);
363         fcntl(fd, F_SETFL, v | O_NONBLOCK);
364 }
365
366 void set_close_on_exec(int fd)
367 {
368         unsigned v;
369         v = fcntl(fd, F_GETFD, 0);
370         fcntl(fd, F_SETFD, v | FD_CLOEXEC);
371 }
372
373
374 bool parse_ipv4(const char *s, unsigned port, struct sockaddr_in *sin)
375 {
376         sin->sin_family = AF_INET;
377         sin->sin_port   = htons(port);
378
379         if (inet_pton(AF_INET, s, &sin->sin_addr) != 1) {
380                 DEBUG(DEBUG_ERR, (__location__ " Failed to translate %s into sin_addr\n", s));
381                 return false;
382         }
383
384         return true;
385 }
386
387 static bool parse_ipv6(const char *s, const char *ifaces, unsigned port, ctdb_sock_addr *saddr)
388 {
389         saddr->ip6.sin6_family   = AF_INET6;
390         saddr->ip6.sin6_port     = htons(port);
391         saddr->ip6.sin6_flowinfo = 0;
392         saddr->ip6.sin6_scope_id = 0;
393
394         if (inet_pton(AF_INET6, s, &saddr->ip6.sin6_addr) != 1) {
395                 DEBUG(DEBUG_ERR, (__location__ " Failed to translate %s into sin6_addr\n", s));
396                 return false;
397         }
398
399         if (ifaces && IN6_IS_ADDR_LINKLOCAL(&saddr->ip6.sin6_addr)) {
400                 if (strchr(ifaces, ',')) {
401                         DEBUG(DEBUG_ERR, (__location__ " Link local address %s "
402                                           "is specified for multiple ifaces %s\n",
403                                           s, ifaces));
404                         return false;
405                 }
406                 saddr->ip6.sin6_scope_id = if_nametoindex(ifaces);
407         }
408
409         return true;
410 }
411 /*
412   parse a ip:port pair
413  */
414 bool parse_ip_port(const char *addr, ctdb_sock_addr *saddr)
415 {
416         TALLOC_CTX *tmp_ctx = talloc_new(NULL);
417         char *s, *p;
418         unsigned port;
419         char *endp = NULL;
420         bool ret;
421
422         s = talloc_strdup(tmp_ctx, addr);
423         if (s == NULL) {
424                 DEBUG(DEBUG_ERR, (__location__ " Failed strdup()\n"));
425                 talloc_free(tmp_ctx);
426                 return false;
427         }
428
429         p = rindex(s, ':');
430         if (p == NULL) {
431                 DEBUG(DEBUG_ERR, (__location__ " This addr: %s does not contain a port number\n", s));
432                 talloc_free(tmp_ctx);
433                 return false;
434         }
435
436         port = strtoul(p+1, &endp, 10);
437         if (endp == NULL || *endp != 0) {
438                 /* trailing garbage */
439                 DEBUG(DEBUG_ERR, (__location__ " Trailing garbage after the port in %s\n", s));
440                 talloc_free(tmp_ctx);
441                 return false;
442         }
443         *p = 0;
444
445
446         /* now is this a ipv4 or ipv6 address ?*/
447         ret = parse_ip(s, NULL, port, saddr);
448
449         talloc_free(tmp_ctx);
450         return ret;
451 }
452
453 /*
454   parse an ip
455  */
456 bool parse_ip(const char *addr, const char *ifaces, unsigned port, ctdb_sock_addr *saddr)
457 {
458         char *p;
459         bool ret;
460
461         /* now is this a ipv4 or ipv6 address ?*/
462         p = index(addr, ':');
463         if (p == NULL) {
464                 ret = parse_ipv4(addr, port, &saddr->ip);
465         } else {
466                 ret = parse_ipv6(addr, ifaces, port, saddr);
467         }
468
469         return ret;
470 }
471
472 /*
473   parse a ip/mask pair
474  */
475 bool parse_ip_mask(const char *str, const char *ifaces, ctdb_sock_addr *addr, unsigned *mask)
476 {
477         TALLOC_CTX *tmp_ctx = talloc_new(NULL);
478         char *s, *p;
479         char *endp = NULL;
480         bool ret;
481
482         ZERO_STRUCT(*addr);
483         s = talloc_strdup(tmp_ctx, str);
484         if (s == NULL) {
485                 DEBUG(DEBUG_ERR, (__location__ " Failed strdup()\n"));
486                 talloc_free(tmp_ctx);
487                 return false;
488         }
489
490         p = rindex(s, '/');
491         if (p == NULL) {
492                 DEBUG(DEBUG_ERR, (__location__ " This addr: %s does not contain a mask\n", s));
493                 talloc_free(tmp_ctx);
494                 return false;
495         }
496
497         *mask = strtoul(p+1, &endp, 10);
498         if (endp == NULL || *endp != 0) {
499                 /* trailing garbage */
500                 DEBUG(DEBUG_ERR, (__location__ " Trailing garbage after the mask in %s\n", s));
501                 talloc_free(tmp_ctx);
502                 return false;
503         }
504         *p = 0;
505
506
507         /* now is this a ipv4 or ipv6 address ?*/
508         ret = parse_ip(s, ifaces, 0, addr);
509
510         talloc_free(tmp_ctx);
511         return ret;
512 }
513
514 /*
515    This is used to canonicalize a ctdb_sock_addr structure.
516 */
517 void ctdb_canonicalize_ip(const ctdb_sock_addr *ip, ctdb_sock_addr *cip)
518 {
519         char prefix[12] = { 0,0,0,0,0,0,0,0,0,0,0xff,0xff };
520
521         memcpy(cip, ip, sizeof (*cip));
522
523         if ( (ip->sa.sa_family == AF_INET6)
524         && !memcmp(&ip->ip6.sin6_addr, prefix, 12)) {
525                 memset(cip, 0, sizeof(*cip));
526 #ifdef HAVE_SOCK_SIN_LEN
527                 cip->ip.sin_len = sizeof(*cip);
528 #endif
529                 cip->ip.sin_family = AF_INET;
530                 cip->ip.sin_port   = ip->ip6.sin6_port;
531                 memcpy(&cip->ip.sin_addr, &ip->ip6.sin6_addr.s6_addr[12], 4);
532         }
533 }
534
535 bool ctdb_same_ip(const ctdb_sock_addr *tip1, const ctdb_sock_addr *tip2)
536 {
537         ctdb_sock_addr ip1, ip2;
538
539         ctdb_canonicalize_ip(tip1, &ip1);
540         ctdb_canonicalize_ip(tip2, &ip2);
541         
542         if (ip1.sa.sa_family != ip2.sa.sa_family) {
543                 return false;
544         }
545
546         switch (ip1.sa.sa_family) {
547         case AF_INET:
548                 return ip1.ip.sin_addr.s_addr == ip2.ip.sin_addr.s_addr;
549         case AF_INET6:
550                 return !memcmp(&ip1.ip6.sin6_addr.s6_addr[0],
551                                 &ip2.ip6.sin6_addr.s6_addr[0],
552                                 16);
553         default:
554                 DEBUG(DEBUG_ERR, (__location__ " CRITICAL Can not compare sockaddr structures of type %u\n", ip1.sa.sa_family));
555                 return false;
556         }
557
558         return true;
559 }
560
561 /*
562   compare two ctdb_sock_addr structures
563  */
564 bool ctdb_same_sockaddr(const ctdb_sock_addr *ip1, const ctdb_sock_addr *ip2)
565 {
566         return ctdb_same_ip(ip1, ip2) && ip1->ip.sin_port == ip2->ip.sin_port;
567 }
568
569 char *ctdb_addr_to_str(ctdb_sock_addr *addr)
570 {
571         static char cip[128] = "";
572
573         switch (addr->sa.sa_family) {
574         case AF_INET:
575                 inet_ntop(addr->ip.sin_family, &addr->ip.sin_addr, cip, sizeof(cip));
576                 break;
577         case AF_INET6:
578                 inet_ntop(addr->ip6.sin6_family, &addr->ip6.sin6_addr, cip, sizeof(cip));
579                 break;
580         default:
581                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
582                 ctdb_external_trace();
583         }
584
585         return cip;
586 }
587
588 unsigned ctdb_addr_to_port(ctdb_sock_addr *addr)
589 {
590         switch (addr->sa.sa_family) {
591         case AF_INET:
592                 return ntohs(addr->ip.sin_port);
593                 break;
594         case AF_INET6:
595                 return ntohs(addr->ip6.sin6_port);
596                 break;
597         default:
598                 DEBUG(DEBUG_ERR, (__location__ " ERROR, unknown family %u\n", addr->sa.sa_family));
599         }
600
601         return 0;
602 }
603
604 void ctdb_block_signal(int signum)
605 {
606         sigset_t set;
607         sigemptyset(&set);
608         sigaddset(&set,signum);
609         sigprocmask(SIG_BLOCK,&set,NULL);
610 }
611
612 void ctdb_unblock_signal(int signum)
613 {
614         sigset_t set;
615         sigemptyset(&set);
616         sigaddset(&set,signum);
617         sigprocmask(SIG_UNBLOCK,&set,NULL);
618 }
619
620 struct debug_levels debug_levels[] = {
621         {DEBUG_EMERG,   "EMERG"},
622         {DEBUG_ALERT,   "ALERT"},
623         {DEBUG_CRIT,    "CRIT"},
624         {DEBUG_ERR,     "ERR"},
625         {DEBUG_WARNING, "WARNING"},
626         {DEBUG_NOTICE,  "NOTICE"},
627         {DEBUG_INFO,    "INFO"},
628         {DEBUG_DEBUG,   "DEBUG"},
629         {0, NULL}
630 };
631
632 const char *get_debug_by_level(int32_t level)
633 {
634         int i;
635
636         for (i=0; debug_levels[i].description != NULL; i++) {
637                 if (debug_levels[i].level == level) {
638                         return debug_levels[i].description;
639                 }
640         }
641         return "Unknown";
642 }
643
644 int32_t get_debug_by_desc(const char *desc)
645 {
646         int i;
647
648         for (i=0; debug_levels[i].description != NULL; i++) {
649                 if (!strcmp(debug_levels[i].description, desc)) {
650                         return debug_levels[i].level;
651                 }
652         }
653
654         return DEBUG_ERR;
655 }
656
657 /* we don't lock future pages here; it would increase the chance that
658  * we'd fail to mmap later on. */
659 void ctdb_lockdown_memory(struct ctdb_context *ctdb)
660 {
661 #ifdef HAVE_MLOCKALL
662         /* Extra stack, please! */
663         char dummy[10000];
664         memset(dummy, 0, sizeof(dummy));
665
666         if (ctdb->valgrinding) {
667                 return;
668         }
669
670         /* TODO: Add a command line option to disable memory lockdown.
671          *       This can be a performance issue on AIX since fork() copies
672          *       all locked memory pages. 
673          */
674
675         /* Ignore when running in local daemons mode */
676         if (getuid() != 0) {
677                 return;
678         }
679
680         /* Avoid compiler optimizing out dummy. */
681         mlock(dummy, sizeof(dummy));
682         if (mlockall(MCL_CURRENT) != 0) {
683                 DEBUG(DEBUG_WARNING,("Failed to lockdown memory: %s'\n",
684                                      strerror(errno)));
685         }
686 #endif
687 }
688
689 const char *ctdb_eventscript_call_names[] = {
690         "init",
691         "setup",
692         "startup",
693         "startrecovery",
694         "recovered",
695         "takeip",
696         "releaseip",
697         "stopped",
698         "monitor",
699         "status",
700         "shutdown",
701         "reload",
702         "updateip",
703         "ipreallocated"
704 };
705
706 /* Runstate handling */
707 static struct {
708         enum ctdb_runstate runstate;
709         const char * label;
710 } runstate_map[] = {
711         { CTDB_RUNSTATE_UNKNOWN, "UNKNOWN" },
712         { CTDB_RUNSTATE_INIT, "INIT" },
713         { CTDB_RUNSTATE_SETUP, "SETUP" },
714         { CTDB_RUNSTATE_FIRST_RECOVERY, "FIRST_RECOVERY" },
715         { CTDB_RUNSTATE_STARTUP, "STARTUP" },
716         { CTDB_RUNSTATE_RUNNING, "RUNNING" },
717         { CTDB_RUNSTATE_SHUTDOWN, "SHUTDOWN" },
718         { -1, NULL },
719 };
720
721 const char *runstate_to_string(enum ctdb_runstate runstate)
722 {
723         int i;
724         for (i=0; runstate_map[i].label != NULL ; i++) {
725                 if (runstate_map[i].runstate == runstate) {
726                         return runstate_map[i].label;
727                 }
728         }
729
730         return runstate_map[0].label;
731 }
732
733 enum ctdb_runstate runstate_from_string(const char *label)
734 {
735         int i;
736         for (i=0; runstate_map[i].label != NULL; i++) {
737                 if (strcasecmp(runstate_map[i].label, label) == 0) {
738                         return runstate_map[i].runstate;
739                 }
740         }
741
742         return CTDB_RUNSTATE_UNKNOWN;
743 }
744
745 void ctdb_set_runstate(struct ctdb_context *ctdb, enum ctdb_runstate runstate)
746 {
747         if (runstate <= ctdb->runstate) {
748                 ctdb_fatal(ctdb, "runstate must always increase");
749         }
750
751         DEBUG(DEBUG_NOTICE,("Set runstate to %s (%d)\n",
752                             runstate_to_string(runstate), runstate));
753         ctdb->runstate = runstate;
754 }