Rework cluster_id() to take an additional argument, as we need
[kai/samba-autobuild/.git] / source4 / lib / messaging / messaging.c
1 /* 
2    Unix SMB/CIFS implementation.
3
4    Samba internal messaging functions
5
6    Copyright (C) Andrew Tridgell 2004
7    
8    This program is free software; you can redistribute it and/or modify
9    it under the terms of the GNU General Public License as published by
10    the Free Software Foundation; either version 3 of the License, or
11    (at your option) any later version.
12    
13    This program is distributed in the hope that it will be useful,
14    but WITHOUT ANY WARRANTY; without even the implied warranty of
15    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16    GNU General Public License for more details.
17    
18    You should have received a copy of the GNU General Public License
19    along with this program.  If not, see <http://www.gnu.org/licenses/>.
20 */
21
22 #include "includes.h"
23 #include "lib/events/events.h"
24 #include "system/filesys.h"
25 #include "messaging/messaging.h"
26 #include "lib/util/dlinklist.h"
27 #include "lib/socket/socket.h"
28 #include "librpc/gen_ndr/ndr_irpc.h"
29 #include "lib/messaging/irpc.h"
30 #include "tdb_wrap.h"
31 #include "lib/util/unix_privs.h"
32 #include "librpc/rpc/dcerpc.h"
33 #include "lib/tdb/include/tdb.h"
34 #include "lib/util/util_tdb.h"
35 #include "lib/util/util_tdb.h"
36 #include "cluster/cluster.h"
37 #include "param/param.h"
38
39 /* change the message version with any incompatible changes in the protocol */
40 #define MESSAGING_VERSION 1
41
42 struct messaging_context {
43         struct server_id server_id;
44         struct socket_context *sock;
45         const char *base_path;
46         const char *path;
47         struct dispatch_fn **dispatch;
48         uint32_t num_types;
49         struct idr_context *dispatch_tree;
50         struct messaging_rec *pending;
51         struct messaging_rec *retry_queue;
52         struct smb_iconv_convenience *iconv_convenience;
53         struct irpc_list *irpc;
54         struct idr_context *idr;
55         const char **names;
56         struct timeval start_time;
57         struct timed_event *retry_te;
58         struct {
59                 struct event_context *ev;
60                 struct fd_event *fde;
61         } event;
62 };
63
64 /* we have a linked list of dispatch handlers for each msg_type that
65    this messaging server can deal with */
66 struct dispatch_fn {
67         struct dispatch_fn *next, *prev;
68         uint32_t msg_type;
69         void *private;
70         msg_callback_t fn;
71 };
72
73 /* an individual message */
74 struct messaging_rec {
75         struct messaging_rec *next, *prev;
76         struct messaging_context *msg;
77         const char *path;
78
79         struct messaging_header {
80                 uint32_t version;
81                 uint32_t msg_type;
82                 struct server_id from;
83                 struct server_id to;
84                 uint32_t length;
85         } *header;
86
87         DATA_BLOB packet;
88         uint32_t retries;
89 };
90
91
92 static void irpc_handler(struct messaging_context *, void *, 
93                          uint32_t, struct server_id, DATA_BLOB *);
94
95
96 /*
97  A useful function for testing the message system.
98 */
99 static void ping_message(struct messaging_context *msg, void *private, 
100                          uint32_t msg_type, struct server_id src, DATA_BLOB *data)
101 {
102         DEBUG(1,("INFO: Received PING message from server %u.%u [%.*s]\n",
103                  (uint_t)src.node, (uint_t)src.id, (int)data->length, 
104                  data->data?(const char *)data->data:""));
105         messaging_send(msg, src, MSG_PONG, data);
106 }
107
108 /*
109   return uptime of messaging server via irpc
110 */
111 static NTSTATUS irpc_uptime(struct irpc_message *msg, 
112                             struct irpc_uptime *r)
113 {
114         struct messaging_context *ctx = talloc_get_type(msg->private, struct messaging_context);
115         *r->out.start_time = timeval_to_nttime(&ctx->start_time);
116         return NT_STATUS_OK;
117 }
118
119 /* 
120    return the path to a messaging socket
121 */
122 static char *messaging_path(struct messaging_context *msg, struct server_id server_id)
123 {
124         return talloc_asprintf(msg, "%s/msg.%u.%u", msg->base_path, 
125                                (unsigned)server_id.node, (unsigned)server_id.id);
126 }
127
128 /*
129   dispatch a fully received message
130
131   note that this deliberately can match more than one message handler
132   per message. That allows a single messasging context to register
133   (for example) a debug handler for more than one piece of code
134 */
135 static void messaging_dispatch(struct messaging_context *msg, struct messaging_rec *rec)
136 {
137         struct dispatch_fn *d, *next;
138
139         /* temporary IDs use an idtree, the rest use a array of pointers */
140         if (rec->header->msg_type >= MSG_TMP_BASE) {
141                 d = (struct dispatch_fn *)idr_find(msg->dispatch_tree, 
142                                                    rec->header->msg_type);
143         } else if (rec->header->msg_type < msg->num_types) {
144                 d = msg->dispatch[rec->header->msg_type];
145         } else {
146                 d = NULL;
147         }
148
149         for (; d; d = next) {
150                 DATA_BLOB data;
151                 next = d->next;
152                 data.data = rec->packet.data + sizeof(*rec->header);
153                 data.length = rec->header->length;
154                 d->fn(msg, d->private, d->msg_type, rec->header->from, &data);
155         }
156         rec->header->length = 0;
157 }
158
159 /*
160   handler for messages that arrive from other nodes in the cluster
161 */
162 static void cluster_message_handler(struct messaging_context *msg, DATA_BLOB packet)
163 {
164         struct messaging_rec *rec;
165
166         rec = talloc(msg, struct messaging_rec);
167         if (rec == NULL) {
168                 smb_panic("Unable to allocate messaging_rec");
169         }
170
171         rec->msg           = msg;
172         rec->path          = msg->path;
173         rec->header        = (struct messaging_header *)packet.data;
174         rec->packet        = packet;
175         rec->retries       = 0;
176
177         if (packet.length != sizeof(*rec->header) + rec->header->length) {
178                 DEBUG(0,("messaging: bad message header size %d should be %d\n", 
179                          rec->header->length, (int)(packet.length - sizeof(*rec->header))));
180                 talloc_free(rec);
181                 return;
182         }
183
184         messaging_dispatch(msg, rec);
185         talloc_free(rec);
186 }
187
188
189
190 /*
191   try to send the message
192 */
193 static NTSTATUS try_send(struct messaging_rec *rec)
194 {
195         struct messaging_context *msg = rec->msg;
196         size_t nsent;
197         void *priv;
198         NTSTATUS status;
199         struct socket_address *path;
200
201         /* rec->path is the path of the *other* socket, where we want
202          * this to end up */
203         path = socket_address_from_strings(msg, msg->sock->backend_name, 
204                                            rec->path, 0);
205         if (!path) {
206                 return NT_STATUS_NO_MEMORY;
207         }
208
209         /* we send with privileges so messages work from any context */
210         priv = root_privileges();
211         status = socket_sendto(msg->sock, &rec->packet, &nsent, path);
212         talloc_free(path);
213         talloc_free(priv);
214
215         return status;
216 }
217
218 /*
219   retry backed off messages
220 */
221 static void msg_retry_timer(struct event_context *ev, struct timed_event *te, 
222                             struct timeval t, void *private)
223 {
224         struct messaging_context *msg = talloc_get_type(private, 
225                                                         struct messaging_context);
226         msg->retry_te = NULL;
227
228         /* put the messages back on the main queue */
229         while (msg->retry_queue) {
230                 struct messaging_rec *rec = msg->retry_queue;
231                 DLIST_REMOVE(msg->retry_queue, rec);
232                 DLIST_ADD_END(msg->pending, rec, struct messaging_rec *);
233         }
234
235         EVENT_FD_WRITEABLE(msg->event.fde);     
236 }
237
238 /*
239   handle a socket write event
240 */
241 static void messaging_send_handler(struct messaging_context *msg)
242 {
243         while (msg->pending) {
244                 struct messaging_rec *rec = msg->pending;
245                 NTSTATUS status;
246                 status = try_send(rec);
247                 if (NT_STATUS_EQUAL(status, STATUS_MORE_ENTRIES)) {
248                         rec->retries++;
249                         if (rec->retries > 3) {
250                                 /* we're getting continuous write errors -
251                                    backoff this record */
252                                 DLIST_REMOVE(msg->pending, rec);
253                                 DLIST_ADD_END(msg->retry_queue, rec, 
254                                               struct messaging_rec *);
255                                 if (msg->retry_te == NULL) {
256                                         msg->retry_te = 
257                                                 event_add_timed(msg->event.ev, msg, 
258                                                                 timeval_current_ofs(1, 0), 
259                                                                 msg_retry_timer, msg);
260                                 }
261                         }
262                         break;
263                 }
264                 rec->retries = 0;
265                 if (!NT_STATUS_IS_OK(status)) {
266                         DEBUG(1,("messaging: Lost message from %s to %s of type %u - %s\n", 
267                                  cluster_id_string(debug_ctx(), rec->header->from), 
268                                  cluster_id_string(debug_ctx(), rec->header->to), 
269                                  rec->header->msg_type, 
270                                  nt_errstr(status)));
271                 }
272                 DLIST_REMOVE(msg->pending, rec);
273                 talloc_free(rec);
274         }
275         if (msg->pending == NULL) {
276                 EVENT_FD_NOT_WRITEABLE(msg->event.fde);
277         }
278 }
279
280 /*
281   handle a new incoming packet
282 */
283 static void messaging_recv_handler(struct messaging_context *msg)
284 {
285         struct messaging_rec *rec;
286         NTSTATUS status;
287         DATA_BLOB packet;
288         size_t msize;
289
290         /* see how many bytes are in the next packet */
291         status = socket_pending(msg->sock, &msize);
292         if (!NT_STATUS_IS_OK(status)) {
293                 DEBUG(0,("socket_pending failed in messaging - %s\n", 
294                          nt_errstr(status)));
295                 return;
296         }
297         
298         packet = data_blob_talloc(msg, NULL, msize);
299         if (packet.data == NULL) {
300                 /* assume this is temporary and retry */
301                 return;
302         }
303             
304         status = socket_recv(msg->sock, packet.data, msize, &msize);
305         if (!NT_STATUS_IS_OK(status)) {
306                 data_blob_free(&packet);
307                 return;
308         }
309
310         if (msize < sizeof(*rec->header)) {
311                 DEBUG(0,("messaging: bad message of size %d\n", (int)msize));
312                 data_blob_free(&packet);
313                 return;
314         }
315
316         rec = talloc(msg, struct messaging_rec);
317         if (rec == NULL) {
318                 smb_panic("Unable to allocate messaging_rec");
319         }
320
321         talloc_steal(rec, packet.data);
322         rec->msg           = msg;
323         rec->path          = msg->path;
324         rec->header        = (struct messaging_header *)packet.data;
325         rec->packet        = packet;
326         rec->retries       = 0;
327
328         if (msize != sizeof(*rec->header) + rec->header->length) {
329                 DEBUG(0,("messaging: bad message header size %d should be %d\n", 
330                          rec->header->length, (int)(msize - sizeof(*rec->header))));
331                 talloc_free(rec);
332                 return;
333         }
334
335         messaging_dispatch(msg, rec);
336         talloc_free(rec);
337 }
338
339
340 /*
341   handle a socket event
342 */
343 static void messaging_handler(struct event_context *ev, struct fd_event *fde, 
344                               uint16_t flags, void *private)
345 {
346         struct messaging_context *msg = talloc_get_type(private, 
347                                                         struct messaging_context);
348         if (flags & EVENT_FD_WRITE) {
349                 messaging_send_handler(msg);
350         }
351         if (flags & EVENT_FD_READ) {
352                 messaging_recv_handler(msg);
353         }
354 }
355
356
357 /*
358   Register a dispatch function for a particular message type.
359 */
360 NTSTATUS messaging_register(struct messaging_context *msg, void *private,
361                             uint32_t msg_type, msg_callback_t fn)
362 {
363         struct dispatch_fn *d;
364
365         /* possibly expand dispatch array */
366         if (msg_type >= msg->num_types) {
367                 struct dispatch_fn **dp;
368                 int i;
369                 dp = talloc_realloc(msg, msg->dispatch, struct dispatch_fn *, msg_type+1);
370                 NT_STATUS_HAVE_NO_MEMORY(dp);
371                 msg->dispatch = dp;
372                 for (i=msg->num_types;i<=msg_type;i++) {
373                         msg->dispatch[i] = NULL;
374                 }
375                 msg->num_types = msg_type+1;
376         }
377
378         d = talloc_zero(msg->dispatch, struct dispatch_fn);
379         NT_STATUS_HAVE_NO_MEMORY(d);
380         d->msg_type = msg_type;
381         d->private = private;
382         d->fn = fn;
383
384         DLIST_ADD(msg->dispatch[msg_type], d);
385
386         return NT_STATUS_OK;
387 }
388
389 /*
390   register a temporary message handler. The msg_type is allocated
391   above MSG_TMP_BASE
392 */
393 NTSTATUS messaging_register_tmp(struct messaging_context *msg, void *private,
394                                 msg_callback_t fn, uint32_t *msg_type)
395 {
396         struct dispatch_fn *d;
397         int id;
398
399         d = talloc_zero(msg->dispatch, struct dispatch_fn);
400         NT_STATUS_HAVE_NO_MEMORY(d);
401         d->private = private;
402         d->fn = fn;
403
404         id = idr_get_new_above(msg->dispatch_tree, d, MSG_TMP_BASE, UINT16_MAX);
405         if (id == -1) {
406                 talloc_free(d);
407                 return NT_STATUS_TOO_MANY_CONTEXT_IDS;
408         }
409
410         d->msg_type = (uint32_t)id;
411         (*msg_type) = d->msg_type;
412
413         return NT_STATUS_OK;
414 }
415
416 /*
417   De-register the function for a particular message type.
418 */
419 void messaging_deregister(struct messaging_context *msg, uint32_t msg_type, void *private)
420 {
421         struct dispatch_fn *d, *next;
422
423         if (msg_type >= msg->num_types) {
424                 d = (struct dispatch_fn *)idr_find(msg->dispatch_tree, 
425                                                    msg_type);
426                 if (!d) return;
427                 idr_remove(msg->dispatch_tree, msg_type);
428                 talloc_free(d);
429                 return;
430         }
431
432         for (d = msg->dispatch[msg_type]; d; d = next) {
433                 next = d->next;
434                 if (d->private == private) {
435                         DLIST_REMOVE(msg->dispatch[msg_type], d);
436                         talloc_free(d);
437                 }
438         }
439 }
440
441 /*
442   Send a message to a particular server
443 */
444 NTSTATUS messaging_send(struct messaging_context *msg, struct server_id server, 
445                         uint32_t msg_type, DATA_BLOB *data)
446 {
447         struct messaging_rec *rec;
448         NTSTATUS status;
449         size_t dlength = data?data->length:0;
450
451         rec = talloc(msg, struct messaging_rec);
452         if (rec == NULL) {
453                 return NT_STATUS_NO_MEMORY;
454         }
455
456         rec->packet = data_blob_talloc(rec, NULL, sizeof(*rec->header) + dlength);
457         if (rec->packet.data == NULL) {
458                 talloc_free(rec);
459                 return NT_STATUS_NO_MEMORY;
460         }
461
462         rec->retries       = 0;
463         rec->msg              = msg;
464         rec->header           = (struct messaging_header *)rec->packet.data;
465         rec->header->version  = MESSAGING_VERSION;
466         rec->header->msg_type = msg_type;
467         rec->header->from     = msg->server_id;
468         rec->header->to       = server;
469         rec->header->length   = dlength;
470         if (dlength != 0) {
471                 memcpy(rec->packet.data + sizeof(*rec->header), 
472                        data->data, dlength);
473         }
474
475         if (!cluster_node_equal(&msg->server_id, &server)) {
476                 /* the destination is on another node - dispatch via
477                    the cluster layer */
478                 status = cluster_message_send(server, &rec->packet);
479                 talloc_free(rec);
480                 return status;
481         }
482
483         rec->path = messaging_path(msg, server);
484         talloc_steal(rec, rec->path);
485
486         if (msg->pending != NULL) {
487                 status = STATUS_MORE_ENTRIES;
488         } else {
489                 status = try_send(rec);
490         }
491
492         if (NT_STATUS_EQUAL(status, STATUS_MORE_ENTRIES)) {
493                 if (msg->pending == NULL) {
494                         EVENT_FD_WRITEABLE(msg->event.fde);
495                 }
496                 DLIST_ADD_END(msg->pending, rec, struct messaging_rec *);
497                 return NT_STATUS_OK;
498         }
499
500         talloc_free(rec);
501
502         return status;
503 }
504
505 /*
506   Send a message to a particular server, with the message containing a single pointer
507 */
508 NTSTATUS messaging_send_ptr(struct messaging_context *msg, struct server_id server, 
509                             uint32_t msg_type, void *ptr)
510 {
511         DATA_BLOB blob;
512
513         blob.data = (uint8_t *)&ptr;
514         blob.length = sizeof(void *);
515
516         return messaging_send(msg, server, msg_type, &blob);
517 }
518
519
520 /*
521   destroy the messaging context
522 */
523 static int messaging_destructor(struct messaging_context *msg)
524 {
525         unlink(msg->path);
526         while (msg->names && msg->names[0]) {
527                 irpc_remove_name(msg, msg->names[0]);
528         }
529         return 0;
530 }
531
532 /*
533   create the listening socket and setup the dispatcher
534 */
535 struct messaging_context *messaging_init(TALLOC_CTX *mem_ctx, 
536                                          const char *dir,
537                                          struct server_id server_id, 
538                                          struct smb_iconv_convenience *iconv_convenience,
539                                          struct event_context *ev)
540 {
541         struct messaging_context *msg;
542         NTSTATUS status;
543         struct socket_address *path;
544
545         msg = talloc_zero(mem_ctx, struct messaging_context);
546         if (msg == NULL) {
547                 return NULL;
548         }
549
550         /* setup a handler for messages from other cluster nodes, if appropriate */
551         status = cluster_message_init(msg, server_id, cluster_message_handler);
552         if (!NT_STATUS_IS_OK(status)) {
553                 talloc_free(msg);
554                 return NULL;
555         }
556
557         if (ev == NULL) {
558                 ev = event_context_init(msg);
559         }
560
561         /* create the messaging directory if needed */
562         mkdir(dir, 0700);
563
564         msg->base_path     = talloc_reference(msg, dir);
565         msg->path          = messaging_path(msg, server_id);
566         msg->server_id     = server_id;
567         msg->iconv_convenience = iconv_convenience;
568         msg->idr           = idr_init(msg);
569         msg->dispatch_tree = idr_init(msg);
570         msg->start_time    = timeval_current();
571
572         status = socket_create("unix", SOCKET_TYPE_DGRAM, &msg->sock, 0);
573         if (!NT_STATUS_IS_OK(status)) {
574                 talloc_free(msg);
575                 return NULL;
576         }
577
578         /* by stealing here we ensure that the socket is cleaned up (and even 
579            deleted) on exit */
580         talloc_steal(msg, msg->sock);
581
582         path = socket_address_from_strings(msg, msg->sock->backend_name, 
583                                            msg->path, 0);
584         if (!path) {
585                 talloc_free(msg);
586                 return NULL;
587         }
588
589         status = socket_listen(msg->sock, path, 50, 0);
590         if (!NT_STATUS_IS_OK(status)) {
591                 DEBUG(0,("Unable to setup messaging listener for '%s':%s\n", msg->path, nt_errstr(status)));
592                 talloc_free(msg);
593                 return NULL;
594         }
595
596         /* it needs to be non blocking for sends */
597         set_blocking(socket_get_fd(msg->sock), false);
598
599         msg->event.ev   = talloc_reference(msg, ev);
600         msg->event.fde  = event_add_fd(ev, msg, socket_get_fd(msg->sock), 
601                                        EVENT_FD_READ, messaging_handler, msg);
602
603         talloc_set_destructor(msg, messaging_destructor);
604         
605         messaging_register(msg, NULL, MSG_PING, ping_message);
606         messaging_register(msg, NULL, MSG_IRPC, irpc_handler);
607         IRPC_REGISTER(msg, irpc, IRPC_UPTIME, irpc_uptime, msg);
608
609         return msg;
610 }
611
612 /* 
613    A hack, for the short term until we get 'client only' messaging in place 
614 */
615 struct messaging_context *messaging_client_init(TALLOC_CTX *mem_ctx, 
616                                                 const char *dir,
617                                                 struct smb_iconv_convenience *iconv_convenience,
618                                                 struct event_context *ev)
619 {
620         struct server_id id;
621         ZERO_STRUCT(id);
622         id.id = random() % 0x10000000;
623         return messaging_init(mem_ctx, dir, id, iconv_convenience, ev);
624 }
625 /*
626   a list of registered irpc server functions
627 */
628 struct irpc_list {
629         struct irpc_list *next, *prev;
630         struct GUID uuid;
631         const struct ndr_interface_table *table;
632         int callnum;
633         irpc_function_t fn;
634         void *private;
635 };
636
637
638 /*
639   register a irpc server function
640 */
641 NTSTATUS irpc_register(struct messaging_context *msg_ctx, 
642                        const struct ndr_interface_table *table, 
643                        int callnum, irpc_function_t fn, void *private)
644 {
645         struct irpc_list *irpc;
646
647         /* override an existing handler, if any */
648         for (irpc=msg_ctx->irpc; irpc; irpc=irpc->next) {
649                 if (irpc->table == table && irpc->callnum == callnum) {
650                         break;
651                 }
652         }
653         if (irpc == NULL) {
654                 irpc = talloc(msg_ctx, struct irpc_list);
655                 NT_STATUS_HAVE_NO_MEMORY(irpc);
656                 DLIST_ADD(msg_ctx->irpc, irpc);
657         }
658
659         irpc->table   = table;
660         irpc->callnum = callnum;
661         irpc->fn      = fn;
662         irpc->private = private;
663         irpc->uuid = irpc->table->syntax_id.uuid;
664
665         return NT_STATUS_OK;
666 }
667
668
669 /*
670   handle an incoming irpc reply message
671 */
672 static void irpc_handler_reply(struct messaging_context *msg_ctx, struct irpc_message *m)
673 {
674         struct irpc_request *irpc;
675         enum ndr_err_code ndr_err;
676
677         irpc = (struct irpc_request *)idr_find(msg_ctx->idr, m->header.callid);
678         if (irpc == NULL) return;
679
680         /* parse the reply data */
681         ndr_err = irpc->table->calls[irpc->callnum].ndr_pull(m->ndr, NDR_OUT, irpc->r);
682         if (NDR_ERR_CODE_IS_SUCCESS(ndr_err)) {
683                 irpc->status = m->header.status;
684                 talloc_steal(irpc->mem_ctx, m);
685         } else {
686                 irpc->status = ndr_map_error2ntstatus(ndr_err);
687                 talloc_steal(irpc, m);
688         }
689         irpc->done = true;
690         if (irpc->async.fn) {
691                 irpc->async.fn(irpc);
692         }
693 }
694
695 /*
696   send a irpc reply
697 */
698 NTSTATUS irpc_send_reply(struct irpc_message *m, NTSTATUS status)
699 {
700         struct ndr_push *push;
701         DATA_BLOB packet;
702         enum ndr_err_code ndr_err;
703
704         m->header.status = status;
705
706         /* setup the reply */
707         push = ndr_push_init_ctx(m->ndr, m->msg_ctx->iconv_convenience);
708         if (push == NULL) {
709                 status = NT_STATUS_NO_MEMORY;
710                 goto failed;
711         }
712
713         m->header.flags |= IRPC_FLAG_REPLY;
714
715         /* construct the packet */
716         ndr_err = ndr_push_irpc_header(push, NDR_SCALARS|NDR_BUFFERS, &m->header);
717         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) {
718                 status = ndr_map_error2ntstatus(ndr_err);
719                 goto failed;
720         }
721
722         ndr_err = m->irpc->table->calls[m->irpc->callnum].ndr_push(push, NDR_OUT, m->data);
723         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) {
724                 status = ndr_map_error2ntstatus(ndr_err);
725                 goto failed;
726         }
727
728         /* send the reply message */
729         packet = ndr_push_blob(push);
730         status = messaging_send(m->msg_ctx, m->from, MSG_IRPC, &packet);
731         if (!NT_STATUS_IS_OK(status)) goto failed;
732
733 failed:
734         talloc_free(m);
735         return status;
736 }
737
738 /*
739   handle an incoming irpc request message
740 */
741 static void irpc_handler_request(struct messaging_context *msg_ctx, 
742                                  struct irpc_message *m)
743 {
744         struct irpc_list *i;
745         void *r;
746         enum ndr_err_code ndr_err;
747
748         for (i=msg_ctx->irpc; i; i=i->next) {
749                 if (GUID_equal(&i->uuid, &m->header.uuid) &&
750                     i->table->syntax_id.if_version == m->header.if_version &&
751                     i->callnum == m->header.callnum) {
752                         break;
753                 }
754         }
755
756         if (i == NULL) {
757                 /* no registered handler for this message */
758                 talloc_free(m);
759                 return;
760         }
761
762         /* allocate space for the structure */
763         r = talloc_zero_size(m->ndr, i->table->calls[m->header.callnum].struct_size);
764         if (r == NULL) goto failed;
765
766         /* parse the request data */
767         ndr_err = i->table->calls[i->callnum].ndr_pull(m->ndr, NDR_IN, r);
768         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) goto failed;
769
770         /* make the call */
771         m->private     = i->private;
772         m->defer_reply = false;
773         m->msg_ctx     = msg_ctx;
774         m->irpc        = i;
775         m->data        = r;
776         m->ev          = msg_ctx->event.ev;
777
778         m->header.status = i->fn(m, r);
779
780         if (m->defer_reply) {
781                 /* the server function has asked to defer the reply to later */
782                 talloc_steal(msg_ctx, m);
783                 return;
784         }
785
786         irpc_send_reply(m, m->header.status);
787         return;
788
789 failed:
790         talloc_free(m);
791 }
792
793 /*
794   handle an incoming irpc message
795 */
796 static void irpc_handler(struct messaging_context *msg_ctx, void *private, 
797                          uint32_t msg_type, struct server_id src, DATA_BLOB *packet)
798 {
799         struct irpc_message *m;
800         enum ndr_err_code ndr_err;
801
802         m = talloc(msg_ctx, struct irpc_message);
803         if (m == NULL) goto failed;
804
805         m->from = src;
806
807         m->ndr = ndr_pull_init_blob(packet, m, msg_ctx->iconv_convenience);
808         if (m->ndr == NULL) goto failed;
809
810         m->ndr->flags |= LIBNDR_FLAG_REF_ALLOC;
811
812         ndr_err = ndr_pull_irpc_header(m->ndr, NDR_BUFFERS|NDR_SCALARS, &m->header);
813         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) goto failed;
814
815         if (m->header.flags & IRPC_FLAG_REPLY) {
816                 irpc_handler_reply(msg_ctx, m);
817         } else {
818                 irpc_handler_request(msg_ctx, m);
819         }
820         return;
821
822 failed:
823         talloc_free(m);
824 }
825
826
827 /*
828   destroy a irpc request
829 */
830 static int irpc_destructor(struct irpc_request *irpc)
831 {
832         if (irpc->callid != -1) {
833                 idr_remove(irpc->msg_ctx->idr, irpc->callid);
834                 irpc->callid = -1;
835         }
836
837         if (irpc->reject_free) {
838                 return -1;
839         }
840         return 0;
841 }
842
843 /*
844   timeout a irpc request
845 */
846 static void irpc_timeout(struct event_context *ev, struct timed_event *te, 
847                          struct timeval t, void *private)
848 {
849         struct irpc_request *irpc = talloc_get_type(private, struct irpc_request);
850         irpc->status = NT_STATUS_IO_TIMEOUT;
851         irpc->done = true;
852         if (irpc->async.fn) {
853                 irpc->async.fn(irpc);
854         }
855 }
856
857
858 /*
859   make a irpc call - async send
860 */
861 struct irpc_request *irpc_call_send(struct messaging_context *msg_ctx, 
862                                     struct server_id server_id, 
863                                     const struct ndr_interface_table *table, 
864                                     int callnum, void *r, TALLOC_CTX *ctx)
865 {
866         struct irpc_header header;
867         struct ndr_push *ndr;
868         NTSTATUS status;
869         DATA_BLOB packet;
870         struct irpc_request *irpc;
871         enum ndr_err_code ndr_err;
872
873         irpc = talloc(msg_ctx, struct irpc_request);
874         if (irpc == NULL) goto failed;
875
876         irpc->msg_ctx  = msg_ctx;
877         irpc->table    = table;
878         irpc->callnum  = callnum;
879         irpc->callid   = idr_get_new(msg_ctx->idr, irpc, UINT16_MAX);
880         if (irpc->callid == -1) goto failed;
881         irpc->r        = r;
882         irpc->done     = false;
883         irpc->async.fn = NULL;
884         irpc->mem_ctx  = ctx;
885         irpc->reject_free = false;
886
887         talloc_set_destructor(irpc, irpc_destructor);
888
889         /* setup the header */
890         header.uuid = table->syntax_id.uuid;
891
892         header.if_version = table->syntax_id.if_version;
893         header.callid     = irpc->callid;
894         header.callnum    = callnum;
895         header.flags      = 0;
896         header.status     = NT_STATUS_OK;
897
898         /* construct the irpc packet */
899         ndr = ndr_push_init_ctx(irpc, msg_ctx->iconv_convenience);
900         if (ndr == NULL) goto failed;
901
902         ndr_err = ndr_push_irpc_header(ndr, NDR_SCALARS|NDR_BUFFERS, &header);
903         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) goto failed;
904
905         ndr_err = table->calls[callnum].ndr_push(ndr, NDR_IN, r);
906         if (!NDR_ERR_CODE_IS_SUCCESS(ndr_err)) goto failed;
907
908         /* and send it */
909         packet = ndr_push_blob(ndr);
910         status = messaging_send(msg_ctx, server_id, MSG_IRPC, &packet);
911         if (!NT_STATUS_IS_OK(status)) goto failed;
912
913         event_add_timed(msg_ctx->event.ev, irpc, 
914                         timeval_current_ofs(IRPC_CALL_TIMEOUT, 0), 
915                         irpc_timeout, irpc);
916
917         talloc_free(ndr);
918         return irpc;
919
920 failed:
921         talloc_free(irpc);
922         return NULL;
923 }
924
925 /*
926   wait for a irpc reply
927 */
928 NTSTATUS irpc_call_recv(struct irpc_request *irpc)
929 {
930         NTSTATUS status;
931
932         NT_STATUS_HAVE_NO_MEMORY(irpc);
933
934         irpc->reject_free = true;
935
936         while (!irpc->done) {
937                 if (event_loop_once(irpc->msg_ctx->event.ev) != 0) {
938                         return NT_STATUS_CONNECTION_DISCONNECTED;
939                 }
940         }
941
942         irpc->reject_free = false;
943
944         status = irpc->status;
945         talloc_free(irpc);
946         return status;
947 }
948
949 /*
950   perform a synchronous irpc request
951 */
952 NTSTATUS irpc_call(struct messaging_context *msg_ctx, 
953                    struct server_id server_id, 
954                    const struct ndr_interface_table *table, 
955                    int callnum, void *r,
956                    TALLOC_CTX *mem_ctx)
957 {
958         struct irpc_request *irpc = irpc_call_send(msg_ctx, server_id, 
959                                                    table, callnum, r, mem_ctx);
960         return irpc_call_recv(irpc);
961 }
962
963 /*
964   open the naming database
965 */
966 static struct tdb_wrap *irpc_namedb_open(struct messaging_context *msg_ctx)
967 {
968         struct tdb_wrap *t;
969         char *path = talloc_asprintf(msg_ctx, "%s/names.tdb", msg_ctx->base_path);
970         if (path == NULL) {
971                 return NULL;
972         }
973         t = tdb_wrap_open(msg_ctx, path, 0, 0, O_RDWR|O_CREAT, 0660);
974         talloc_free(path);
975         return t;
976 }
977         
978
979 /*
980   add a string name that this irpc server can be called on
981 */
982 NTSTATUS irpc_add_name(struct messaging_context *msg_ctx, const char *name)
983 {
984         struct tdb_wrap *t;
985         TDB_DATA rec;
986         int count;
987         NTSTATUS status = NT_STATUS_OK;
988
989         t = irpc_namedb_open(msg_ctx);
990         NT_STATUS_HAVE_NO_MEMORY(t);
991
992         if (tdb_lock_bystring(t->tdb, name) != 0) {
993                 talloc_free(t);
994                 return NT_STATUS_LOCK_NOT_GRANTED;
995         }
996         rec = tdb_fetch_bystring(t->tdb, name);
997         count = rec.dsize / sizeof(struct server_id);
998         rec.dptr = (unsigned char *)realloc_p(rec.dptr, struct server_id, count+1);
999         rec.dsize += sizeof(struct server_id);
1000         if (rec.dptr == NULL) {
1001                 tdb_unlock_bystring(t->tdb, name);
1002                 talloc_free(t);
1003                 return NT_STATUS_NO_MEMORY;
1004         }
1005         ((struct server_id *)rec.dptr)[count] = msg_ctx->server_id;
1006         if (tdb_store_bystring(t->tdb, name, rec, 0) != 0) {
1007                 status = NT_STATUS_INTERNAL_ERROR;
1008         }
1009         free(rec.dptr);
1010         tdb_unlock_bystring(t->tdb, name);
1011         talloc_free(t);
1012
1013         msg_ctx->names = str_list_add(msg_ctx->names, name);
1014         talloc_steal(msg_ctx, msg_ctx->names);
1015
1016         return status;
1017 }
1018
1019 /*
1020   return a list of server ids for a server name
1021 */
1022 struct server_id *irpc_servers_byname(struct messaging_context *msg_ctx,
1023                                       TALLOC_CTX *mem_ctx,
1024                                       const char *name)
1025 {
1026         struct tdb_wrap *t;
1027         TDB_DATA rec;
1028         int count, i;
1029         struct server_id *ret;
1030
1031         t = irpc_namedb_open(msg_ctx);
1032         if (t == NULL) {
1033                 return NULL;
1034         }
1035
1036         if (tdb_lock_bystring(t->tdb, name) != 0) {
1037                 talloc_free(t);
1038                 return NULL;
1039         }
1040         rec = tdb_fetch_bystring(t->tdb, name);
1041         if (rec.dptr == NULL) {
1042                 tdb_unlock_bystring(t->tdb, name);
1043                 talloc_free(t);
1044                 return NULL;
1045         }
1046         count = rec.dsize / sizeof(struct server_id);
1047         ret = talloc_array(mem_ctx, struct server_id, count+1);
1048         if (ret == NULL) {
1049                 tdb_unlock_bystring(t->tdb, name);
1050                 talloc_free(t);
1051                 return NULL;
1052         }
1053         for (i=0;i<count;i++) {
1054                 ret[i] = ((struct server_id *)rec.dptr)[i];
1055         }
1056         ret[i] = cluster_id(0, 0);
1057         free(rec.dptr);
1058         tdb_unlock_bystring(t->tdb, name);
1059         talloc_free(t);
1060
1061         return ret;
1062 }
1063
1064 /*
1065   remove a name from a messaging context
1066 */
1067 void irpc_remove_name(struct messaging_context *msg_ctx, const char *name)
1068 {
1069         struct tdb_wrap *t;
1070         TDB_DATA rec;
1071         int count, i;
1072         struct server_id *ids;
1073
1074         str_list_remove(msg_ctx->names, name);
1075
1076         t = irpc_namedb_open(msg_ctx);
1077         if (t == NULL) {
1078                 return;
1079         }
1080
1081         if (tdb_lock_bystring(t->tdb, name) != 0) {
1082                 talloc_free(t);
1083                 return;
1084         }
1085         rec = tdb_fetch_bystring(t->tdb, name);
1086         count = rec.dsize / sizeof(struct server_id);
1087         if (count == 0) {
1088                 tdb_unlock_bystring(t->tdb, name);
1089                 talloc_free(t);
1090                 return;
1091         }
1092         ids = (struct server_id *)rec.dptr;
1093         for (i=0;i<count;i++) {
1094                 if (cluster_id_equal(&ids[i], &msg_ctx->server_id)) {
1095                         if (i < count-1) {
1096                                 memmove(ids+i, ids+i+1, 
1097                                         sizeof(struct server_id) * (count-(i+1)));
1098                         }
1099                         rec.dsize -= sizeof(struct server_id);
1100                         break;
1101                 }
1102         }
1103         tdb_store_bystring(t->tdb, name, rec, 0);
1104         free(rec.dptr);
1105         tdb_unlock_bystring(t->tdb, name);
1106         talloc_free(t);
1107 }