b5e6c5cffb37583b81dd7aa08132b5804bcf9fa6
[vlendec/samba-autobuild/.git] / ctdb / ib / ibw_ctdb_init.c
1 /*
2  * Unix SMB/CIFS implementation.
3  * Join infiniband wrapper and ctdb.
4  *
5  * Copyright (C) Sven Oehme <oehmes@de.ibm.com> 2006
6  *
7  * Major code contributions by Peter Somogyi <psomogyi@gamax.hu>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
22  */
23
24 #include "includes.h"
25 #include "lib/events/events.h"
26 #include <system/network.h>
27 #include <assert.h>
28 #include "ctdb_private.h"
29 #include "ibwrapper.h"
30 #include "ibw_ctdb.h"
31
32 static int ctdb_ibw_listen(struct ctdb_context *ctdb, int backlog)
33 {
34         struct ibw_ctx *ictx = talloc_get_type(ctdb->private_data, struct ibw_ctx);
35         struct sockaddr_in my_addr;
36
37         assert(ictx!=NULL);
38         memset(&my_addr, 0, sizeof(struct sockaddr_in));
39         my_addr.sin_port = htons(ctdb->address.port);
40         my_addr.sin_family = PF_INET;
41         if (ctdb_ibw_get_address(ctdb, ctdb->address.address, &my_addr.sin_addr))
42                 return -1;
43
44         if (ibw_bind(ictx, &my_addr)) {
45                 DEBUG(0, ("ctdb_ibw_listen: ibw_bind failed\n"));
46                 return -1;
47         }
48
49         if (ibw_listen(ictx, backlog)) {
50                 DEBUG(0, ("ctdb_ibw_listen: ibw_listen failed\n"));
51                 return -1;
52         }
53
54         return 0;
55 }
56
57 /*
58  * initialise ibw portion of a ctdb node 
59  */
60 static int ctdb_ibw_add_node(struct ctdb_node *node)
61 {
62         struct ibw_ctx *ictx = talloc_get_type(node->ctdb->private_data, struct ibw_ctx);
63         struct ctdb_ibw_node *cn = talloc_zero(node, struct ctdb_ibw_node);
64
65         assert(cn!=NULL);
66         cn->conn = ibw_conn_new(ictx, node);
67         node->private_data = (void *)cn;
68
69         return (cn->conn!=NULL ? 0 : -1);
70 }
71
72 /*
73  * initialise infiniband
74  */
75 static int ctdb_ibw_initialise(struct ctdb_context *ctdb)
76 {
77         int i, ret;
78
79         ret = ctdb_ibw_init(ctdb);
80         if (ret != 0) {
81                 return ret;
82         }
83
84         for (i=0; i<ctdb->num_nodes; i++) {
85                 if (ctdb_ibw_add_node(ctdb->nodes[i]) != 0) {
86                         DEBUG(0, ("methods->add_node failed at %d\n", i));
87                         return -1;
88                 }
89         }
90
91         /* listen on our own address */
92         if (ctdb_ibw_listen(ctdb, 10)) /* TODO: backlog as param */
93                 return -1;
94
95         return 0;
96 }
97
98
99 /*
100  * Start infiniband
101  */
102 static int ctdb_ibw_start(struct ctdb_context *ctdb)
103 {
104         int i, ret;
105
106         /* everything async here */
107         for (i=0;i<ctdb->num_nodes;i++) {
108                 struct ctdb_node *node = ctdb->nodes[i];
109                 if (!(ctdb->flags & CTDB_FLAG_SELF_CONNECT) &&
110                         ctdb_same_address(&ctdb->address, &node->address))
111                         continue;
112                 ctdb_ibw_node_connect(node);
113         }
114
115         return 0;
116 }
117
118 static int ctdb_ibw_send_pkt(struct ibw_conn *conn, uint8_t *data, uint32_t length)
119 {
120         void    *buf, *key;
121
122         if (ibw_alloc_send_buf(conn, &buf, &key, length)) {
123                 DEBUG(0, ("queue_pkt/ibw_alloc_send_buf failed\n"));
124                 return -1;
125         }
126
127         memcpy(buf, data, length);
128         return ibw_send(conn, buf, key, length);
129 }
130
131 int ctdb_flush_cn_queue(struct ctdb_ibw_node *cn)
132 {
133         struct ctdb_ibw_msg *p;
134         int     rc = 0;
135
136         while(cn->queue) {
137                 p = cn->queue;
138                 rc = ctdb_ibw_send_pkt(cn->conn, p->data, p->length);
139                 if (rc)
140                         return -1; /* will be retried later when conn is up */
141
142                 DLIST_REMOVE(cn->queue, p);
143                 cn->qcnt--;
144                 talloc_free(p); /* it will talloc_free p->data as well */
145         }
146         assert(cn->qcnt==0);
147         /* cn->queue_last = NULL is not needed - see DLIST_ADD_AFTER */
148
149         return rc;
150 }
151
152 static int ctdb_ibw_queue_pkt(struct ctdb_node *node, uint8_t *data, uint32_t length)
153 {
154         struct ctdb_ibw_node *cn = talloc_get_type(node->private_data, struct ctdb_ibw_node);
155         int     rc;
156
157         assert(length>=sizeof(uint32_t));
158         assert(cn!=NULL);
159
160         if (cn->conn==NULL) {
161                 DEBUG(0, ("ctdb_ibw_queue_pkt: conn is NULL\n"));
162                 return -1;
163         }
164
165         if (cn->conn->state==IBWC_CONNECTED) {
166                 rc = ctdb_ibw_send_pkt(cn->conn, data, length);
167         } else {
168                 struct ctdb_ibw_msg *p = talloc_zero(cn, struct ctdb_ibw_msg);
169                 p->data = talloc_memdup(p, data, length);
170                 p->length = length;
171
172                 DLIST_ADD_AFTER(cn->queue, p, cn->queue_last);
173                 cn->queue_last = p;
174                 cn->qcnt++;
175
176                 rc = 0;
177         }
178
179         return rc;
180 }
181
182 /*
183  * transport packet allocator - allows transport to control memory for packets
184  */
185 static void *ctdb_ibw_allocate_pkt(TALLOC_CTX *mem_ctx, size_t size)
186 {
187         /* TODO: use ibw_alloc_send_buf instead... */
188         return talloc_size(mem_ctx, size);
189 }
190
191 #ifdef __NOTDEF__
192
193 static int ctdb_ibw_stop(struct ctdb_context *cctx)
194 {
195         struct ibw_ctx *ictx = talloc_get_type(cctx->private_data, struct ibw_ctx);
196
197         assert(ictx!=NULL);
198         return ibw_stop(ictx);
199 }
200
201 #endif /* __NOTDEF__ */
202
203 static const struct ctdb_methods ctdb_ibw_methods = {
204         .initialise= ctdb_ibw_initialise,
205         .start     = ctdb_ibw_start,
206         .queue_pkt = ctdb_ibw_queue_pkt,
207         .add_node = ctdb_ibw_add_node,
208         .allocate_pkt = ctdb_ibw_allocate_pkt,
209
210 //      .stop = ctdb_ibw_stop
211 };
212
213 /*
214  * initialise ibw portion of ctdb 
215  */
216 int ctdb_ibw_init(struct ctdb_context *ctdb)
217 {
218         struct ibw_ctx *ictx;
219
220         DEBUG(10, ("ctdb_ibw_init invoked...\n"));
221         ictx = ibw_init(
222                 NULL, //struct ibw_initattr *attr, /* TODO */
223                 0, //int nattr, /* TODO */
224                 ctdb,
225                 ctdb_ibw_connstate_handler,
226                 ctdb_ibw_receive_handler,
227                 ctdb->ev);
228
229         if (ictx==NULL) {
230                 DEBUG(0, ("ctdb_ibw_init: ibw_init failed\n"));
231                 return -1;
232         }
233
234         ctdb->methods = &ctdb_ibw_methods;
235         ctdb->private_data = ictx;
236         
237         DEBUG(10, ("ctdb_ibw_init succeeded.\n"));
238         return 0;
239 }