8183919020fc86801a2ad3ab099c626c5cdbdac3
[vlendec/samba-autobuild/.git] / ctdb / ib / ibwrapper.h
1 /*
2  * Unix SMB/CIFS implementation.
3  * Wrap Infiniband calls.
4  *
5  * Copyright (C) Sven Oehme <oehmes@de.ibm.com> 2006
6  *
7  * Major code contributions by Peter Somogyi <psomogyi@gamax.hu>
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License
20  * along with this program; if not, write to the Free Software
21  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
22  */
23
24 /* Server communication state */
25 typedef enum {
26         IBWS_INIT = 0, /* ctx start - after ibw_init */
27         IBWS_READY, /* after ibw_bind & ibw_listen */
28         IBWS_CONNECT_REQUEST, /* after [IBWS_READY + incoming request] */
29                 /* => [(ibw_accept)IBWS_READY | (ibw_disconnect)STOPPED | ERROR] */
30         IBWS_STOPPED, /* normal stop <= ibw_disconnect+(IBWS_READY | IBWS_CONNECT_REQUEST) */
31         IBWS_ERROR /* abnormal state; ibw_stop must be called after this */
32 } ibw_state_ctx;
33
34 /* Connection state */
35 typedef struct _ibw_ctx {
36         void *ctx_userdata; /* see ibw_init */
37
38         ibw_state_ctx state;
39         void *internal;
40 } ibw_ctx;
41
42 typedef enum {
43         IBWC_INIT = 0, /* conn start - internal state */
44         IBWC_CONNECTED, /* after ibw_accept or ibw_connect */
45         IBWC_DISCONNECTED, /* after ibw_disconnect */
46         IBWC_ERROR
47 } ibw_state_conn;
48
49 typedef struct _ibw_conn {
50         ibw_ctx *ctx;
51         ibw_state_conn state;
52
53         void *conn_userdata; /* see ibw_connect and ibw_accept */
54         void *internal;
55 } ibw_conn;
56
57 /*
58  * (name, value) pair for array param of ibw_init
59  */
60 typedef struct _ibw_initattr {
61         const char *name;
62         const char *value;
63 } ibw_initattr;
64
65 /*
66  * Callback function definition which should inform you about
67  * connection state change
68  * This callback is invoked from within ibw_process_event.
69  * Both <conn> and <ctx> can be NULL if their state didn't change.
70  * Return nonzero on error.
71  */
72 typedef int (*ibw_connstate_fn_t)(ibw_ctx *ctx, ibw_conn *conn);
73
74 /*
75  * Callback function definition which should process incoming packets
76  * This callback is invoked from within ibw_process_event.
77  * Return nonzero on error.
78  *
79  * Important: you mustn't store buf pointer for later use. Process its contents before returning.
80  */
81 typedef int (*ibw_receive_fn_t)(ibw_conn *conn, void *buf, int n);
82
83 /*
84  * settings: array of (name, value) pairs
85  * where name is one of:
86  *      dev_name [default is the first one]
87  *      rx_depth [default is 500]
88  *      mtu     [default is 1024]
89  *      ib_port [default is 1]
90  *
91  * Must be called _ONCE_ for each node.
92  *
93  * returns non-NULL on success
94  *
95  * talloc_free must be called for the result in IBWS_STOPPED;
96  *    it will close resources by destructor
97  *    connections(ibw_conn *) must have been closed prior talloc_free
98  */
99 ibw_ctx *ibw_init(ibw_initattr *attr, int nattr,
100         void *ctx_userdata,
101         ibw_connstate_fn_t ibw_connstate,
102         ibw_receive_fn_t ibw_receive);
103
104 /*
105  * Must be called in states of (IBWS_ERROR, IBWS_READY, IBWS_CONNECT_REQUEST)
106  *
107  * It will send out disconnect requests and free up ibw_conn structures.
108  * The ctx->state will transit to IBWS_STOPPED after every conn are disconnected.
109  * During that time, you mustn't send/recv/disconnect any more.
110  * Only after ctx->state=IBWS_STOPPED you can talloc_free the ctx.
111  */
112 int ibw_stop(ibw_ctx *ctx);
113
114 /*************** connection initiation - like stream sockets *****/
115
116 /*
117  * works like socket bind
118  * needs a normal internet address here
119  *
120  * return 0 on success
121  */
122 int ibw_bind(ibw_ctx *ctx, struct sockaddr_in *my_addr);
123
124 /*
125  * works like socket listen
126  * non-blocking
127  * enables accepting incoming connections (after IBWS_READY)
128  * (it doesn't touch ctx->state by itself)
129  *
130  * returns 0 on success
131  */
132 int ibw_listen(ibw_ctx *ctx, int backlog);
133
134 /*
135  * works like socket accept
136  * initializes a connection to a client
137  * must be called when state=IBWS_CONNECT_REQUEST
138  *
139  * returns 0 on success
140  *
141  * You have +1 waiting here: you will get ibw_conn (having the
142  * same <conn_userdata> member) structure in ibw_connstate_fn_t.
143  *
144  * Important: you won't get remote IP address (only internal conn info)
145  */
146 int ibw_accept(ibw_ctx *ctx, void *conn_userdata);
147
148 /*
149  * Needs a normal internet address here
150  * can be called within IBWS_READY|IBWS_CONNECT_REQUEST
151  *
152  * returns non-NULL on success
153  *
154  * You have +1 waiting here: you will get ibw_conn (having the
155  * same <conn_userdata> member) structure in ibw_connstate_fn_t.
156  */
157 int ibw_connect(ibw_ctx *ctx, struct sockaddr_in *serv_addr, void *conn_userdata);
158
159 /*
160  * Sends out a disconnect request.
161  * You should process fds after calling this function
162  * and then process it with ibw_process_event normally
163  * until you get conn->state = IBWC_DISCONNECTED
164  *
165  * You mustn't talloc_free <conn> yet right after this,
166  * first wait for IBWC_DISCONNECTED.
167  */
168 void ibw_disconnect(ibw_conn *conn);
169
170 /************ Infiniband specific event loop wrapping ******************/
171
172 /*
173  * You have to use this buf to fill in before send.
174  * It's just to avoid memcpy.in ibw_send.
175  * Use the same (buf, key) pair with ibw_send.
176  *
177  * Returns 0 on success.
178  */
179 int ibw_alloc_send_buf(ibw_conn *conn, void **buf, void **key, int n);
180
181 /*
182  * Send the message in one
183  * Can be invoked any times (should fit into buffers) and at any time
184  * (in conn->state=IBWC_CONNECTED)
185  *
186  * You mustn't use (buf, key) any more for sending.
187  */
188 int ibw_send(ibw_conn *conn, void *buf, void *key, int n);
189
190 /*
191  * Retrieves the last error
192  * result: always non-zero, mustn't be freed (static)
193  */
194 const char *ibw_getLastError();