ctdb/ib/ibwrapper.h

   1 /*
   2  * Unix SMB/CIFS implementation.
   3  * Wrap Infiniband calls.
   4  *
   5  * Copyright (C) Sven Oehme <oehmes@de.ibm.com> 2006
   6  *
   7  * Major code contributions by Peter Somogyi <psomogyi@gamax.hu>
   8  *
   9  * This program is free software; you can redistribute it and/or modify
  10  * it under the terms of the GNU General Public License as published by
  11  * the Free Software Foundation; either version 2 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU General Public License
  20  * along with this program; if not, write to the Free Software
  21  * Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  22  */
  23
  24 /* Server communication state */
  25 enum ibw_state_ctx {
  26         IBWS_INIT = 0, /* ctx start - after ibw_init */
  27         IBWS_READY, /* after ibw_bind & ibw_listen */
  28         IBWS_CONNECT_REQUEST, /* after [IBWS_READY + incoming request] */
  29                 /* => [(ibw_accept)IBWS_READY | (ibw_disconnect)STOPPED | ERROR] */
  30         IBWS_STOPPED, /* normal stop <= ibw_disconnect+(IBWS_READY | IBWS_CONNECT_REQUEST) */
  31         IBWS_ERROR /* abnormal state; ibw_stop must be called after this */
  32 };
  33
  34 /* Connection state */
  35 typedef struct ibw_ctx {
  36         void *ctx_userdata; /* see ibw_init */
  37
  38         struct ibw_state_ctx state;
  39         void *internal;
  40
  41         struct ibw_conn *conn_list; /* 1st elem of double linked list */
  42 };
  43
  44 enum ibw_state_conn {
  45         IBWC_INIT = 0, /* conn start - internal state */
  46         IBWC_CONNECTED, /* after ibw_accept or ibw_connect */
  47         IBWC_DISCONNECTED, /* after ibw_disconnect */
  48         IBWC_ERROR
  49 };
  50
  51 struct ibw_conn {
  52         struct ibw_ctx *ctx;
  53         struct ibw_state_conn state;
  54
  55         void *conn_userdata; /* see ibw_connect and ibw_accept */
  56         void *internal;
  57
  58         struct ibw_conn *prev, next;
  59 };
  60
  61 /*
  62  * (name, value) pair for array param of ibw_init
  63  */
  64 struct ibw_initattr {
  65         const char *name;
  66         const char *value;
  67 };
  68
  69 /*
  70  * Callback function definition which should inform you about
  71  * connection state change
  72  * This callback is invoked whenever server or client connection changes.
  73  * Both <conn> and <ctx> can be NULL if their state didn't change.
  74  * Return nonzero on error.
  75  */
  76 typedef int (*ibw_connstate_fn_t)(ibw_ctx *ctx, ibw_conn *conn);
  77
  78 /*
  79  * Callback function definition which should process incoming packets
  80  * This callback is invoked whenever any message arrives.
  81  * Return nonzero on error.
  82  *
  83  * Important: you mustn't store buf pointer for later use.
  84  * Process its contents before returning.
  85  */
  86 typedef int (*ibw_receive_fn_t)(struct ibw_conn *conn, void *buf, int n);
  87
  88 /*
  89  * settings: array of (name, value) pairs
  90  * where name is one of:
  91  *      max_send_wr [default is 256]
  92  *      max_recv_wr [default is 1024]
  93  * <...>
  94  *
  95  * Must be called _ONCE_ for each node.
  96  *
  97  * max_msg_size is the maximum size of a message
  98  * (max_send_wr + max_recv_wr) * max_msg_size bytes allocated per connection
  99  *
 100  * returns non-NULL on success
 101  *
 102  * talloc_free must be called for the result in IBWS_STOPPED;
 103  *    it will close resources by destructor
 104  *    connections(ibw_conn *) must have been closed prior talloc_free
 105  */
 106 struct ibw_ctx *ibw_init(struct ibw_initattr *attr, int nattr,
 107         void *ctx_userdata,
 108         ibw_connstate_fn_t ibw_connstate,
 109         ibw_receive_fn_t ibw_receive,
 110         struct event_context *ectx,
 111         int max_msg_size);
 112
 113 /*
 114  * Must be called in states of (IBWS_ERROR, IBWS_READY, IBWS_CONNECT_REQUEST)
 115  *
 116  * It will send out disconnect requests and free up ibw_conn structures.
 117  * The ctx->state will transit to IBWS_STOPPED after every conn are disconnected.
 118  * During that time, you mustn't send/recv/disconnect any more.
 119  * Only after ctx->state=IBWS_STOPPED you can talloc_free the ctx.
 120  */
 121 int ibw_stop(struct ibw_ctx *ctx);
 122
 123 /*************** connection initiation - like stream sockets *****/
 124
 125 /*
 126  * works like socket bind
 127  * needs a normal internet address here
 128  *
 129  * return 0 on success
 130  */
 131 int ibw_bind(struct ibw_ctx *ctx, struct sockaddr_in *my_addr);
 132
 133 /*
 134  * works like socket listen
 135  * non-blocking
 136  * enables accepting incoming connections (after IBWS_READY)
 137  * (it doesn't touch ctx->state by itself)
 138  *
 139  * returns 0 on success
 140  */
 141 int ibw_listen(struct ibw_ctx *ctx, int backlog);
 142
 143 /*
 144  * works like socket accept
 145  * initializes a connection to a client
 146  * must be called when state=IBWS_CONNECT_REQUEST
 147  *
 148  * returns 0 on success
 149  *
 150  * You have +1 waiting here: you will get ibw_conn (having the
 151  * same <conn_userdata> member) structure in ibw_connstate_fn_t.
 152  *
 153  * Important: you won't get remote IP address (only internal conn info)
 154  */
 155 int ibw_accept(struct ibw_ctx *ctx, struct ibw_conn *conn, void *conn_userdata);
 156
 157 /*
 158  * Needs a normal internet address here
 159  * can be called within IBWS_READY|IBWS_CONNECT_REQUEST
 160  *
 161  * returns non-NULL on success
 162  *
 163  * You have +1 waiting here: you will get ibw_conn (having the
 164  * same <conn_userdata> member) structure in ibw_connstate_fn_t.
 165  */
 166 int ibw_connect(struct ibw_ctx *ctx, struct sockaddr_in *serv_addr, void *conn_userdata);
 167
 168 /*
 169  * Sends out a disconnect request.
 170  * You should process fds after calling this function
 171  * and then process it with ibw_process_event normally
 172  * until you get conn->state = IBWC_DISCONNECTED
 173  *
 174  * You mustn't talloc_free <conn> yet right after this,
 175  * first wait for IBWC_DISCONNECTED.
 176  */
 177 void ibw_disconnect(struct ibw_conn *conn);
 178
 179 /************ Infiniband specific event loop wrapping ******************/
 180
 181 /*
 182  * You have to use this buf to fill in before send.
 183  * It's just to avoid memcpy.in ibw_send.
 184  * Use the same (buf, key) pair with ibw_send.
 185  * Don't use more space than maxsize (see ibw_init).
 186  *
 187  * Returns 0 on success.
 188  */
 189 int ibw_alloc_send_buf(struct ibw_conn *conn, void **buf, void **key);
 190
 191 /*
 192  * Send the message in one
 193  * Can be invoked any times (should fit into buffers) and at any time
 194  * (in conn->state=IBWC_CONNECTED)
 195  * n must be less or equal than max_msg_size (see ibw_init)
 196  *
 197  * You mustn't use (buf, key) any more for sending.
 198  */
 199 int ibw_send(struct ibw_conn *conn, void *buf, void *key, int n);
 200
 201 /*
 202  * Retrieves the last error
 203  * result: always non-zero, mustn't be freed (static)
 204  */
 205 const char *ibw_getLastError();