09cb8abb61dbe413b627cff54abe66432306afaf
[vlendec/samba-autobuild/.git] / ctdb / tests / src / ctdb_bench.c
1 /* 
2    simple ctdb benchmark
3
4    Copyright (C) Andrew Tridgell  2006
5
6    This program is free software; you can redistribute it and/or modify
7    it under the terms of the GNU General Public License as published by
8    the Free Software Foundation; either version 3 of the License, or
9    (at your option) any later version.
10    
11    This program is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14    GNU General Public License for more details.
15    
16    You should have received a copy of the GNU General Public License
17    along with this program; if not, see <http://www.gnu.org/licenses/>.
18 */
19
20 #include "includes.h"
21 #include "system/filesys.h"
22 #include "popt.h"
23 #include "cmdline.h"
24 #include "ctdb_client.h"
25 #include "ctdb_private.h"
26
27 #include <sys/time.h>
28 #include <time.h>
29
30 static struct timeval tp1,tp2;
31
32 static void start_timer(void)
33 {
34         gettimeofday(&tp1,NULL);
35 }
36
37 static double end_timer(void)
38 {
39         gettimeofday(&tp2,NULL);
40         return (tp2.tv_sec + (tp2.tv_usec*1.0e-6)) - 
41                 (tp1.tv_sec + (tp1.tv_usec*1.0e-6));
42 }
43
44
45 static int timelimit = 10;
46 static int num_records = 10;
47 static int num_nodes;
48
49 enum my_functions {FUNC_INCR=1, FUNC_FETCH=2};
50
51 /*
52   ctdb call function to increment an integer
53 */
54 static int incr_func(struct ctdb_call_info *call)
55 {
56         if (call->record_data.dsize == 0) {
57                 call->new_data = talloc(call, TDB_DATA);
58                 if (call->new_data == NULL) {
59                         return CTDB_ERR_NOMEM;
60                 }
61                 call->new_data->dptr = talloc_size(call, 4);
62                 call->new_data->dsize = 4;
63                 *(uint32_t *)call->new_data->dptr = 0;
64         } else {
65                 call->new_data = &call->record_data;
66         }
67         (*(uint32_t *)call->new_data->dptr)++;
68         return 0;
69 }
70
71 /*
72   ctdb call function to fetch a record
73 */
74 static int fetch_func(struct ctdb_call_info *call)
75 {
76         call->reply_data = &call->record_data;
77         return 0;
78 }
79
80
81 struct bench_data {
82         struct ctdb_context *ctdb;
83         struct tevent_context *ev;
84         int msg_count;
85         int msg_plus, msg_minus;
86 };
87
88 /*
89   handler for messages in bench_ring()
90 */
91 static void ring_message_handler(uint64_t srvid, TDB_DATA data,
92                                  void *private_data)
93 {
94         struct bench_data *bdata = talloc_get_type_abort(
95                 private_data, struct bench_data);
96         int incr = *(int *)data.dptr;
97         int dest;
98
99         bdata->msg_count++;
100         dest = (ctdb_get_pnn(bdata->ctdb) + num_nodes + incr) % num_nodes;
101         ctdb_client_send_message(bdata->ctdb, dest, srvid, data);
102         if (incr == 1) {
103                 bdata->msg_plus++;
104         } else {
105                 bdata->msg_minus++;
106         }
107 }
108
109
110 static void send_start_messages(struct ctdb_context *ctdb, int incr)
111 {
112         /* two messages are injected into the ring, moving
113            in opposite directions */
114         int dest;
115         TDB_DATA data;
116                 
117         data.dptr = (uint8_t *)&incr;
118         data.dsize = sizeof(incr);
119
120         dest = (ctdb_get_pnn(ctdb) + num_nodes + incr) % num_nodes;
121         ctdb_client_send_message(ctdb, dest, 0, data);
122 }
123
124 static void each_second(struct event_context *ev, struct timed_event *te,
125                         struct timeval t, void *private_data)
126 {
127         struct bench_data *bdata = talloc_get_type_abort(
128                 private_data, struct bench_data);
129
130         /* we kickstart the ring into action by inserting messages from node
131            with pnn 0.
132            it may happen that some other node does not yet have ctdb_bench
133            running in which case the ring is broken and the messages are lost.
134            if so, once every second try again to restart the ring
135         */
136         if (bdata->msg_plus == 0) {
137 //              printf("no messages recevied, try again to kickstart the ring in forward direction...\n");
138                 send_start_messages(bdata->ctdb, 1);
139         }
140         if (bdata->msg_minus == 0) {
141 //              printf("no messages recevied, try again to kickstart the ring in reverse direction...\n");
142                 send_start_messages(bdata->ctdb, -1);
143         }
144         event_add_timed(bdata->ev, bdata, timeval_current_ofs(1, 0),
145                         each_second, bdata);
146 }
147
148 static void dummy_event(struct event_context *ev, struct timed_event *te,
149                                          struct timeval t, void *private_data)
150 {
151         struct bench_data *bdata = talloc_get_type_abort(
152                 private_data, struct bench_data);
153
154         event_add_timed(bdata->ev, bdata, timeval_current_ofs(1, 0),
155                         dummy_event, bdata);
156 }
157
158 /*
159   benchmark sending messages in a ring around the nodes
160 */
161 static void bench_ring(struct bench_data *bdata)
162 {
163         int pnn = ctdb_get_pnn(bdata->ctdb);
164
165         if (pnn == 0) {
166                 event_add_timed(bdata->ev, bdata, timeval_current_ofs(1, 0),
167                                 each_second, bdata);
168         } else {
169                 event_add_timed(bdata->ev, bdata, timeval_current_ofs(1, 0),
170                                 dummy_event, bdata);
171         }
172
173         start_timer();
174         while (end_timer() < timelimit) {
175                 if (pnn == 0 && bdata->msg_count % 10000 == 0 && end_timer() > 0) {
176                         printf("Ring: %.2f msgs/sec (+ve=%d -ve=%d)\r",
177                                bdata->msg_count/end_timer(),
178                                bdata->msg_plus, bdata->msg_minus);
179                         fflush(stdout);
180                 }
181                 event_loop_once(bdata->ev);
182         }
183
184         printf("Ring: %.2f msgs/sec (+ve=%d -ve=%d)\n",
185                bdata->msg_count/end_timer(),
186                bdata->msg_plus, bdata->msg_minus);
187 }
188
189 /*
190   main program
191 */
192 int main(int argc, const char *argv[])
193 {
194         struct ctdb_context *ctdb;
195         struct ctdb_db_context *ctdb_db;
196
197         struct poptOption popt_options[] = {
198                 POPT_AUTOHELP
199                 POPT_CTDB_CMDLINE
200                 { "timelimit", 't', POPT_ARG_INT, &timelimit, 0, "timelimit", "integer" },
201                 { "num-records", 'r', POPT_ARG_INT, &num_records, 0, "num_records", "integer" },
202                 { NULL, 'n', POPT_ARG_INT, &num_nodes, 0, "num_nodes", "integer" },
203                 POPT_TABLEEND
204         };
205         int opt;
206         const char **extra_argv;
207         int extra_argc = 0;
208         int ret;
209         poptContext pc;
210         struct event_context *ev;
211         struct bench_data *bdata;
212
213         pc = poptGetContext(argv[0], argc, argv, popt_options, POPT_CONTEXT_KEEP_FIRST);
214
215         while ((opt = poptGetNextOpt(pc)) != -1) {
216                 switch (opt) {
217                 default:
218                         fprintf(stderr, "Invalid option %s: %s\n", 
219                                 poptBadOption(pc, 0), poptStrerror(opt));
220                         exit(1);
221                 }
222         }
223
224         /* setup the remaining options for the main program to use */
225         extra_argv = poptGetArgs(pc);
226         if (extra_argv) {
227                 extra_argv++;
228                 while (extra_argv[extra_argc]) extra_argc++;
229         }
230
231         if (num_nodes == 0) {
232                 printf("You must specify the number of nodes\n");
233                 exit(1);
234         }
235
236         ev = event_context_init(NULL);
237
238         /* initialise ctdb */
239         ctdb = ctdb_cmdline_client(ev, timeval_current_ofs(3, 0));
240         if (ctdb == NULL) {
241                 exit(1);
242         }
243
244         /* attach to a specific database */
245         ctdb_db = ctdb_attach(ctdb, timeval_current_ofs(2, 0), "test.tdb",
246                               false, 0);
247         if (!ctdb_db) {
248                 printf("ctdb_attach failed - %s\n", ctdb_errstr(ctdb));
249                 exit(1);
250         }
251
252         /* setup a ctdb call function */
253         ret = ctdb_set_call(ctdb_db, incr_func,  FUNC_INCR);
254         if (ret != 0) {
255                 DEBUG(DEBUG_DEBUG,("ctdb_set_call() failed, ignoring return code %d\n", ret));
256         }
257         ret = ctdb_set_call(ctdb_db, fetch_func, FUNC_FETCH);
258         if (ret != 0) {
259                 DEBUG(DEBUG_DEBUG,("ctdb_set_call() failed, ignoring return code %d\n", ret));
260         }
261
262         bdata = talloc_zero(ctdb, struct bench_data);
263         if (bdata == NULL) {
264                 goto error;
265         }
266         bdata->ctdb = ctdb;
267         bdata->ev = ev;
268
269         if (ctdb_client_set_message_handler(ctdb, 0, ring_message_handler, bdata))
270                 goto error;
271
272         printf("Waiting for cluster\n");
273         while (1) {
274                 uint32_t recmode=1;
275                 ctdb_ctrl_getrecmode(ctdb, ctdb, timeval_zero(), CTDB_CURRENT_NODE, &recmode);
276                 if (recmode == 0) break;
277                 event_loop_once(ev);
278         }
279
280         bench_ring(bdata);
281
282 error:
283         return 0;
284 }