2b11bad2a2f62ee5902434cac1b9b85639b66f37
[vlendec/samba-autobuild/.git] / ctdb / tests / src / ctdb_fetch.c
1 /* 
2    simple ctdb benchmark
3
4    Copyright (C) Andrew Tridgell  2006
5
6    This program is free software; you can redistribute it and/or modify
7    it under the terms of the GNU General Public License as published by
8    the Free Software Foundation; either version 3 of the License, or
9    (at your option) any later version.
10    
11    This program is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14    GNU General Public License for more details.
15    
16    You should have received a copy of the GNU General Public License
17    along with this program; if not, see <http://www.gnu.org/licenses/>.
18 */
19
20 #include "includes.h"
21 #include "system/filesys.h"
22 #include "popt.h"
23 #include "cmdline.h"
24
25 #include <sys/time.h>
26 #include <time.h>
27
28 static struct timeval tp1,tp2;
29
30 static void start_timer(void)
31 {
32         gettimeofday(&tp1,NULL);
33 }
34
35 static double end_timer(void)
36 {
37         gettimeofday(&tp2,NULL);
38         return (tp2.tv_sec + (tp2.tv_usec*1.0e-6)) - 
39                 (tp1.tv_sec + (tp1.tv_usec*1.0e-6));
40 }
41
42
43 static int timelimit = 10;
44 static int num_records = 10;
45 static int num_nodes;
46
47 struct bench_data {
48         struct ctdb_context *ctdb;
49         struct tevent_context *ev;
50         int msg_count;
51 };
52
53 #define TESTKEY "testkey"
54
55 /*
56   fetch a record
57   store a expanded record
58   send a message to next node to tell it to do the same
59 */
60 static void bench_fetch_1node(struct bench_data *bdata)
61 {
62         struct ctdb_context *ctdb = bdata->ctdb;
63         TDB_DATA key, data, nulldata;
64         struct ctdb_db_context *ctdb_db;
65         TALLOC_CTX *tmp_ctx = talloc_new(ctdb);
66         int dest, ret;
67         struct ctdb_record_handle *h;
68
69         key.dptr = discard_const(TESTKEY);
70         key.dsize = strlen(TESTKEY);
71
72         ctdb_db = ctdb_db_handle(ctdb, "test.tdb");
73
74         h = ctdb_fetch_lock(ctdb_db, tmp_ctx, key, &data);
75         if (h == NULL) {
76                 printf("Failed to fetch record '%s' on node %d\n", 
77                        (const char *)key.dptr, ctdb_get_pnn(ctdb));
78                 talloc_free(tmp_ctx);
79                 return;
80         }
81
82         if (data.dsize > 1000) {
83                 data.dsize = 0;
84         }
85
86         if (data.dsize == 0) {
87                 data.dptr = (uint8_t *)talloc_asprintf(tmp_ctx, "Test data\n");
88         }
89         data.dptr = (uint8_t *)talloc_asprintf_append((char *)data.dptr,
90                                                       "msg_count=%d on node %d\n",
91                                                       bdata->msg_count,
92                                                       ctdb_get_pnn(ctdb));
93         if (data.dptr == NULL) {
94                 printf("Failed to create record\n");
95                 talloc_free(tmp_ctx);
96                 return;
97         }
98         data.dsize = strlen((const char *)data.dptr)+1;
99
100         ret = ctdb_record_store(h, data);
101         talloc_free(h);
102         if (ret != 0) {
103                 printf("Failed to store record\n");
104         }
105
106         talloc_free(tmp_ctx);
107
108         /* tell the next node to do the same */
109         nulldata.dptr = NULL;
110         nulldata.dsize = 0;
111
112         dest = (ctdb_get_pnn(ctdb) + 1) % num_nodes;
113         ctdb_client_send_message(ctdb, dest, 0, nulldata);
114 }
115
116 /*
117   handler for messages in bench_ring()
118 */
119 static void message_handler(uint64_t srvid, TDB_DATA data, void *private_data)
120 {
121         struct bench_data *bdata = talloc_get_type_abort(
122                 private_data, struct bench_data);
123
124         bdata->msg_count++;
125         bench_fetch_1node(bdata);
126 }
127
128
129 /*
130  * timeout handler - noop
131  */
132 static void timeout_handler(struct event_context *ev, struct timed_event *timer,
133                             struct timeval curtime, void *private_data)
134 {
135         return;
136 }
137
138 /*
139   benchmark the following:
140
141   fetch a record
142   store a expanded record
143   send a message to next node to tell it to do the same
144
145 */
146 static void bench_fetch(struct bench_data *bdata)
147 {
148         struct ctdb_context *ctdb = bdata->ctdb;
149         int pnn=ctdb_get_pnn(ctdb);
150
151         if (pnn == num_nodes - 1) {
152                 bench_fetch_1node(bdata);
153         }
154
155         start_timer();
156         event_add_timed(bdata->ev, bdata, timeval_current_ofs(timelimit,0),
157                         timeout_handler, NULL);
158
159         while (end_timer() < timelimit) {
160                 if (pnn == 0 && bdata->msg_count % 100 == 0 && end_timer() > 0) {
161                         printf("Fetch: %.2f msgs/sec\r", bdata->msg_count/end_timer());
162                         fflush(stdout);
163                 }
164                 if (event_loop_once(bdata->ev) != 0) {
165                         printf("Event loop failed!\n");
166                         break;
167                 }
168         }
169
170         printf("Fetch: %.2f msgs/sec\n", bdata->msg_count/end_timer());
171 }
172
173 /*
174   handler for reconfigure message
175 */
176 static void reconfigure_handler(uint64_t srvid, TDB_DATA data,
177                                 void *private_data)
178 {
179         int *ready = (int *)private_data;
180         *ready = 1;
181 }
182
183 /*
184   main program
185 */
186 int main(int argc, const char *argv[])
187 {
188         struct ctdb_context *ctdb;
189         struct ctdb_db_context *ctdb_db;
190
191         struct poptOption popt_options[] = {
192                 POPT_AUTOHELP
193                 POPT_CTDB_CMDLINE
194                 { "timelimit", 't', POPT_ARG_INT, &timelimit, 0, "timelimit", "integer" },
195                 { "num-records", 'r', POPT_ARG_INT, &num_records, 0, "num_records", "integer" },
196                 { NULL, 'n', POPT_ARG_INT, &num_nodes, 0, "num_nodes", "integer" },
197                 POPT_TABLEEND
198         };
199         int opt;
200         const char **extra_argv;
201         int extra_argc = 0;
202         poptContext pc;
203         struct event_context *ev;
204         TDB_DATA key, data;
205         struct ctdb_record_handle *h;
206         int cluster_ready=0;
207         struct bench_data *bdata;
208
209         pc = poptGetContext(argv[0], argc, argv, popt_options, POPT_CONTEXT_KEEP_FIRST);
210
211         while ((opt = poptGetNextOpt(pc)) != -1) {
212                 switch (opt) {
213                 default:
214                         fprintf(stderr, "Invalid option %s: %s\n", 
215                                 poptBadOption(pc, 0), poptStrerror(opt));
216                         exit(1);
217                 }
218         }
219
220         /* talloc_enable_leak_report_full(); */
221
222         /* setup the remaining options for the main program to use */
223         extra_argv = poptGetArgs(pc);
224         if (extra_argv) {
225                 extra_argv++;
226                 while (extra_argv[extra_argc]) extra_argc++;
227         }
228
229         if (num_nodes == 0) {
230                 printf("You must specify the number of nodes\n");
231                 exit(1);
232         }
233
234         ev = event_context_init(NULL);
235         tevent_loop_allow_nesting(ev);
236
237         ctdb = ctdb_cmdline_client(ev, timeval_current_ofs(3, 0));
238
239         if (ctdb == NULL) {
240                 printf("failed to connect to ctdb daemon.\n");
241                 exit(1);
242         }
243
244         ctdb_client_set_message_handler(ctdb, CTDB_SRVID_RECONFIGURE,
245                                         reconfigure_handler, &cluster_ready);
246
247         /* attach to a specific database */
248         ctdb_db = ctdb_attach(ctdb, timeval_current_ofs(2, 0), "test.tdb",
249                               false, 0);
250         if (!ctdb_db) {
251                 printf("ctdb_attach failed - %s\n", ctdb_errstr(ctdb));
252                 exit(1);
253         }
254
255         bdata = talloc_zero(ctdb, struct bench_data);
256         if (bdata == NULL) {
257                 printf("memory allocation error\n");
258                 exit(1);
259         }
260
261         bdata->ctdb = ctdb;
262         bdata->ev = ev;
263
264         ctdb_client_set_message_handler(ctdb, 0, message_handler, bdata);
265
266         printf("Waiting for cluster\n");
267         while (1) {
268                 uint32_t recmode=1;
269                 ctdb_ctrl_getrecmode(ctdb, ctdb, timeval_zero(), CTDB_CURRENT_NODE, &recmode);
270                 if (recmode == 0) break;
271                 event_loop_once(ev);
272         }
273
274         /* This test has a race condition. If CTDB receives the message from previous
275          * node, before this node has registered for that message, this node will never
276          * receive that message and will block on receive. Sleeping for some time will
277          * hopefully ensure that the test program on all the nodes register for messages.
278          */
279         printf("Sleeping for %d seconds\n", num_nodes);
280         sleep(num_nodes);
281         bench_fetch(bdata);
282
283         key.dptr = discard_const(TESTKEY);
284         key.dsize = strlen(TESTKEY);
285
286         printf("Fetching final record\n");
287
288         h = ctdb_fetch_lock(ctdb_db, ctdb, key, &data);
289
290         if (h == NULL) {
291                 printf("Failed to fetch record '%s' on node %d\n", 
292                        (const char *)key.dptr, ctdb_get_pnn(ctdb));
293                 exit(1);
294         }
295
296         printf("DATA:\n%s\n", (char *)data.dptr);
297
298         return 0;
299 }