doc updates
[sahlberg/ctdb.git] / doc / ctdb.1.xml
1 <?xml version="1.0" encoding="iso-8859-1"?>
2 <!DOCTYPE refentry PUBLIC "-//Samba-Team//DTD DocBook V4.2-Based Variant V1.0//EN" "http://www.samba.org/samba/DTD/samba-doc">
3 <refentry id="ctdb.1">
4
5 <refmeta>
6         <refentrytitle>ctdb</refentrytitle>
7         <manvolnum>1</manvolnum>
8 </refmeta>
9
10
11 <refnamediv>
12         <refname>ctdb</refname>
13         <refpurpose>clustered tdb database management utility</refpurpose>
14 </refnamediv>
15
16 <refsynopsisdiv>
17         <cmdsynopsis>
18                 <command>ctdb [ OPTIONS ] COMMAND ...</command>
19         </cmdsynopsis>
20         
21         <cmdsynopsis>
22                 <command>ctdb</command>
23                 <arg choice="opt">-n &lt;node&gt;</arg>
24                 <arg choice="opt">-Y</arg>
25                 <arg choice="opt">-t &lt;timeout&gt;</arg>
26                 <arg choice="opt">-T &lt;timelimit&gt;</arg>
27                 <arg choice="opt">-? --help</arg>
28                 <arg choice="opt">--usage</arg>
29                 <arg choice="opt">-d --debug=&lt;INTEGER&gt;</arg>
30                 <arg choice="opt">--socket=&lt;filename&gt;</arg>
31         </cmdsynopsis>
32         
33 </refsynopsisdiv>
34
35   <refsect1><title>DESCRIPTION</title>
36     <para>
37       ctdb is a utility to view and manage a ctdb cluster.
38     </para>
39   </refsect1>
40
41
42   <refsect1>
43     <title>OPTIONS</title>
44
45     <variablelist>
46       <varlistentry><term>-n &lt;pnn&gt;</term>
47         <listitem>
48           <para>
49             This specifies the physical node number on which to execute the 
50             command. Default is to run the command on the deamon running on 
51             the local host.
52           </para>
53           <para>
54             The physical node number is an integer that describes the node in the
55             cluster. The first node has physical node number 0.
56           </para>
57         </listitem>
58       </varlistentry>
59
60       <varlistentry><term>-Y</term>
61         <listitem>
62           <para>
63             Produce output in machine readable form for easier parsing by scripts. Not all commands support this option.
64           </para>
65         </listitem>
66       </varlistentry>
67
68       <varlistentry><term>-t &lt;timeout&gt;</term>
69         <listitem>
70           <para>
71             How long should ctdb wait for the local ctdb daemon to respond to a command before timing out. Default is 3 seconds.
72           </para>
73         </listitem>
74       </varlistentry>
75
76       <varlistentry><term>-T &lt;timelimit&gt;</term>
77         <listitem>
78           <para>
79             A limit on how long the ctdb command will run for before it will
80             be aborted. When this timelimit has been exceeded the ctdb command will
81             terminate.
82           </para>
83         </listitem>
84       </varlistentry>
85
86       <varlistentry><term>-? --help</term>
87         <listitem>
88           <para>
89             Print some help text to the screen.
90           </para>
91         </listitem>
92       </varlistentry>
93
94       <varlistentry><term>--usage</term>
95         <listitem>
96           <para>
97             Print useage information to the screen.
98           </para>
99         </listitem>
100       </varlistentry>
101
102       <varlistentry><term>-d --debug=&lt;debuglevel&gt;</term>
103         <listitem>
104           <para>
105             Change the debug level for the command. Default is 0.
106           </para>
107         </listitem>
108       </varlistentry>
109
110       <varlistentry><term>--socket=&lt;filename&gt;</term>
111         <listitem>
112           <para>
113             Specify the socketname to use when connecting to the local ctdb 
114             daemon. The default is /tmp/ctdb.socket .
115           </para>
116           <para>
117             You only need to specify this parameter if you run multiple ctdb 
118             daemons on the same physical host and thus can not use the default
119             name for the domain socket.
120           </para>
121         </listitem>
122       </varlistentry>
123
124     </variablelist>
125   </refsect1>
126
127
128   <refsect1><title>Administrative Commands</title>
129     <para>
130       These are commands used to monitor and administrate a CTDB cluster.
131     </para>
132
133     <refsect2><title>status</title>
134       <para>
135         This command shows the current status of the ctdb node.
136       </para>
137
138       <refsect3><title>node status</title>
139         <para>
140           Node status reflects the current status of the node. There are four possible states:
141         </para>
142         <para>
143           OK - This node is fully functional.
144         </para>
145         <para>
146           DISCONNECTED - This node could not be connected through the network and is currently not participating in the cluster. If there is a public IP address associated with this node it should have been taken over by a different node. No services are running on this node.
147         </para>
148         <para>
149           DISABLED - This node has been administratively disabled. This node is still functional and participates in the CTDB cluster but its IP addresses have been taken over by a different node and no services are currently being hosted.
150         </para>
151         <para>
152           UNHEALTHY - A service provided by this node is malfunctioning and should be investigated. The CTDB daemon itself is operational and participates in the cluster. Its public IP address has been taken over by a different node and no services are currnetly being hosted. All unhealthy nodes should be investigated and require an administrative action to rectify.
153         </para>
154         <para>
155           BANNED - This node failed too many recovery attempts and has been banned from participating in the cluster for a period of RecoveryBanPeriod seconds. Any public IP address has been taken over by other nodes. This node does not provide any services. All banned nodes should be investigated and require an administrative action to rectify. This node does not perticipate in the CTDB cluster but can still be communicated with. I.e. ctdb commands can be sent to it.
156         </para>
157       </refsect3>
158
159       <refsect3><title>generation</title>
160         <para>
161           The generation id is a number that indicates the current generation 
162           of a cluster instance. Each time a cluster goes through a 
163           reconfiguration or a recovery its generation id will be changed.
164           </para>
165           <para>
166           This number does not have any particular meaning other than to keep
167           track of when a cluster has gone through a recovery. It is a random
168           number that represents the current instance of a ctdb cluster
169           and its databases.
170           CTDBD uses this number internally to be able to tell when commands 
171           to operate on the cluster and the databases was issued in a different
172           generation of the cluster, to ensure that commands that operate
173           on the databases will not survive across a cluster database recovery.
174           After a recovery, all old outstanding commands will automatically
175           become invalid. 
176         </para>
177         <para>
178           Sometimes this number will be shown as "INVALID". This only means that
179           the ctdbd daemon has started but it has not yet merged with the cluster through a recovery.
180           All nodes start with generation "INVALID" and are not assigned a real
181           generation id until they have successfully been merged with a cluster
182           through a recovery.
183         </para>
184       </refsect3>
185
186       <refsect3><title>VNNMAP</title>
187         <para>
188           The list of Virtual Node Numbers. This is a list of all nodes that actively participates in the cluster and that share the workload of hosting the Clustered TDB database records.
189           Only nodes that are participating in the vnnmap can become lmaster or dmaster for a database record.
190         </para>
191       </refsect3>
192
193       <refsect3><title>Recovery mode</title>
194         <para>
195           This is the current recovery mode of the cluster. There are two possible modes:
196         </para>
197         <para>
198           NORMAL - The cluster is fully operational.
199         </para>
200         <para>
201           RECOVERY - The cluster databases have all been frozen, pausing all services while the cluster awaits a recovery process to complete. A recovery process should finish within seconds. If a cluster is stuck in the RECOVERY state this would indicate a cluster malfunction which needs to be investigated.
202         </para>
203         <para>
204         Once the recovery master detects an inconsistency, for example a node 
205         becomes disconnected/connected, the recovery daemon will trigger a 
206         cluster recovery process, where all databases are remerged across the
207         cluster. When this process starts, the recovery master will first
208         "freeze" all databases to prevent applications such as samba from 
209         accessing the databases and it will also mark the recovery mode as
210         RECOVERY.
211         </para>
212         <para>
213         When CTDBD starts up, it will start in RECOVERY mode.
214         Once the node has been merged into a cluster and all databases
215         have been recovered, the node mode will change into NORMAL mode
216         and the databases will be "thawed", allowing samba to access the
217         databases again.
218         </para>
219       </refsect3>
220
221       <refsect3><title>Recovery master</title>
222         <para>
223           This is the cluster node that is currently designated as the recovery master. This node is responsible of monitoring the consistency of the cluster and to perform the actual recovery process when reqired.
224         </para>
225         <para>
226         Only one node at a time can be the designated recovery master. Which
227         node is designated the recovery master is decided by an election
228         process in the recovery daemons running on each node.
229         </para>
230       </refsect3>
231
232       <para>
233         Example: ctdb status
234       </para>
235       <para>Example output:</para>
236       <screen format="linespecific">
237 Number of nodes:4
238 pnn:0 11.1.2.200       OK (THIS NODE)
239 pnn:1 11.1.2.201       OK
240 pnn:2 11.1.2.202       OK
241 pnn:3 11.1.2.203       OK
242 Generation:1362079228
243 Size:4
244 hash:0 lmaster:0
245 hash:1 lmaster:1
246 hash:2 lmaster:2
247 hash:3 lmaster:3
248 Recovery mode:NORMAL (0)
249 Recovery master:0
250       </screen>
251     </refsect2>
252
253     <refsect2><title>ping</title>
254       <para>
255         This command will "ping" all CTDB daemons in the cluster to verify that they are processing commands correctly.
256       </para>
257       <para>
258         Example: ctdb ping
259       </para>
260       <para>
261         Example output:
262       </para>
263       <screen format="linespecific">
264 response from 0 time=0.000054 sec  (3 clients)
265 response from 1 time=0.000144 sec  (2 clients)
266 response from 2 time=0.000105 sec  (2 clients)
267 response from 3 time=0.000114 sec  (2 clients)
268       </screen>
269     </refsect2>
270
271     <refsect2><title>ip</title>
272       <para>
273         This command will display the list of public addresses that are provided by the cluster and which physical node is currently serving this ip.
274       </para>
275       <para>
276         Example: ctdb ip
277       </para>
278       <para>
279         Example output:
280       </para>
281       <screen format="linespecific">
282 Number of addresses:4
283 12.1.1.1         0
284 12.1.1.2         1
285 12.1.1.3         2
286 12.1.1.4         3
287       </screen>
288     </refsect2>
289
290     <refsect2><title>getvar &lt;name&gt;</title>
291       <para>
292         Get the runtime value of a tuneable variable.
293       </para>
294       <para>
295         Example: ctdb getvar MaxRedirectCount
296       </para>
297       <para>
298         Example output:
299       </para>
300       <screen format="linespecific">
301 MaxRedirectCount    = 3
302       </screen>
303     </refsect2>
304
305     <refsect2><title>setvar &lt;name&gt; &lt;value&gt;</title>
306       <para>
307         Set the runtime value of a tuneable variable.
308       </para>
309       <para>
310         Example: ctdb setvar MaxRedirectCount 5
311       </para>
312     </refsect2>
313
314     <refsect2><title>listvars</title>
315       <para>
316         List all tuneable variables.
317       </para>
318       <para>
319         Example: ctdb listvars
320       </para>
321       <para>
322         Example output:
323       </para>
324       <screen format="linespecific">
325 MaxRedirectCount    = 5
326 SeqnumFrequency     = 1
327 ControlTimeout      = 60
328 TraverseTimeout     = 20
329 KeepaliveInterval   = 2
330 KeepaliveLimit      = 3
331 MaxLACount          = 7
332 RecoverTimeout      = 5
333 RecoverInterval     = 1
334 ElectionTimeout     = 3
335 TakeoverTimeout     = 5
336 MonitorInterval     = 15
337 EventScriptTimeout  = 20
338 RecoveryGracePeriod = 60
339 RecoveryBanPeriod   = 300
340       </screen>
341     </refsect2>
342
343     <refsect2><title>statistics</title>
344       <para>
345         Collect statistics from the CTDB daemon about how many calls it has served.
346       </para>
347       <para>
348         Example: ctdb statistics
349       </para>
350       <para>
351         Example output:
352       </para>
353       <screen format="linespecific">
354 CTDB version 1
355  num_clients                        3
356  frozen                             0
357  recovering                         0
358  client_packets_sent           360489
359  client_packets_recv           360466
360  node_packets_sent             480931
361  node_packets_recv             240120
362  keepalive_packets_sent             4
363  keepalive_packets_recv             3
364  node
365      req_call                       2
366      reply_call                     2
367      req_dmaster                    0
368      reply_dmaster                  0
369      reply_error                    0
370      req_message                   42
371      req_control               120408
372      reply_control             360439
373  client
374      req_call                       2
375      req_message                   24
376      req_control               360440
377  timeouts
378      call                           0
379      control                        0
380      traverse                       0
381  total_calls                        2
382  pending_calls                      0
383  lockwait_calls                     0
384  pending_lockwait_calls             0
385  memory_used                     5040
386  max_hop_count                      0
387  max_call_latency                   4.948321 sec
388  max_lockwait_latency               0.000000 sec
389       </screen>
390     </refsect2>
391
392     <refsect2><title>statisticsreset</title>
393       <para>
394         This command is used to clear all statistics counters in a node.
395       </para>
396       <para>
397         Example: ctdb statisticsreset
398       </para>
399     </refsect2>
400
401     <refsect2><title>getdebug</title>
402       <para>
403         Get the current debug level for the node. the debug level controls what information is written to the log file.
404       </para>
405     </refsect2>
406
407     <refsect2><title>setdebug &lt;debuglevel&gt;</title>
408       <para>
409         Set the debug level of a node. This is a number between 0 and 9 and controls what information will be written to the logfile.
410       </para>
411     </refsect2>
412
413     <refsect2><title>getpid</title>
414       <para>
415         This command will return the process id of the ctdb daemon.
416       </para>
417     </refsect2>
418
419     <refsect2><title>disable</title>
420       <para>
421         This command is used to administratively disable a node in the cluster.
422         A disabled node will still participate in the cluster and host
423         clustered TDB records but its public ip address has been taken over by
424         a different node and it no longer hosts any services.
425       </para>
426     </refsect2>
427
428     <refsect2><title>enable</title>
429       <para>
430         Re-enable a node that has been administratively disabled.
431       </para>
432     </refsect2>
433
434     <refsect2><title>ban &lt;bantime|0&gt;</title>
435       <para>
436         Administratively ban a node for bantime seconds. A bantime of 0 means that the node should be permanently banned. 
437       </para>
438       <para>
439         A banned node does not participate in the cluster and does not host any records for the clustered TDB. Its ip address has been taken over by an other node and no services are hosted.
440       </para>
441       <para>
442         Nodes are automatically banned if they are the cause of too many
443         cluster recoveries.
444       </para>
445     </refsect2>
446
447     <refsect2><title>unban</title>
448       <para>
449         This command is used to unban a node that has either been 
450         administratively banned using the ban command or has been automatically
451         banned by the recovery daemon.
452       </para>
453     </refsect2>
454
455     <refsect2><title>shutdown</title>
456       <para>
457         This command will shutdown a specific CTDB daemon.
458       </para>
459     </refsect2>
460
461     <refsect2><title>recover</title>
462       <para>
463         This command will trigger the recovery daemon to do a cluster
464         recovery.
465       </para>
466     </refsect2>
467
468     <refsect2><title>killtcp &lt;srcip:port&gt; &lt;dstip:port&gt;</title>
469       <para>
470         This command will kill the specified TCP connection by issuing a
471         TCP RST to the srcip:port endpoint.
472       </para>
473     </refsect2>
474
475     <refsect2><title>tickle &lt;srcip:port&gt; &lt;dstip:port&gt;</title>
476       <para>
477         This command will will send a TCP tickle to the source host for the
478         specified TCP connection.
479         A TCP tickle is a TCP ACK packet with an invalid sequence and 
480         acknowledge number and will when received by the source host result
481         in it sending an immediate correct ACK back to the other end.
482       </para>
483       <para>
484         TCP tickles are useful to "tickle" clients after a IP failover has 
485         occured since this will make the client immediately recognize the 
486         TCP connection has been disrupted and that the client will need
487         to reestablish. This greatly speeds up the time it takes for a client
488         to detect and reestablish after an IP failover in the ctdb cluster.
489       </para>
490     </refsect2>
491
492     <refsect2><title>repack [max_freelist]</title>
493       <para>
494         Over time, when records are created and deleted in a TDB, the TDB list of free space will become fragmented. This can lead to a slowdown in accessing TDB records.
495         This command is used to defragment a TDB database and pruning the freelist.
496       </para>
497  
498         <para>
499         If [max_freelist] is specified, then a database will only be repacked if it has more than this number of entries in the freelist.
500         </para>
501       <para>
502         During repacking of the database, the entire TDB database will be locked to prevent writes. If samba tries to write to a record in the database during a repack operation, samba will block until the repacking has completed.
503       </para>
504  
505       <para>
506         This command can be disruptive and can cause samba to block for the duration of the repack operation. In general, a repack operation will take less than one second to complete.
507       </para>
508  
509       <para>
510         A repack operation will only defragment the local TDB copy of the CTDB database. You need to run this command on all of the nodes to repack a CTDB database completely.
511         </para>
512
513       <para>
514         Example: ctdb repack 1000
515       </para>
516
517       <para>
518          By default, this operation is issued from the 00.ctdb event script every 5 minutes.
519       </para>
520  
521     </refsect2>
522
523     <refsect2><title>vacuum [max_records]</title>
524       <para>
525         Over time CTDB databases will fill up with empty deleted records which will lead to a progressive slow down of CTDB database access.
526         This command is used to prune all databases and delete all empty records from the cluster.
527       </para>
528  
529       <para>
530          By default, vacuum will delete all empty records from all databases.
531          If [max_records] is specified, the command will only delete the first
532          [max_records] empty records for each database.
533       </para>
534  
535       <para>
536          Vacuum only deletes records where the local node is the lmaster.
537          To delete all records from the entire cluster you need to run a vacuum from each node.
538
539          This command is not disruptive. Samba is unaffected and will still be able to read/write records normally while the database is being vacuumed.
540       </para>
541
542       <para>
543         Example: ctdb vacuum
544       </para>
545  
546       <para>
547          By default, this operation is issued from the 00.ctdb event script every 5 minutes.
548       </para>
549     </refsect2>
550
551   </refsect1>
552
553
554   <refsect1><title>Debugging Commands</title>
555     <para>
556       These commands are primarily used for CTDB development and testing and
557       should not be used for normal administration.
558     </para>
559     <refsect2><title>process-exists &lt;pid&gt;</title>
560       <para>
561         This command checks if a specific process exists on the CTDB host. This is mainly used by Samba to check if remote instances of samba are still running or not.
562       </para>
563     </refsect2>
564
565     <refsect2><title>getdbmap</title>
566       <para>
567         This command lists all clustered TDB databases that the CTDB daemon has attached to. Some databases are flagged as PERSISTENT, this means that the database stores data persistently and the data will remain across reboots. One example of such a database is secrets.tdb where information about how the cluster was joined to the domain is stored.
568         </para>
569         <para>
570         Most databases are not persistent and only store the state information that the currently running samba daemons need. These databases are always wiped when ctdb/samba starts and when a node is rebooted.
571       </para>
572       <para>
573         Example: ctdb getdbmap
574       </para>
575       <para>
576         Example output:
577       </para>
578       <screen format="linespecific">
579 Number of databases:10
580 dbid:0x435d3410 name:notify.tdb path:/var/ctdb/notify.tdb.0 
581 dbid:0x42fe72c5 name:locking.tdb path:/var/ctdb/locking.tdb.0 dbid:0x1421fb78 name:brlock.tdb path:/var/ctdb/brlock.tdb.0 
582 dbid:0x17055d90 name:connections.tdb path:/var/ctdb/connections.tdb.0 
583 dbid:0xc0bdde6a name:sessionid.tdb path:/var/ctdb/sessionid.tdb.0 
584 dbid:0x122224da name:test.tdb path:/var/ctdb/test.tdb.0 
585 dbid:0x2672a57f name:idmap2.tdb path:/var/ctdb/persistent/idmap2.tdb.0 PERSISTENT
586 dbid:0xb775fff6 name:secrets.tdb path:/var/ctdb/persistent/secrets.tdb.0 PERSISTENT
587 dbid:0xe98e08b6 name:group_mapping.tdb path:/var/ctdb/persistent/group_mapping.tdb.0 PERSISTENT
588 dbid:0x7bbbd26c name:passdb.tdb path:/var/ctdb/persistent/passdb.tdb.0 PERSISTENT
589       </screen>
590     </refsect2>
591
592     <refsect2><title>catdb &lt;dbname&gt;</title>
593       <para>
594         This command will dump a clustered TDB database to the screen. This is a debugging command.
595       </para>
596     </refsect2>
597
598     <refsect2><title>getmonmode</title>
599       <para>
600         This command returns the monutoring mode of a node. The monitoring mode is either ACTIVE or DISABLED. Normally a node will continously monitor that all other nodes that are expected are in fact connected and that they respond to commands.
601       </para>
602       <para>
603         ACTIVE - This is the normal mode. The node is actively monitoring all other nodes, both that the transport is connected and also that the node responds to commands. If a node becomes unavailable, it will be marked as DISCONNECTED and a recovery is initiated to restore the cluster.
604       </para>
605       <para>
606         DISABLED - This node is not monitoring that other nodes are available. In this mode a node failure will not be detected and no recovery will be performed. This mode is useful when for debugging purposes one wants to attach GDB to a ctdb process but wants to prevent the rest of the cluster from marking this node as DISCONNECTED and do a recovery.
607       </para>
608     </refsect2>
609
610
611     <refsect2><title>setmonmode &lt;0|1&gt;</title>
612       <para>
613         This command can be used to explicitely disable/enable monitoring mode on a node. The main purpose is if one wants to attach GDB to a running ctdb daemon but wants to prevent the other nodes from marking it as DISCONNECTED and issuing a recovery. To do this, set monitoring mode to 0 on all nodes before attaching with GDB. Remember to set monitoring mode back to 1 afterwards.
614       </para>
615     </refsect2>
616
617     <refsect2><title>attach &lt;dbname&gt;</title>
618       <para>
619         This is a debugging command. This command will make the CTDB daemon create a new CTDB database and attach to it.
620       </para>
621     </refsect2>
622
623     <refsect2><title>dumpmemory</title>
624       <para>
625         This is a debugging command. This command will make the ctdb daemon to write a fill memory allocation map to the log file.
626       </para>
627     </refsect2>
628
629     <refsect2><title>freeze</title>
630       <para>
631         This command will lock all the local TDB databases causing clients 
632         that are accessing these TDBs such as samba3 to block until the
633         databases are thawed.
634       </para>
635       <para>
636         This is primarily used by the recovery daemon to stop all samba
637         daemons from accessing any databases while the database is recovered
638         and rebuilt.
639       </para>
640     </refsect2>
641
642     <refsect2><title>thaw</title>
643       <para>
644         Thaw a previously frozen node.
645       </para>
646     </refsect2>
647
648   </refsect1>
649
650
651   <refsect1><title>SEE ALSO</title>
652     <para>
653       ctdbd(1), onnode(1)
654       <ulink url="http://ctdb.samba.org/"/>
655     </para>
656   </refsect1>
657   <refsect1><title>COPYRIGHT/LICENSE</title>
658 <literallayout>
659 Copyright (C) Andrew Tridgell 2007
660 Copyright (C) Ronnie sahlberg 2007
661
662 This program is free software; you can redistribute it and/or modify
663 it under the terms of the GNU General Public License as published by
664 the Free Software Foundation; either version 3 of the License, or (at
665 your option) any later version.
666
667 This program is distributed in the hope that it will be useful, but
668 WITHOUT ANY WARRANTY; without even the implied warranty of
669 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
670 General Public License for more details.
671
672 You should have received a copy of the GNU General Public License
673 along with this program; if not, see http://www.gnu.org/licenses/.
674 </literallayout>
675   </refsect1>
676 </refentry>