Add missing comments in syntax description for -z expert
[obnox/wireshark/wip.git] / doc / editcap.pod
index 22870bd6857eddda100f6e5c1a39b531bb255721..deea34ea7644db765fc0beacab99dcdd7f4bdadf 100644 (file)
 
 editcap - Edit and/or translate the format of capture files
 
-=head1 SYNOPSYS
+=head1 SYNOPSIS
 
 B<editcap>
-S<[ B<-c> packets per file]>
-S<[ B<-C> choplen ]>
-S<[ B<-E> error probability]>
-S<[ B<-F> file format ]>
+S<[ B<-c> E<lt>packets per fileE<gt> ]>
+S<[ B<-C> E<lt>choplenE<gt> ]>
+S<[ B<-E> E<lt>error probabilityE<gt> ]>
+S<[ B<-F> E<lt>file formatE<gt> ]>
+S<[ B<-W> E<lt>file format optionE<gt>]>
+S<[ B<-H> E<lt>input hosts file<gt> ]>
+S<[ B<-A> E<lt>start timeE<gt> ]>
+S<[ B<-B> E<lt>stop timeE<gt> ]>
 S<[ B<-h> ]>
+S<[ B<-i> E<lt>seconds per fileE<gt> ]>
 S<[ B<-r> ]>
-S<[ B<-s> snaplen ]>
-S<[ B<-t> time adjustment ]>
-S<[ B<-T> encapsulation type ]>
+S<[ B<-s> E<lt>snaplenE<gt> ]>
+S<[ B<-t> E<lt>time adjustmentE<gt> ]>
+S<[ B<-S> E<lt>strict time adjustmentE<gt> ]>
+S<[ B<-T> E<lt>encapsulation typeE<gt> ]>
 S<[ B<-v> ]>
 I<infile>
 I<outfile>
 S<[ I<packet#>[-I<packet#>] ... ]>
 
+B<editcap>
+S< B<-d> > |
+S< B<-D> E<lt>dup windowE<gt> > |
+S< B<-w> E<lt>dup time windowE<gt> >
+S<[ B<-v> ]>
+I<infile>
+I<outfile>
+
 =head1 DESCRIPTION
 
 B<Editcap> is a program that reads some or all of the captured packets from the 
 I<infile>, optionally converts them in various ways and writes the 
 resulting packets to the capture I<outfile> (or outfiles). 
 
-By default, it reads all packets from the I<infile> and writes them to the I<outfile>
-in libpcap file format.
+By default, it reads all packets from the I<infile> and writes them to the 
+I<outfile> in libpcap file format.
+
+An optional list of packet numbers can be specified on the command tail; 
+individual packet numbers separated by whitespace and/or ranges of packet
+numbers can be specified as I<start>-I<end>, referring to all packets from
+I<start> to I<end>.  By default the selected packets with those numbers will
+I<not> be written to the capture file.  If the B<-r> flag is specified, the
+whole packet selection is reversed; in that case I<only> the selected packets
+will be written to the capture file.
+
+B<Editcap> can also be used to remove duplicate packets.  Several different
+options (B<-d>, B<-D> and B<-w>) are used to control the packet window
+or relative time window to be used for duplicate comparison.
+
+B<Editcap> is able to detect, read and write the same capture files that 
+are supported by B<Wireshark>.
+The input file doesn't need a specific filename extension; the file 
+format and an optional gzip compression will be automatically detected.
+Near the beginning of the DESCRIPTION section of wireshark(1) or
+L<http://www.wireshark.org/docs/man-pages/wireshark.html>
+is a detailed description of the way B<Wireshark> handles this, which is
+the same way B<Editcap> handles this.
 
-A list of packet numbers can be specified on the command line; ranges of packet numbers can be
-specified as I<start>-I<end>, referring to all packets from I<start> to
-I<end>.
-The selected packets with those numbers will I<not> be written to the capture file. 
-If the B<-r> flag is specified, the whole packet selection is reversed; in that case I<only> the selected packets
-will be written to the capture file.  
-
-The supported input and output capture file formats are described in a section below.
+B<Editcap> can write the file in several output formats. The B<-F>
+flag can be used to specify the format in which to write the capture
+file; B<editcap -F> provides a list of the available output formats.
 
 =head1 OPTIONS
 
 =over 4
 
-=item -c  packets per file
+=item -c  E<lt>packets per fileE<gt>
 
-Sets the maximum number of packets per output file. Each output file will 
+Splits the packet output to different files based on uniform packet counts
+with a maximum of <packets per file> each. Each output file will 
 be created with a suffix -nnnnn, starting with 00000. If the specified 
-number of packets are written to the output file, the next output file is 
-opened. 
+number of packets is written to the output file, the next output file is 
+opened. The default is to use a single output file.
+
+=item -C  E<lt>choplenE<gt>
+
+Sets the chop length to use when writing the packet data. Each packet is
+chopped by a few <choplen> bytes of data. Positive values chop at the packet
+beginning while negative values chop at the packet end.
+
+This is useful for chopping headers for decapsulation of an entire capture or
+in the rare case that the conversion between two file formats leaves some random
+bytes at the end of each packet.
+
+=item -d
+
+Attempts to remove duplicate packets.  The length and MD5 hash of the 
+current packet are compared to the previous four (4) packets.  If a 
+match is found, the current packet is skipped.  This option is equivalent
+to using the option B<-D 5>.
+
+=item -D  E<lt>dup windowE<gt>
+
+Attempts to remove duplicate packets.  The length and MD5 hash of the
+current packet are compared to the previous <dup window> - 1 packets.
+If a match is found, the current packet is skipped.
+
+The use of the option B<-D 0> combined with the B<-v> option is useful
+in that each packet's Packet number, Len and MD5 Hash will be printed
+to standard out.  This verbose output (specifically the MD5 hash strings)
+can be useful in scripts to identify duplicate packets across trace
+files.
+
+The <dup window> is specified as an integer value between 0 and 1000000 (inclusive).
+
+NOTE: Specifying large <dup window> values with large tracefiles can
+result in very long processing times for B<editcap>.
+
+=item -w  E<lt>dup time windowE<gt>
 
-=item -C  choplen
+Attempts to remove duplicate packets.  The current packet's arrival time
+is compared with up to 1000000 previous packets.  If the packet's relative
+arrival time is I<less than or equal to> the <dup time window> of a previous packet
+and the packet length and MD5 hash of the current packet are the same then
+the packet to skipped.  The duplicate comparison test stops when
+the current packet's relative arrival time is greater than <dup time window>.
 
-Sets the chop length to use when writing the packet data.
-Each packet is chopped at the packet end by a few <choplen> bytes of data.
+The <dup time window> is specified as I<seconds>[I<.fractional seconds>].
 
-This is useful in the rare case that the conversion between two file 
-formats leaves some random bytes at the end of each packet.
+The [.fractional seconds] component can be specified to nine (9) decimal
+places (billionths of a second) but most typical trace files have resolution
+to six (6) decimal places (millionths of a second).
 
-=item -E  error probability
+NOTE: Specifying large <dup time window> values with large tracefiles can
+result in very long processing times for B<editcap>.
 
-Sets the probabilty that bytes in the output file are randomly changed.
+NOTE: The B<-w> option assumes that the packets are in chronological order.  
+If the packets are NOT in chronological order then the B<-w> duplication 
+removal option may not identify some duplicates.
+
+=item -E  E<lt>error probabilityE<gt>
+
+Sets the probability that bytes in the output file are randomly changed.
 B<Editcap> uses that probability (between 0.0 and 1.0 inclusive) 
 to apply errors to each data byte in the file.  For instance, a 
 probability of 0.02 means that each byte has a 2% chance of having an error.
 
 This option is meant to be used for fuzz-testing protocol dissectors.
 
-=item -F  file format
+=item -F  E<lt>file formatE<gt>
 
 Sets the file format of the output capture file.
-B<Editcap> can write the file in several formats, B<editcap -h> 
-provides a complete list of the available output formats.
+B<Editcap> can write the file in several formats, B<editcap -F> 
+provides a list of the available output formats. The default
+is the B<libpcap> format.
+
+=item -W  E<lt>file format optionE<gt>
+
+Save extra information in the file if the format supports it. For
+example,
+
+  -F pcapng -W n
+
+will save host name resolution records along with captured packets.
+
+Future versions of Wireshark may automatically change the capture format to
+B<pcapng> as needed.
+
+The argument is a string that may contain the following letter:
+
+B<n> write network address resolution information (pcapng only)
+
+=item -H  E<lt>input "hosts" fileE<gt>
+
+Read a list of address to host name mappings and include the result in
+the output file. Implies B<-W n>.
+
+The input file format is described at
+L<http://en.wikipedia.org/wiki/Hosts_%28file%29>.
+
+=item -A  E<lt>start timeE<gt>
+
+Saves only the packets whose timestamp is on or after start time.
+The time is given in the following format YYYY-MM-DD HH:MM:SS
+
+=item -B  E<lt>stop timeE<gt>
+
+Saves only the packets whose timestamp is before stop time.
+The time is given in the following format YYYY-MM-DD HH:MM:SS
 
 =item -h
 
 Prints the version and options and exits.
 
+=item -i  E<lt>seconds per fileE<gt>
+
+Splits the packet output to different files based on uniform time intervals
+using a maximum interval of <seconds per file> each. Each output file will 
+be created with a suffix -nnnnn, starting with 00000. If packets for the specified 
+time interval are written to the output file, the next output file is 
+opened. The default is to use a single output file.
+
 =item -r
 
 Reverse the packet selection.
 Causes the packets whose packet numbers are specified on the command
 line to be written to the output capture file, instead of discarding them.
 
-=item -s  snaplen
+=item -s  E<lt>snaplenE<gt>
 
 Sets the snapshot length to use when writing the data.
 If the B<-s> flag is used to specify a snapshot length, packets in the
@@ -97,7 +219,7 @@ appear to reject Ethernet packets larger than the standard Ethernet MTU,
 making them incapable of handling gigabit Ethernet captures if jumbo
 packets were used).
 
-=item -t  time adjustment
+=item -t  E<lt>time adjustmentE<gt>
 
 Sets the time adjustment to use on selected packets.
 If the B<-t> flag is used to specify a time adjustment, the specified
@@ -111,13 +233,48 @@ This feature is useful when synchronizing dumps
 collected on different machines where the time difference between the
 two machines is known or can be estimated.
 
-=item -T  encapsulation type
+=item -S  E<lt>strict time adjustmentE<gt>
+
+Time adjust selected packets to insure strict chronological order. 
+
+The <strict time adjustment> value represents relative seconds
+specified as [-]I<seconds>[I<.fractional seconds>].
+
+As the capture file is processed each packet's absolute time is 
+I<possibly> adjusted to be equal to or greater than the previous 
+packet's absolute timestamp depending on the <strict time 
+adjustment> value.  
+
+If <strict time adjustment> value is 0 or greater (e.g. 0.000001) 
+then B<only> packets with a timestamp less than the previous packet 
+will adjusted.  The adjusted timestamp value will be set to be 
+equal to the timestamp value of the previous packet plus the value 
+of the <strict time adjustment> value.  A <strict time adjustment> 
+value of 0 will adjust the minimum number of timestamp values 
+necessary to insure that the resulting capture file is in 
+strict chronological order.
+
+If <strict time adjustment> value is specified as a 
+negative value, then the timestamp values of B<all> 
+packets will be adjusted to be equal to the timestamp value 
+of the previous packet plus the absolute value of the 
+<lt>strict time adjustment<gt> value. A <strict time
+adjustment> value of -0 will result in all packets
+having the timestamp value of the first packet.
+
+This feature is useful when the trace file has an occasional
+packet with a negative delta time relative to the previous 
+packet.
+
+=item -T  E<lt>encapsulation typeE<gt>
 
 Sets the packet encapsulation type of the output capture file.
 If the B<-T> flag is used to specify an encapsulation type, the
 encapsulation type of the output capture file will be forced to the
-specified type, rather than being the type appropriate to the
-encapsulation type of the input capture file.
+specified type. 
+B<editcap -T> provides a list of the available types. The default
+type is the one appropriate to the encapsulation type of the input 
+capture file.
 
 Note: this merely
 forces the encapsulation type of the output file to be the specified
@@ -125,12 +282,17 @@ type; the packet headers of the packets will not be translated from the
 encapsulation type of the input capture file to the specified
 encapsulation type (for example, it will not translate an Ethernet
 capture to an FDDI capture if an Ethernet capture is read and 'B<-T
-fddi>' is specified).
+fddi>' is specified). If you need to remove/add headers from/to a
+packet, you will need od(1)/text2pcap(1).
 
 =item -v
 
 Causes B<editcap> to print verbose messages while it's working.
 
+Use of B<-v> with the de-duplication switches of B<-d>, B<-D> or B<-w>
+will cause all MD5 hashes to be printed whether the packet is skipped
+or not.
+
 =back
 
 =head1 EXAMPLES
@@ -153,130 +315,69 @@ To limit a capture file to packets from number 200 to 750 (inclusive) use:
 
 To get all packets from number 1-500 (inclusive) use:
 
-    editcap -r capture.pcap 500.pcap 1-500
+    editcap -r capture.pcap first500.pcap 1-500
 
 or
 
-    editcap capture.pcap 500.pcap 501-9999999
-
-To filter out packets 10 to 20 and 30 to 40 into a new file use:
-
-    editcap capture.pcap selection.pcap 10-20 30-40
-
-To introduce 5% random errors in a capture file use:
-
-=over 4
-
-  editcap -E 0.05 capture.pcap capture_error.pcap
-
-=back
-
-=head1 Capture File Formats
-
-There is no need to tell B<Editcap> what type of
-file you are reading; it will determine the file type by itself. 
-
-B<Editcap> is also capable of reading any of these file formats if they
-are compressed using gzip. It recognizes this directly from the
-file; the '.gz' extension is not required for this purpose.
-
-The following I<input> file formats are supported:
-
-=over 4
-
-=item *
-libpcap/WinPcap, tcpdump and various other tools using tcpdump's capture format
-
-=item *
-B<snoop> and B<atmsnoop>
-
-=item *
-Shomiti/Finisar B<Surveyor> captures
+    editcap capture.pcap first500.pcap 501-9999999
 
-=item *
-Novell B<LANalyzer> captures
+To exclude packets 1, 5, 10 to 20 and 30 to 40 from the new file use:
 
-=item *
-Microsoft B<Network Monitor> captures
+    editcap capture.pcap exclude.pcap 1 5 10-20 30-40
 
-=item *
-AIX's B<iptrace> captures
+To select just packets 1, 5, 10 to 20 and 30 to 40 for the new file use:
 
-=item *
-Cinco Networks B<NetXRay> captures
+    editcap -r capture.pcap select.pcap 1 5 10-20 30-40
 
-=item *
-Network Associates Windows-based B<Sniffer> captures
+To remove duplicate packets seen within the prior four frames use:
 
-=item *
-Network General/Network Associates DOS-based B<Sniffer> (compressed or uncompressed) captures
+    editcap -d capture.pcap dedup.pcap
 
-=item *
-AG Group/WildPackets B<EtherPeek>/B<TokenPeek>/B<AiroPeek>/B<EtherHelp>/B<PacketGrabber> captures
+To remove duplicate packets seen within the prior 100 frames use:
 
-=item *
-B<RADCOM>'s WAN/LAN analyzer captures
+    editcap -D 101 capture.pcap dedup.pcap
 
-=item *
-Network Instruments B<Observer> version 9 captures
+To remove duplicate packets seen I<equal to or less than> 1/10th of a second:
 
-=item *
-B<Lucent/Ascend> router debug output
+    editcap -w 0.1 capture.pcap dedup.pcap
 
-=item *
-files from HP-UX's B<nettl>
+To display the MD5 hash for all of the packets (and NOT generate any
+real output file):
 
-=item *
-B<Toshiba's> ISDN routers dump output
+    editcap -v -D 0 capture.pcap /dev/null
 
-=item *
-the output from B<i4btrace> from the ISDN4BSD project
+or on Windows systems
 
-=item *
-traces from the B<EyeSDN> USB S0.
+    editcap -v -D 0 capture.pcap NUL
 
-=item *
-the output in B<IPLog> format from the Cisco Secure Intrusion Detection System
+To advance the timestamps of each packet forward by 3.0827 seconds:
 
-=item *
-B<pppd logs> (pppdump format)
+    editcap -t 3.0827 capture.pcap adjusted.pcap
 
-=item *
-the output from VMS's B<TCPIPtrace>/B<TCPtrace>/B<UCX$TRACE> utilities
+To insure all timestamps are in strict chronological order:
 
-=item *
-the text output from the B<DBS Etherwatch> VMS utility
+    editcap -S 0 capture.pcap adjusted.pcap
 
-=item *
-Visual Networks' B<Visual UpTime> traffic capture
-
-=item *
-the output from B<CoSine> L2 debug
-
-=item *
-the output from Accellent's B<5Views> LAN agents
+To introduce 5% random errors in a capture file use:
 
-=item *
-Endace Measurement Systems' ERF format captures 
+=over 4
 
-=item *
-Linux Bluez Bluetooth stack B<hcidump -w> traces
+  editcap -E 0.05 capture.pcap capture_error.pcap
 
 =back
 
-B<Editcap> can write the file in several output formats. The B<-F>
-flag can be used to specify the format in which to write the capture
-file, B<editcap -h> provides
-a list of the available output formats.
-
 =head1 SEE ALSO
 
-I<tcpdump(8)>, I<pcap(3)>, I<ethereal(1)>, I<mergecap(1)>
+tcpdump(8), pcap(3), wireshark(1), tshark(1), mergecap(1), dumpcap(1),
+capinfos(1), text2pcap(1), od(1)
 
 =head1 NOTES
 
-B<Editcap> is part of the B<Ethereal> distribution.  The latest version
-of B<Ethereal> can be found at B<http://www.ethereal.com>.
+B<Editcap> is part of the B<Wireshark> distribution.  The latest version
+of B<Wireshark> can be found at L<http://www.wireshark.org>.
+
+HTML versions of the Wireshark project man pages are available at:
+L<http://www.wireshark.org/docs/man-pages>.
 
 =head1 AUTHORS