From David Richards via https://bugs.wireshark.org/bugzilla/show_bug.cgi?id=8871 :
[metze/wireshark/wip.git] / mergecap.c
1 /* Combine two dump files, either by appending or by merging by timestamp
2  *
3  * $Id$
4  *
5  * Wireshark - Network traffic analyzer
6  * By Gerald Combs <gerald@wireshark.org>
7  * Copyright 1998 Gerald Combs
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of the GNU General Public License as published by
11  * the Free Software Foundation; either version 2 of the License, or
12  * (at your option) any later version.
13  *
14  * This program is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17  * GNU General Public License for more details.
18  *
19  * You should have received a copy of the GNU General Public License along
20  * with this program; if not, write to the Free Software Foundation, Inc.,
21  * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
22  *
23  * Mergecap written by Scott Renfro <scott@renfro.org> based on
24  * editcap by Richard Sharpe and Guy Harris
25  *
26  */
27
28 #include "config.h"
29
30 #include <stdio.h>
31 #include <stdlib.h>
32 #include <errno.h>
33 #include <glib.h>
34
35 #ifdef HAVE_UNISTD_H
36 #include <unistd.h>
37 #endif
38
39 #ifdef HAVE_SYS_TIME_H
40 #include <sys/time.h>
41 #endif
42
43 #include <string.h>
44 #include "wtap.h"
45
46 #ifndef HAVE_GETOPT
47 #include "wsutil/wsgetopt.h"
48 #endif
49
50 #include "svnversion.h"
51 #include "merge.h"
52 #include "wsutil/file_util.h"
53
54 #ifdef HAVE_FCNTL_H
55 #include <fcntl.h>
56 #endif
57
58 #ifdef _WIN32
59 #include <wsutil/unicode-utils.h>
60 #endif /* _WIN32 */
61
62 static int
63 get_natural_int(const char *string, const char *name)
64 {
65   long number;
66   char *p;
67
68   number = strtol(string, &p, 10);
69   if (p == string || *p != '\0') {
70     fprintf(stderr, "mergecap: The specified %s \"%s\" isn't a decimal number\n",
71             name, string);
72     exit(1);
73   }
74   if (number < 0) {
75     fprintf(stderr, "mergecap: The specified %s is a negative number\n",
76             name);
77     exit(1);
78   }
79   if (number > INT_MAX) {
80     fprintf(stderr, "mergecap: The specified %s is too large (greater than %d)\n",
81             name, INT_MAX);
82     exit(1);
83   }
84   return (int)number;
85 }
86
87 static int
88 get_positive_int(const char *string, const char *name)
89 {
90   int number;
91
92   number = get_natural_int(string, name);
93
94   if (number == 0) {
95     fprintf(stderr, "mergecap: The specified %s is zero\n",
96             name);
97     exit(1);
98   }
99
100   return number;
101 }
102
103 /*
104  * Show the usage
105  */
106 static void
107 usage(void)
108 {
109
110   fprintf(stderr, "Mergecap %s"
111 #ifdef SVNVERSION
112           " (" SVNVERSION " from " SVNPATH ")"
113 #endif
114           "\n", VERSION);
115   fprintf(stderr, "Merge two or more capture files into one.\n");
116   fprintf(stderr, "See http://www.wireshark.org for more information.\n");
117   fprintf(stderr, "\n");
118   fprintf(stderr, "Usage: mergecap [options] -w <outfile>|- <infile> [<infile> ...]\n");
119   fprintf(stderr, "\n");
120   fprintf(stderr, "Output:\n");
121   fprintf(stderr, "  -a                concatenate rather than merge files.\n");
122   fprintf(stderr, "                    default is to merge based on frame timestamps.\n");
123   fprintf(stderr, "  -s <snaplen>      truncate packets to <snaplen> bytes of data.\n");
124   fprintf(stderr, "  -w <outfile>|-    set the output filename to <outfile> or '-' for stdout.\n");
125   fprintf(stderr, "  -F <capture type> set the output file type; default is pcapng.\n");
126   fprintf(stderr, "                    an empty \"-F\" option will list the file types.\n");
127   fprintf(stderr, "  -T <encap type>   set the output file encapsulation type;\n");
128   fprintf(stderr, "                    default is the same as the first input file.\n");
129   fprintf(stderr, "                    an empty \"-T\" option will list the encapsulation types.\n");
130   fprintf(stderr, "\n");
131   fprintf(stderr, "Miscellaneous:\n");
132   fprintf(stderr, "  -h                display this help and exit.\n");
133   fprintf(stderr, "  -v                verbose output.\n");
134 }
135
136 struct string_elem {
137     const char *sstr;   /* The short string */
138     const char *lstr;   /* The long string */
139 };
140
141 static gint
142 string_compare(gconstpointer a, gconstpointer b)
143 {
144     return strcmp(((const struct string_elem *)a)->sstr,
145         ((const struct string_elem *)b)->sstr);
146 }
147
148 static void
149 string_elem_print(gpointer data, gpointer not_used _U_)
150 {
151     fprintf(stderr, "    %s - %s\n",
152         ((struct string_elem *)data)->sstr,
153         ((struct string_elem *)data)->lstr);
154 }
155
156 static void
157 list_capture_types(void) {
158   int i;
159   struct string_elem *captypes;
160   GSList *list = NULL;
161
162   captypes = g_new(struct string_elem,WTAP_NUM_FILE_TYPES);
163
164   fprintf(stderr, "mergecap: The available capture file types for the \"-F\" flag are:\n");
165   for (i = 0; i < WTAP_NUM_FILE_TYPES; i++) {
166     if (wtap_dump_can_open(i)) {
167       captypes[i].sstr = wtap_file_type_short_string(i);
168       captypes[i].lstr = wtap_file_type_string(i);
169       list = g_slist_insert_sorted(list, &captypes[i], string_compare);
170     }
171   }
172   g_slist_foreach(list, string_elem_print, NULL);
173   g_slist_free(list);
174   g_free(captypes);
175 }
176
177 static void
178 list_encap_types(void) {
179     int i;
180     struct string_elem *encaps;
181     GSList *list = NULL;
182
183     encaps = g_new(struct string_elem,WTAP_NUM_ENCAP_TYPES);
184     fprintf(stderr, "mergecap: The available encapsulation types for the \"-T\" flag are:\n");
185     for (i = 0; i < WTAP_NUM_ENCAP_TYPES; i++) {
186         encaps[i].sstr = wtap_encap_short_string(i);
187         if (encaps[i].sstr != NULL) {
188             encaps[i].lstr = wtap_encap_string(i);
189             list = g_slist_insert_sorted(list, &encaps[i], string_compare);
190         }
191     }
192     g_slist_foreach(list, string_elem_print, NULL);
193     g_slist_free(list);
194     g_free(encaps);
195 }
196
197 int
198 main(int argc, char *argv[])
199 {
200   int          opt;
201
202   gboolean     do_append     = FALSE;
203   gboolean     verbose       = FALSE;
204   int          in_file_count = 0;
205   guint        snaplen = 0;
206 #ifdef PCAP_NG_DEFAULT
207   int          file_type = WTAP_FILE_PCAPNG;    /* default to pcap format */
208 #else
209   int          file_type = WTAP_FILE_PCAP;      /* default to pcapng format */
210 #endif
211   int          frame_type = -2;
212   int          out_fd;
213   merge_in_file_t   *in_files      = NULL, *in_file;
214   int          i;
215   struct wtap_pkthdr *phdr, snap_phdr;
216   wtap_dumper *pdh;
217   int          open_err, read_err=0, write_err, close_err;
218   gchar       *err_info;
219   int          err_fileno;
220   char        *out_filename = NULL;
221   gboolean     got_read_error = FALSE, got_write_error = FALSE;
222   int          count;
223
224 #ifdef _WIN32
225   arg_list_utf_16to8(argc, argv);
226   create_app_running_mutex();
227 #endif /* _WIN32 */
228
229   /* Process the options first */
230   while ((opt = getopt(argc, argv, "hvas:T:F:w:")) != -1) {
231
232     switch (opt) {
233     case 'w':
234       out_filename = optarg;
235       break;
236
237     case 'a':
238       do_append = !do_append;
239       break;
240
241     case 'T':
242       frame_type = wtap_short_string_to_encap(optarg);
243       if (frame_type < 0) {
244         fprintf(stderr, "mergecap: \"%s\" isn't a valid encapsulation type\n",
245             optarg);
246         list_encap_types();
247         exit(1);
248       }
249       break;
250
251     case 'F':
252       file_type = wtap_short_string_to_file_type(optarg);
253       if (file_type < 0) {
254         fprintf(stderr, "mergecap: \"%s\" isn't a valid capture file type\n",
255             optarg);
256         list_capture_types();
257         exit(1);
258       }
259       break;
260
261     case 'v':
262       verbose = TRUE;
263       break;
264
265     case 's':
266       snaplen = get_positive_int(optarg, "snapshot length");
267       break;
268
269     case 'h':
270       usage();
271       exit(0);
272       break;
273
274     case '?':              /* Bad options if GNU getopt */
275       switch(optopt) {
276       case'F':
277         list_capture_types();
278         break;
279       case'T':
280         list_encap_types();
281         break;
282       default:
283         usage();
284       }
285       exit(1);
286       break;
287
288     }
289
290   }
291
292   /* check for proper args; at a minimum, must have an output
293    * filename and one input file
294    */
295   in_file_count = argc - optind;
296   if (!out_filename) {
297     fprintf(stderr, "mergecap: an output filename must be set with -w\n");
298     fprintf(stderr, "          run with -h for help\n");
299     return 1;
300   }
301   if (in_file_count < 1) {
302     fprintf(stderr, "mergecap: No input files were specified\n");
303     return 1;
304   }
305
306   /* open the input files */
307   if (!merge_open_in_files(in_file_count, &argv[optind], &in_files,
308                            &open_err, &err_info, &err_fileno)) {
309     fprintf(stderr, "mergecap: Can't open %s: %s\n", argv[optind + err_fileno],
310         wtap_strerror(open_err));
311     switch (open_err) {
312
313     case WTAP_ERR_UNSUPPORTED:
314     case WTAP_ERR_UNSUPPORTED_ENCAP:
315     case WTAP_ERR_BAD_FILE:
316       fprintf(stderr, "(%s)\n", err_info);
317       g_free(err_info);
318       break;
319     }
320     return 2;
321   }
322
323   if (verbose) {
324     for (i = 0; i < in_file_count; i++)
325       fprintf(stderr, "mergecap: %s is type %s.\n", argv[optind + i],
326               wtap_file_type_string(wtap_file_type(in_files[i].wth)));
327   }
328
329   if (snaplen == 0) {
330     /*
331      * Snapshot length not specified - default to the maximum of the
332      * snapshot lengths of the input files.
333      */
334     snaplen = merge_max_snapshot_length(in_file_count, in_files);
335   }
336
337   /* set the outfile frame type */
338   if (frame_type == -2) {
339     /*
340      * Default to the appropriate frame type for the input files.
341      */
342     frame_type = merge_select_frame_type(in_file_count, in_files);
343     if (verbose) {
344       if (frame_type == WTAP_ENCAP_PER_PACKET) {
345         /*
346          * Find out why we had to choose WTAP_ENCAP_PER_PACKET.
347          */
348         int first_frame_type, this_frame_type;
349
350         first_frame_type = wtap_file_encap(in_files[0].wth);
351         for (i = 1; i < in_file_count; i++) {
352           this_frame_type = wtap_file_encap(in_files[i].wth);
353           if (first_frame_type != this_frame_type) {
354             fprintf(stderr, "mergecap: multiple frame encapsulation types detected\n");
355             fprintf(stderr, "          defaulting to WTAP_ENCAP_PER_PACKET\n");
356             fprintf(stderr, "          %s had type %s (%s)\n",
357                     in_files[0].filename,
358                     wtap_encap_string(first_frame_type),
359                     wtap_encap_short_string(first_frame_type));
360             fprintf(stderr, "          %s had type %s (%s)\n",
361                     in_files[i].filename,
362                     wtap_encap_string(this_frame_type),
363                     wtap_encap_short_string(this_frame_type));
364             break;
365           }
366         }
367       }
368       fprintf(stderr, "mergecap: selected frame_type %s (%s)\n",
369               wtap_encap_string(frame_type),
370               wtap_encap_short_string(frame_type));
371     }
372   }
373
374   /* open the outfile */
375   if (strncmp(out_filename, "-", 2) == 0) {
376     /* use stdout as the outfile */
377     out_fd = 1 /*stdout*/;
378   } else {
379     /* open the outfile */
380     out_fd = ws_open(out_filename, O_WRONLY | O_CREAT | O_TRUNC | O_BINARY, 0644);
381     if (out_fd == -1) {
382       fprintf(stderr, "mergecap: Couldn't open output file %s: %s\n",
383               out_filename, g_strerror(errno));
384       exit(1);
385     }
386   }
387
388   /* prepare the outfile */
389   if(file_type == WTAP_FILE_PCAPNG ){
390     wtapng_section_t    *shb_hdr;
391     GString *comment_gstr;
392
393     shb_hdr = g_new(wtapng_section_t,1);
394     comment_gstr = g_string_new("File created by merging: \n");
395
396     for (i = 0; i < in_file_count; i++) {
397         g_string_append_printf(comment_gstr, "File%d: %s \n",i+1,in_files[i].filename);
398     }
399     shb_hdr->section_length = -1;
400     /* options */
401     shb_hdr->opt_comment   =    comment_gstr->str;              /* NULL if not available */
402     shb_hdr->shb_hardware  =    NULL;           /* NULL if not available, UTF-8 string containing the description of the hardware used to create this section. */
403     shb_hdr->shb_os        =    NULL;           /* NULL if not available, UTF-8 string containing the name of the operating system used to create this section. */
404     shb_hdr->shb_user_appl =    "mergecap";     /* NULL if not available, UTF-8 string containing the name of the application used to create this section. */
405
406     pdh = wtap_dump_fdopen_ng(out_fd, file_type, frame_type, snaplen,
407                               FALSE /* compressed */, shb_hdr, NULL /* wtapng_iface_descriptions_t *idb_inf */, &open_err);
408     g_string_free(comment_gstr, TRUE);
409   }else{
410        pdh = wtap_dump_fdopen(out_fd, file_type, frame_type, snaplen, FALSE /* compressed */, &open_err);
411   }
412   if (pdh == NULL) {
413     merge_close_in_files(in_file_count, in_files);
414     g_free(in_files);
415     fprintf(stderr, "mergecap: Can't open or create %s: %s\n", out_filename,
416             wtap_strerror(open_err));
417     exit(1);
418   }
419
420   /* do the merge (or append) */
421   count = 1;
422   for (;;) {
423     if (do_append)
424       in_file = merge_append_read_packet(in_file_count, in_files, &read_err,
425                                          &err_info);
426     else
427       in_file = merge_read_packet(in_file_count, in_files, &read_err,
428                                   &err_info);
429     if (in_file == NULL) {
430       /* EOF */
431       break;
432     }
433
434     if (read_err != 0) {
435       /* I/O error reading from in_file */
436       got_read_error = TRUE;
437       break;
438     }
439
440     if (verbose)
441       fprintf(stderr, "Record: %u\n", count++);
442
443     /* We simply write it, perhaps after truncating it; we could do other
444      * things, like modify it. */
445     phdr = wtap_phdr(in_file->wth);
446     if (snaplen != 0 && phdr->caplen > snaplen) {
447       snap_phdr = *phdr;
448       snap_phdr.caplen = snaplen;
449       phdr = &snap_phdr;
450     }
451
452     if (!wtap_dump(pdh, phdr, wtap_buf_ptr(in_file->wth), &write_err)) {
453       got_write_error = TRUE;
454       break;
455     }
456   }
457
458   merge_close_in_files(in_file_count, in_files);
459   if (!got_read_error && !got_write_error) {
460     if (!wtap_dump_close(pdh, &write_err))
461       got_write_error = TRUE;
462   } else
463     wtap_dump_close(pdh, &close_err);
464
465   if (got_read_error) {
466     /*
467      * Find the file on which we got the error, and report the error.
468      */
469     for (i = 0; i < in_file_count; i++) {
470       if (in_files[i].state == GOT_ERROR) {
471         fprintf(stderr, "mergecap: Error reading %s: %s\n",
472                 in_files[i].filename, wtap_strerror(read_err));
473         switch (read_err) {
474
475         case WTAP_ERR_UNSUPPORTED:
476         case WTAP_ERR_UNSUPPORTED_ENCAP:
477         case WTAP_ERR_BAD_FILE:
478           fprintf(stderr, "(%s)\n", err_info);
479           g_free(err_info);
480           break;
481         }
482       }
483     }
484   }
485
486   if (got_write_error) {
487     switch (write_err) {
488
489     case WTAP_ERR_UNSUPPORTED_ENCAP:
490       /*
491        * This is a problem with the particular frame we're writing;
492        * note that, and give the frame number.
493        */
494       fprintf(stderr, "mergecap: Frame %u of \"%s\" has a network type that can't be saved in a file with that format\n.",
495               in_file->packet_num, in_file->filename);
496       break;
497
498     default:
499       fprintf(stderr, "mergecap: Error writing to outfile: %s\n",
500               wtap_strerror(write_err));
501       break;
502     }
503   }
504
505   g_free(in_files);
506
507   return (!got_read_error && !got_write_error) ? 0 : 2;
508 }