enable output buffering in the recv generator. This makes a
[rsync.git] / main.c
1 /* 
2    Copyright (C) Andrew Tridgell 1996
3    Copyright (C) Paul Mackerras 1996
4    
5    This program is free software; you can redistribute it and/or modify
6    it under the terms of the GNU General Public License as published by
7    the Free Software Foundation; either version 2 of the License, or
8    (at your option) any later version.
9    
10    This program is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13    GNU General Public License for more details.
14    
15    You should have received a copy of the GNU General Public License
16    along with this program; if not, write to the Free Software
17    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18 */
19
20 #include "rsync.h"
21
22 time_t starttime = 0;
23
24 struct stats stats;
25
26 extern int csum_length;
27
28 extern int verbose;
29
30 static void report(int f)
31 {
32         time_t t = time(NULL);
33         extern int am_server;
34         extern int am_sender;
35         extern int am_daemon;
36         extern int do_stats;
37
38         if (am_daemon) {
39                 syslog(LOG_INFO,"wrote %.0f bytes  read %.0f bytes  total size %.0f\n",
40                        (double)stats.total_written,
41                        (double)stats.total_read,
42                        (double)stats.total_size);
43                 if (f == -1 || !am_sender) return;
44         }
45
46         if (!verbose) return;
47
48         if (am_server && !am_sender) return;
49
50         if (am_server && am_sender) {
51                 write_longint(f,stats.total_read);
52                 write_longint(f,stats.total_written);
53                 write_longint(f,stats.total_size);
54                 return;
55         }
56     
57         if (!am_sender) {
58                 int64 r;
59                 stats.total_written = read_longint(f);
60                 r = read_longint(f);
61                 stats.total_size = read_longint(f);
62                 stats.total_read = r;
63         }
64
65         if (do_stats) {
66                 printf("\nNumber of files: %d\n", stats.num_files);
67                 printf("Number of files transferred: %d\n", 
68                        stats.num_transferred_files);
69                 printf("Total file size: %.0f bytes\n", 
70                        (double)stats.total_size);
71                 printf("Total transferred file size: %.0f bytes\n", 
72                        (double)stats.total_transferred_size);
73                 printf("Literal data: %.0f bytes\n", 
74                        (double)stats.literal_data);
75                 printf("Matched data: %.0f bytes\n", 
76                        (double)stats.matched_data);
77                 printf("File list size: %d\n", stats.flist_size);
78                 printf("Total bytes written: %.0f\n", 
79                        (double)stats.total_written);
80                 printf("Total bytes read: %.0f\n\n", 
81                        (double)stats.total_read);
82         }
83         
84         printf("wrote %.0f bytes  read %.0f bytes  %.2f bytes/sec\n",
85                (double)stats.total_written,
86                (double)stats.total_read,
87                (stats.total_written+stats.total_read)/(0.5 + (t-starttime)));
88         printf("total size is %.0f  speedup is %.2f\n",
89                (double)stats.total_size,
90                (1.0*stats.total_size)/(stats.total_written+stats.total_read));
91
92         fflush(stdout);
93         fflush(stderr);
94 }
95
96
97 static int do_cmd(char *cmd,char *machine,char *user,char *path,int *f_in,int *f_out)
98 {
99         char *args[100];
100         int i,argc=0, ret;
101         char *tok,*dir=NULL;
102         extern int local_server;
103         extern char *rsync_path;
104
105         if (!local_server) {
106                 if (!cmd)
107                         cmd = getenv(RSYNC_RSH_ENV);
108                 if (!cmd)
109                         cmd = RSYNC_RSH;
110                 cmd = strdup(cmd);
111                 if (!cmd) 
112                         goto oom;
113
114                 for (tok=strtok(cmd," ");tok;tok=strtok(NULL," ")) {
115                         args[argc++] = tok;
116                 }
117
118 #if HAVE_REMSH
119                 /* remsh (on HPUX) takes the arguments the other way around */
120                 args[argc++] = machine;
121                 if (user) {
122                         args[argc++] = "-l";
123                         args[argc++] = user;
124                 }
125 #else
126                 if (user) {
127                         args[argc++] = "-l";
128                         args[argc++] = user;
129                 }
130                 args[argc++] = machine;
131 #endif
132
133                 args[argc++] = rsync_path;
134
135                 server_options(args,&argc);
136         }
137
138         args[argc++] = ".";
139
140         if (path && *path) 
141                 args[argc++] = path;
142
143         args[argc] = NULL;
144
145         if (verbose > 3) {
146                 rprintf(FINFO,"cmd=");
147                 for (i=0;i<argc;i++)
148                         rprintf(FINFO,"%s ",args[i]);
149                 rprintf(FINFO,"\n");
150         }
151
152         if (local_server) {
153                 ret = local_child(argc, args, f_in, f_out);
154         } else {
155                 ret = piped_child(args,f_in,f_out);
156         }
157
158         if (dir) free(dir);
159
160         return ret;
161
162 oom:
163         out_of_memory("do_cmd");
164         return 0; /* not reached */
165 }
166
167
168
169
170 static char *get_local_name(struct file_list *flist,char *name)
171 {
172         STRUCT_STAT st;
173         extern int orig_umask;
174
175         if (verbose > 2)
176                 rprintf(FINFO,"get_local_name count=%d %s\n", 
177                         flist->count, name);
178
179         if (do_stat(name,&st) == 0) {
180                 if (S_ISDIR(st.st_mode)) {
181                         if (!push_dir(name, 0)) {
182                                 rprintf(FERROR,"push_dir %s : %s (1)\n",
183                                         name,strerror(errno));
184                                 exit_cleanup(1);
185                         }
186                         return NULL;
187                 }
188                 if (flist->count > 1) {
189                         rprintf(FERROR,"ERROR: destination must be a directory when copying more than 1 file\n");
190                         exit_cleanup(1);
191                 }
192                 return name;
193         }
194
195         if (flist->count == 1)
196                 return name;
197
198         if (!name) 
199                 return NULL;
200
201         if (do_mkdir(name,0777 & ~orig_umask) != 0) {
202                 rprintf(FERROR,"mkdir %s : %s (1)\n",name,strerror(errno));
203                 exit_cleanup(1);
204         } else {
205                 rprintf(FINFO,"created directory %s\n",name);
206         }
207
208         if (!push_dir(name, 0)) {
209                 rprintf(FERROR,"push_dir %s : %s (2)\n",
210                         name,strerror(errno));
211                 exit_cleanup(1);
212         }
213
214         return NULL;
215 }
216
217
218
219
220 static void do_server_sender(int f_in, int f_out, int argc,char *argv[])
221 {
222         int i;
223         struct file_list *flist;
224         char *dir = argv[0];
225         extern int relative_paths;
226         extern int recurse;
227
228         if (verbose > 2)
229                 rprintf(FINFO,"server_sender starting pid=%d\n",(int)getpid());
230   
231         if (!relative_paths && !push_dir(dir, 0)) {
232                 rprintf(FERROR,"push_dir %s: %s (3)\n",dir,strerror(errno));
233                 exit_cleanup(1);
234         }
235         argc--;
236         argv++;
237   
238         if (strcmp(dir,".")) {
239                 int l = strlen(dir);
240                 if (strcmp(dir,"/") == 0) 
241                         l = 0;
242                 for (i=0;i<argc;i++)
243                         argv[i] += l+1;
244         }
245
246         if (argc == 0 && recurse) {
247                 argc=1;
248                 argv--;
249                 argv[0] = ".";
250         }
251         
252         flist = send_file_list(f_out,argc,argv);
253         if (!flist || flist->count == 0) {
254                 exit_cleanup(0);
255         }
256
257         set_nonblocking(f_out);
258         if (f_in != f_out)
259                 set_nonblocking(f_in);
260                 
261         send_files(flist,f_out,f_in);
262         report(f_out);
263         io_flush();
264         exit_cleanup(0);
265 }
266
267
268 static int do_recv(int f_in,int f_out,struct file_list *flist,char *local_name)
269 {
270         int pid;
271         int status=0;
272         int recv_pipe[2];
273         extern int preserve_hard_links;
274
275         if (preserve_hard_links)
276                 init_hard_links(flist);
277
278         if (pipe(recv_pipe) < 0) {
279                 rprintf(FERROR,"pipe failed in do_recv\n");
280                 exit_cleanup(1);
281         }
282   
283         io_flush();
284
285         if ((pid=do_fork()) == 0) {
286                 close(recv_pipe[0]);
287                 if (f_in != f_out) close(f_out);
288
289                 set_nonblocking(f_in);
290
291                 recv_files(f_in,flist,local_name,recv_pipe[1]);
292                 report(f_in);
293
294                 if (verbose > 3)
295                         rprintf(FINFO,"do_recv waiting on %d\n",pid);
296
297                 io_flush();
298                 _exit(0);
299         }
300
301         close(recv_pipe[1]);
302         io_close_input(f_in);
303         if (f_in != f_out) close(f_in);
304
305         set_nonblocking(f_out);
306
307         io_start_buffering(f_out);
308
309         generate_files(f_out,flist,local_name,recv_pipe[0]);
310
311         io_flush();
312         waitpid(pid, &status, 0);
313         return status;
314 }
315
316
317 static void do_server_recv(int f_in, int f_out, int argc,char *argv[])
318 {
319         int status;
320         struct file_list *flist;
321         char *local_name=NULL;
322         char *dir = NULL;
323         extern int delete_mode;
324         extern int am_daemon;
325
326         if (verbose > 2)
327                 rprintf(FINFO,"server_recv(%d) starting pid=%d\n",argc,(int)getpid());
328         
329         if (argc > 0) {
330                 dir = argv[0];
331                 argc--;
332                 argv++;
333                 if (!am_daemon && !push_dir(dir, 0)) {
334                         rprintf(FERROR,"push_dir %s : %s (4)\n",
335                                 dir,strerror(errno));
336                         exit_cleanup(1);
337                 }    
338         }
339
340         if (delete_mode)
341                 recv_exclude_list(f_in);
342
343         flist = recv_file_list(f_in);
344         if (!flist || flist->count == 0) {
345                 rprintf(FERROR,"server_recv: nothing to do\n");
346                 exit_cleanup(1);
347         }
348         
349         if (argc > 0) {    
350                 if (strcmp(dir,".")) {
351                         argv[0] += strlen(dir);
352                         if (argv[0][0] == '/') argv[0]++;
353                 }
354                 local_name = get_local_name(flist,argv[0]);
355         }
356
357         status = do_recv(f_in,f_out,flist,local_name);
358         exit_cleanup(status);
359 }
360
361
362 void start_server(int f_in, int f_out, int argc, char *argv[])
363 {
364         extern int cvs_exclude;
365         extern int am_sender;
366
367         setup_protocol(f_out, f_in);
368         
369         if (am_sender) {
370                 recv_exclude_list(f_in);
371                 if (cvs_exclude)
372                         add_cvs_excludes();
373                 do_server_sender(f_in, f_out, argc, argv);
374         } else {
375                 do_server_recv(f_in, f_out, argc, argv);
376         }
377         exit_cleanup(0);
378 }
379
380 int client_run(int f_in, int f_out, int pid, int argc, char *argv[])
381 {
382         struct file_list *flist;
383         int status = 0, status2 = 0;
384         char *local_name = NULL;
385         extern int am_sender;
386
387         setup_protocol(f_out,f_in);
388         
389         if (am_sender) {
390                 extern int cvs_exclude;
391                 extern int delete_mode;
392                 if (cvs_exclude)
393                         add_cvs_excludes();
394                 if (delete_mode) 
395                         send_exclude_list(f_out);
396                 flist = send_file_list(f_out,argc,argv);
397                 if (verbose > 3) 
398                         rprintf(FINFO,"file list sent\n");
399
400                 set_nonblocking(f_out);
401                 if (f_in != f_out)
402                         set_nonblocking(f_in);
403
404                 send_files(flist,f_out,f_in);
405                 if (pid != -1) {
406                         if (verbose > 3)
407                                 rprintf(FINFO,"client_run waiting on %d\n",pid);
408                         io_flush();
409                         waitpid(pid, &status, 0);
410                 }
411                 report(-1);
412                 exit_cleanup(status);
413         }
414         
415         send_exclude_list(f_out);
416         
417         flist = recv_file_list(f_in);
418         if (!flist || flist->count == 0) {
419                 rprintf(FINFO,"client: nothing to do\n");
420                 exit_cleanup(0);
421         }
422         
423         local_name = get_local_name(flist,argv[0]);
424         
425         status2 = do_recv(f_in,f_out,flist,local_name);
426         
427         if (pid != -1) {
428                 if (verbose > 3)
429                         rprintf(FINFO,"client_run2 waiting on %d\n",pid);
430                 io_flush();
431                 waitpid(pid, &status, 0);
432         }
433         
434         return status | status2;
435 }
436
437
438 static int start_client(int argc, char *argv[])
439 {
440         char *p;
441         char *shell_machine = NULL;
442         char *shell_path = NULL;
443         char *shell_user = NULL;
444         int pid, ret;
445         int f_in,f_out;
446         extern int local_server;
447         extern int am_sender;
448         extern char *shell_cmd;
449
450         p = strchr(argv[0],':');
451
452         if (p) {
453                 if (p[1] == ':') {
454                         *p = 0;
455                         return start_socket_client(argv[0], p+2, argc-1, argv+1);
456                 }
457
458                 if (argc < 2) {
459                         usage(FERROR);
460                         exit_cleanup(1);
461                 }
462
463                 am_sender = 0;
464                 *p = 0;
465                 shell_machine = argv[0];
466                 shell_path = p+1;
467                 argc--;
468                 argv++;
469         } else {
470                 am_sender = 1;
471
472                 p = strchr(argv[argc-1],':');
473                 if (!p) {
474                         local_server = 1;
475                 } else if (p[1] == ':') {
476                         *p = 0;
477                         return start_socket_client(argv[argc-1], p+2, argc-1, argv);
478                 }
479
480                 if (argc < 2) {
481                         usage(FERROR);
482                         exit_cleanup(1);
483                 }
484                 
485                 if (local_server) {
486                         shell_machine = NULL;
487                         shell_path = argv[argc-1];
488                 } else {
489                         *p = 0;
490                         shell_machine = argv[argc-1];
491                         shell_path = p+1;
492                 }
493                 argc--;
494         }
495         
496         if (shell_machine) {
497                 p = strchr(shell_machine,'@');
498                 if (p) {
499                         *p = 0;
500                         shell_user = shell_machine;
501                         shell_machine = p+1;
502                 }
503         }
504
505         if (verbose > 3) {
506                 rprintf(FINFO,"cmd=%s machine=%s user=%s path=%s\n",
507                         shell_cmd?shell_cmd:"",
508                         shell_machine?shell_machine:"",
509                         shell_user?shell_user:"",
510                         shell_path?shell_path:"");
511         }
512         
513         if (!am_sender && argc != 1) {
514                 usage(FERROR);
515                 exit_cleanup(1);
516         }
517         
518         pid = do_cmd(shell_cmd,shell_machine,shell_user,shell_path,&f_in,&f_out);
519         
520 #if HAVE_SETLINEBUF
521         setlinebuf(stdout);
522         setlinebuf(stderr);
523 #endif
524
525         ret = client_run(f_in, f_out, pid, argc, argv);
526
527         fflush(stdout);
528         fflush(stderr);
529
530         return ret;
531 }
532
533
534 RETSIGTYPE sigusr1_handler(int val) {
535         exit_cleanup(1);
536 }
537
538 int main(int argc,char *argv[])
539 {       
540         extern int am_root;
541         extern int orig_umask;
542         extern int dry_run;
543         extern int am_daemon;
544         extern int am_server;
545
546         signal(SIGUSR1, sigusr1_handler);
547
548         starttime = time(NULL);
549         am_root = (getuid() == 0);
550
551         memset(&stats, 0, sizeof(stats));
552
553         if (argc < 2) {
554                 usage(FERROR);
555                 exit_cleanup(1);
556         }
557
558         /* we set a 0 umask so that correct file permissions can be
559            carried across */
560         orig_umask = (int)umask(0);
561
562         parse_arguments(argc, argv);
563
564         argc -= optind;
565         argv += optind;
566         optind = 0;
567
568         signal(SIGCHLD,SIG_IGN);
569         signal(SIGINT,SIGNAL_CAST sig_int);
570         signal(SIGPIPE,SIGNAL_CAST sig_int);
571         signal(SIGHUP,SIGNAL_CAST sig_int);
572
573         if (am_daemon) {
574                 return daemon_main();
575         }
576
577         if (argc < 1) {
578                 usage(FERROR);
579                 exit_cleanup(1);
580         }
581
582         if (dry_run)
583                 verbose = MAX(verbose,1);
584
585 #ifndef SUPPORT_LINKS
586         if (!am_server && preserve_links) {
587                 rprintf(FERROR,"ERROR: symbolic links not supported\n");
588                 exit_cleanup(1);
589         }
590 #endif
591
592         if (am_server) {
593                 start_server(STDIN_FILENO, STDOUT_FILENO, argc, argv);
594         }
595
596         return start_client(argc, argv);
597 }
598