Updated to have the sender remove symlinks that got created/changed.
[rsync-patches.git] / remove-sent-files.diff
1 After applying this patch and running configure, you MUST run this
2 command before "make":
3
4     make proto
5
6
7 --- orig/generator.c    2005-02-15 19:27:04
8 +++ generator.c 2005-02-15 20:09:21
9 @@ -38,6 +38,7 @@ extern int preserve_gid;
10  extern int preserve_times;
11  extern int omit_dir_times;
12  extern int delete_during;
13 +extern int delete_sent_files;
14  extern int update_only;
15  extern int opt_ignore_existing;
16  extern int inplace;
17 @@ -524,6 +525,11 @@ static void recv_generator(char *fname, 
18                                     itemize_changes ? "" : safe_fname(fname),
19                                     safe_fname(file->u.link));
20                         }
21 +                       if (delete_sent_files) {
22 +                               char numbuf[4];
23 +                               SIVAL(numbuf, 0, ndx);
24 +                               io_multiplex_write(MSG_SUCCESS, numbuf, 4);
25 +                       }
26                 }
27  #endif
28                 return;
29 --- orig/io.c   2005-02-03 02:04:20
30 +++ io.c        2005-02-15 20:09:22
31 @@ -244,6 +244,14 @@ static void read_msg_fd(void)
32                 read_loop(fd, buf, 4);
33                 redo_list_add(IVAL(buf,0));
34                 break;
35 +       case MSG_SUCCESS:
36 +               if (len != 4) {
37 +                       rprintf(FERROR, "invalid message %d:%d\n", tag, len);
38 +                       exit_cleanup(RERR_STREAMIO);
39 +               }
40 +               read_loop(fd, buf, len);
41 +               io_multiplex_write(MSG_SUCCESS, buf, len);
42 +               break;
43         case MSG_INFO:
44         case MSG_ERROR:
45         case MSG_LOG:
46 @@ -677,6 +685,16 @@ static int readfd_unbuffered(int fd, cha
47                         read_loop(fd, iobuf_in, remaining);
48                         iobuf_in_ndx = 0;
49                         break;
50 +               case MSG_SUCCESS:
51 +                       if (remaining != 4) {
52 +                               rprintf(FERROR, "invalid multi-message %d:%ld\n",
53 +                                       tag, (long)remaining);
54 +                               exit_cleanup(RERR_STREAMIO);
55 +                       }
56 +                       read_loop(fd, line, remaining);
57 +                       successful_send(IVAL(line, 0));
58 +                       remaining = 0;
59 +                       break;
60                 case MSG_INFO:
61                 case MSG_ERROR:
62                         if (remaining >= sizeof line) {
63 --- orig/main.c 2005-02-15 19:27:04
64 +++ main.c      2005-02-15 20:09:22
65 @@ -33,12 +33,14 @@ extern int verbose;
66  extern int itemize_changes;
67  extern int blocking_io;
68  extern int delete_before;
69 +extern int delete_sent_files;
70  extern int daemon_over_rsh;
71  extern int do_stats;
72  extern int dry_run;
73  extern int list_only;
74  extern int log_got_error;
75  extern int module_id;
76 +extern int need_messages_from_generator;
77  extern int orig_umask;
78  extern int copy_links;
79  extern int keep_dirlinks;
80 @@ -442,6 +444,12 @@ static void do_server_sender(int f_in, i
81                 exit_cleanup(RERR_SYNTAX);
82                 return;
83         }
84 +       if (am_daemon && lp_read_only(module_id) && delete_sent_files) {
85 +               rprintf(FERROR,
86 +                   "ERROR: --delete-sent-files cannot be used with a read-only module\n");
87 +               exit_cleanup(RERR_SYNTAX);
88 +               return;
89 +       }
90  
91         if (!relative_paths && !push_dir(dir)) {
92                 rsyserr(FERROR, errno, "push_dir#3 %s failed",
93 @@ -673,6 +681,8 @@ void start_server(int f_in, int f_out, i
94  
95         if (am_sender) {
96                 keep_dirlinks = 0; /* Must be disabled on the sender. */
97 +               if (need_messages_from_generator)
98 +                       io_start_multiplex_in();
99  
100                 recv_filter_list(f_in);
101                 do_server_sender(f_in, f_out, argc, argv);
102 @@ -750,6 +760,9 @@ int client_run(int f_in, int f_out, pid_
103                 exit_cleanup(status);
104         }
105  
106 +       if (need_messages_from_generator && !read_batch)
107 +               io_start_multiplex_out();
108 +
109         if (argc == 0)
110                 list_only |= 1;
111  
112 --- orig/options.c      2005-02-15 19:27:05
113 +++ options.c   2005-02-15 20:09:23
114 @@ -59,6 +59,7 @@ int delete_during = 0;
115  int delete_before = 0;
116  int delete_after = 0;
117  int delete_excluded = 0;
118 +int delete_sent_files = 0;
119  int one_file_system = 0;
120  int protocol_version = PROTOCOL_VERSION;
121  int sparse_files = 0;
122 @@ -93,6 +94,7 @@ int fuzzy_basis = 0;
123  size_t bwlimit_writemax = 0;
124  int only_existing = 0;
125  int opt_ignore_existing = 0;
126 +int need_messages_from_generator = 0;
127  int max_delete = 0;
128  OFF_T max_size = 0;
129  int ignore_errors = 0;
130 @@ -291,6 +293,7 @@ void usage(enum logcode F)
131    rprintf(F,"     --delete-during         receiver deletes during transfer, not before\n");
132    rprintf(F,"     --delete-after          receiver deletes after transfer, not before\n");
133    rprintf(F,"     --delete-excluded       also delete excluded files on the receiving side\n");
134 +  rprintf(F,"     --delete-sent-files     updated/sent files are removed from sending side\n");
135    rprintf(F,"     --ignore-errors         delete even if there are I/O errors\n");
136    rprintf(F,"     --force                 force deletion of directories even if not empty\n");
137    rprintf(F,"     --max-delete=NUM        don't delete more than NUM files\n");
138 @@ -368,6 +371,7 @@ static struct poptOption long_options[] 
139    {"delete-during",    0,  POPT_ARG_NONE,   &delete_during, 0, 0, 0 },
140    {"delete-after",     0,  POPT_ARG_NONE,   &delete_after, 0, 0, 0 },
141    {"delete-excluded",  0,  POPT_ARG_NONE,   &delete_excluded, 0, 0, 0 },
142 +  {"delete-sent-files",0,  POPT_ARG_NONE,   &delete_sent_files, 0, 0, 0 },
143    {"force",            0,  POPT_ARG_NONE,   &force_delete, 0, 0, 0 },
144    {"numeric-ids",      0,  POPT_ARG_NONE,   &numeric_ids, 0, 0, 0 },
145    {"filter",          'f', POPT_ARG_STRING, 0, OPT_FILTER, 0, 0 },
146 @@ -961,6 +965,14 @@ int parse_arguments(int *argc, const cha
147                 return 0;
148         }
149  
150 +       if (delete_sent_files) {
151 +               if (refused_delete) {
152 +                       create_refuse_error(refused_delete);
153 +                       return 0;
154 +               }
155 +               need_messages_from_generator = 1;
156 +       }
157 +
158         *argv = poptGetArgs(pc);
159         *argc = count_args(*argv);
160  
161 @@ -1393,6 +1405,9 @@ void server_options(char **args,int *arg
162         if (fuzzy_basis && am_sender)
163                 args[ac++] = "--fuzzy";
164  
165 +       if (delete_sent_files)
166 +               args[ac++] = "--delete-sent-files";
167 +
168         *argc = ac;
169         return;
170  
171 --- orig/receiver.c     2005-02-15 19:27:05
172 +++ receiver.c  2005-02-15 20:09:23
173 @@ -42,6 +42,7 @@ extern int basis_dir_cnt;
174  extern int make_backups;
175  extern int do_progress;
176  extern int cleanup_got_literal;
177 +extern int delete_sent_files;
178  extern int module_id;
179  extern int ignore_errors;
180  extern int orig_umask;
181 @@ -307,7 +308,7 @@ int recv_files(int f_in, struct file_lis
182         char *fname, fbuf[MAXPATHLEN];
183         char template[MAXPATHLEN];
184         char fnametmp[MAXPATHLEN];
185 -       char *fnamecmp, *partialptr;
186 +       char *fnamecmp, *partialptr, numbuf[4];
187         char fnamecmpbuf[MAXPATHLEN];
188         uchar *delayed_bits = NULL;
189         struct file_struct *file;
190 @@ -569,7 +570,12 @@ int recv_files(int f_in, struct file_lis
191  
192                 cleanup_disable();
193  
194 -               if (!recv_ok) {
195 +               if (recv_ok) {
196 +                       if (delete_sent_files) {
197 +                               SIVAL(numbuf, 0, i);
198 +                               send_msg(MSG_SUCCESS, numbuf, 4);
199 +                       }
200 +               } else {
201                         int msgtype = csum_length == SUM_LENGTH || read_batch ?
202                                 FERROR : FINFO;
203                         if (msgtype == FERROR || verbose) {
204 @@ -593,9 +599,8 @@ int recv_files(int f_in, struct file_lis
205                                         keptstr, redostr);
206                         }
207                         if (csum_length != SUM_LENGTH) {
208 -                               char buf[4];
209 -                               SIVAL(buf, 0, i);
210 -                               send_msg(MSG_REDO, buf, 4);
211 +                               SIVAL(numbuf, 0, i);
212 +                               send_msg(MSG_REDO, numbuf, 4);
213                         }
214                 }
215         }
216 --- orig/rsync.h        2005-02-15 19:27:05
217 +++ rsync.h     2005-02-15 20:09:24
218 @@ -62,6 +62,7 @@
219  #define FLAG_MOUNT_POINT (1<<2)        /* sender only */
220  #define FLAG_NO_FUZZY (1<<2)   /* generator only */
221  #define FLAG_DEL_HERE (1<<3)   /* receiver/generator */
222 +#define FLAG_SENT (1<<7)       /* sender only */
223  
224  /* update this if you make incompatible changes */
225  #define PROTOCOL_VERSION 29
226 @@ -144,6 +145,7 @@ enum logcode { FERROR=1, FINFO=2, FLOG=3
227  /* Messages types that are sent over the message channel.  The logcode
228   * values must all be present here with identical numbers. */
229  enum msgcode {
230 +       MSG_SUCCESS=6,  /* successfully updated indicated flist index */
231         MSG_DONE=5,     /* current phase is done */
232         MSG_REDO=4,     /* reprocess indicated flist index */
233         MSG_ERROR=FERROR, MSG_INFO=FINFO, MSG_LOG=FLOG, /* remote logging */
234 --- orig/rsync.yo       2005-02-15 19:27:05
235 +++ rsync.yo    2005-02-15 20:09:25
236 @@ -338,6 +338,7 @@ to the detailed description below for a 
237       --delete-during         receiver deletes during xfer, not before
238       --delete-after          receiver deletes after transfer, not before
239       --delete-excluded       also delete excluded files on receiver
240 +     --delete-sent-files     updated/sent files are removed from sender
241       --ignore-errors         delete even if there are I/O errors
242       --force                 force deletion of dirs even if not empty
243       --max-delete=NUM        don't delete more than NUM files
244 @@ -735,6 +736,11 @@ this way on the receiver, and for a way 
245  bf(--delete-excluded).
246  See bf(--delete) (which is implied) for more details on file-deletion.
247  
248 +dit(bf(--delete-sent-files)) This tells rsync to remove the source files
249 +on the sending side that are successfully transferred to the receiving
250 +side.  Directories and devices are not removed, nor are files/symlinks
251 +whose content was not updated (just changing attributes does not count).
252 +
253  dit(bf(--ignore-errors)) Tells bf(--delete) to go ahead and delete files
254  even when there are I/O errors.
255  
256 --- orig/sender.c       2005-02-15 19:27:05
257 +++ sender.c    2005-02-15 20:09:25
258 @@ -27,6 +27,7 @@ extern int io_error;
259  extern int dry_run;
260  extern int am_server;
261  extern int am_daemon;
262 +extern int delete_sent_files;
263  extern int protocol_version;
264  extern int updating_basis_file;
265  extern int make_backups;
266 @@ -95,7 +96,30 @@ static struct sum_struct *receive_sums(i
267         return s;
268  }
269  
270 +static struct file_list *the_flist;
271  
272 +void successful_send(int i)
273 +{
274 +       char fname[MAXPATHLEN];
275 +       struct file_struct *file;
276 +       unsigned int offset;
277 +
278 +       if (!the_flist || i < 0 || i >= the_flist->count)
279 +               return;
280 +
281 +       file = the_flist->files[i];
282 +       /* The generator can tell us about symlinks we didn't send. */
283 +       if (!(file->flags & FLAG_SENT) && !S_ISLNK(file->mode))
284 +               return; /* We didn't send it -- impossible! */
285 +       if (file->dir.root) {
286 +               offset = stringjoin(fname, sizeof fname,
287 +                                   file->dir.root, "/", NULL);
288 +       } else
289 +               offset = 0;
290 +       f_name_to(file, fname + offset);
291 +       if (delete_sent_files && do_unlink(fname) == 0 && verbose)
292 +               rprintf(FINFO, "sender removed %s\n", fname + offset);
293 +}
294  
295  void send_files(struct file_list *flist, int f_out, int f_in)
296  {
297 @@ -114,6 +138,8 @@ void send_files(struct file_list *flist,
298         if (verbose > 2)
299                 rprintf(FINFO, "send_files starting\n");
300  
301 +       the_flist = flist;
302 +
303         while (1) {
304                 unsigned int offset;
305  
306 @@ -256,6 +282,9 @@ void send_files(struct file_list *flist,
307                         rprintf(FINFO, "sender finished %s\n",
308                                 safe_fname(fname));
309                 }
310 +
311 +               /* Flag that we actually sent this entry. */
312 +               file->flags |= FLAG_SENT;
313         }
314         make_backups = save_make_backups;
315