Applied preallocate patch to the trunk.
[rsync-patches.git] / backup-dir-dels.diff
index a724472d5aee0cc64b5dad3361bf406224ca84a4..fa68ad586cd6179a6f8bdab97464b27b50d8dabf 100644 (file)
@@ -19,9 +19,11 @@ To use this patch, run these commands for a successful build:
     ./configure                                 (optional if already run)
     make
 
---- old/backup.c
-+++ new/backup.c
-@@ -29,10 +29,17 @@ extern int preserve_specials;
+based-on: 3bd9f51917ed5718275c6132006be155239a0550
+diff --git a/backup.c b/backup.c
+--- a/backup.c
++++ b/backup.c
+@@ -29,25 +29,32 @@ extern int preserve_specials;
  extern int preserve_links;
  extern int safe_symlinks;
  extern int backup_dir_len;
@@ -35,91 +37,141 @@ To use this patch, run these commands for a successful build:
  extern char *backup_dir;
 +extern char *backup_dir_dels;
 +
-+static int deleting;
++static BOOL deleting;
  
- /* make a complete pathname for backup file */
- char *get_backup_name(const char *fname)
-@@ -51,11 +58,28 @@ char *get_backup_name(const char *fname)
-       return NULL;
- }
-+static char *get_delete_name(const char *fname)
-+{
-+      if (backup_dir_dels) {
-+              if (stringjoin(backup_dir_dels_buf + backup_dir_dels_len, backup_dir_dels_remainder,
-+                             fname, backup_suffix_dels, NULL) < backup_dir_dels_remainder)
-+                      return backup_dir_dels_buf;
-+      } else {
-+              if (stringjoin(backup_dir_dels_buf, MAXPATHLEN,
-+                             fname, backup_suffix_dels, NULL) < MAXPATHLEN)
-+                      return backup_dir_dels_buf;
-+      }
-+
-+      rprintf(FERROR, "delete filename too long\n");
-+      return NULL;
-+}
-+
- /* simple backup creates a backup with a suffix in the same directory */
- static int make_simple_backup(const char *fname)
+ /* Returns -1 on error, 0 on missing dir, and 1 on present dir. */
+-static int validate_backup_dir(void)
++static int validate_backup_dir(const char *buf)
  {
-       int rename_errno;
--      const char *fnamebak = get_backup_name(fname);
-+      const char *fnamebak = deleting ? get_delete_name(fname)
-+                                      : get_backup_name(fname);
+       STRUCT_STAT st;
  
-       if (!fnamebak)
-               return 0;
-@@ -96,7 +120,7 @@ int make_bak_dir(const char *fullpath)
+-      if (do_lstat(backup_dir_buf, &st) < 0) {
++      if (do_lstat(buf, &st) < 0) {
+               if (errno == ENOENT)
+                       return 0;
+-              rsyserr(FERROR, errno, "backup lstat %s failed", backup_dir_buf);
++              rsyserr(FERROR, errno, "backup lstat %s failed", buf);
+               return -1;
+       }
+       if (!S_ISDIR(st.st_mode)) {
+               int flags = get_del_for_flag(st.st_mode) | DEL_FOR_BACKUP | DEL_RECURSE;
+-              if (delete_item(backup_dir_buf, st.st_mode, flags) == 0)
++              if (delete_item(buf, st.st_mode, flags) == 0)
+                       return 0;
+               return -1;
+       }
+@@ -58,20 +65,20 @@ static int validate_backup_dir(void)
+  * backup_dir_buf.  Any new directories (compared to the prior backup
+  * path) are ensured to exist as directories, replacing anything else
+  * that may be in the way (e.g. a symlink). */
+-static BOOL copy_valid_path(const char *fname)
++static BOOL copy_valid_path(const char *fname, char *buf, int prefix_len, unsigned int remainder, const char *suffix)
  {
-       char fbuf[MAXPATHLEN], *rel, *end, *p;
-       struct file_struct *file;
--      int len = backup_dir_len;
-+      int len = deleting ? backup_dir_dels_len : backup_dir_len;
+       const char *f;
+       int val;
+       BOOL ret = True;
        stat_x sx;
+-      char *b, *rel = backup_dir_buf + backup_dir_len, *name = rel;
++      char *b, *rel = buf + prefix_len, *name = rel;
  
-       while (*fullpath == '.' && fullpath[1] == '/') {
-@@ -211,7 +235,8 @@ static int keep_backup(const char *fname
-       if (!(file = make_file(fname, NULL, NULL, 0, NO_FILTERS)))
-               return 1; /* the file could have disappeared */
+       for (f = fname, b = rel; *f && *f == *b; f++, b++) {
+               if (*b == '/')
+                       name = b + 1;
+       }
  
--      if (!(buf = get_backup_name(fname))) {
-+      buf = deleting ? get_delete_name(fname) : get_backup_name(fname);
-+      if (!buf) {
-               unmake_file(file);
-               return 0;
+-      if (stringjoin(rel, backup_dir_remainder, fname, backup_suffix, NULL) >= backup_dir_remainder) {
++      if (stringjoin(rel, remainder, fname, suffix, NULL) >= remainder) {
+               rprintf(FERROR, "backup filename too long\n");
+               *name = '\0';
+               return False;
+@@ -82,7 +89,7 @@ static BOOL copy_valid_path(const char *fname)
+                       return True;
+               *b = '\0';
+-              val = validate_backup_dir();
++              val = validate_backup_dir(buf);
+               if (val == 0)
+                       break;
+               if (val < 0) {
+@@ -98,9 +105,9 @@ static BOOL copy_valid_path(const char *fname)
+       for ( ; b; name = b + 1, b = strchr(name, '/')) {
+               *b = '\0';
+-              while (do_mkdir(backup_dir_buf, ACCESSPERMS) < 0) {
++              while (do_mkdir(buf, ACCESSPERMS) < 0) {
+                       if (errno == EEXIST) {
+-                              val = validate_backup_dir();
++                              val = validate_backup_dir(buf);
+                               if (val > 0)
+                                       break;
+                               if (val == 0)
+@@ -134,7 +141,7 @@ static BOOL copy_valid_path(const char *fname)
+                               free_xattr(&sx);
+                       }
+ #endif
+-                      set_file_attrs(backup_dir_buf, file, NULL, NULL, 0);
++                      set_file_attrs(buf, file, NULL, NULL, 0);
+                       unmake_file(file);
+               }
+@@ -156,16 +163,21 @@ static BOOL copy_valid_path(const char *fname)
+ /* Make a complete pathname for backup file and verify any new path elements. */
+ char *get_backup_name(const char *fname)
+ {
++      char *buf = deleting ? backup_dir_dels_buf : backup_dir_buf;
++      char *suffix = deleting ? backup_suffix_dels : backup_suffix;
++
+       if (backup_dir) {
++              int prefix_len = deleting ? backup_dir_dels_len : backup_dir_len;
++              unsigned int remainder = deleting ? backup_dir_dels_remainder : backup_dir_remainder;
+               /* copy fname into backup_dir_buf while validating the dirs. */
+-              if (copy_valid_path(fname))
+-                      return backup_dir_buf;
++              if (copy_valid_path(fname, buf, prefix_len, remainder, suffix))
++                      return buf;
+               /* copy_valid_path() has printed an error message. */
+               return NULL;
        }
-@@ -326,3 +351,13 @@ int make_backup(const char *fname)
-               return keep_backup(fname);
-       return make_simple_backup(fname);
+-      if (stringjoin(backup_dir_buf, MAXPATHLEN, fname, backup_suffix, NULL) < MAXPATHLEN)
+-              return backup_dir_buf;
++      if (stringjoin(backup_dir_buf, MAXPATHLEN, fname, suffix, NULL) < MAXPATHLEN)
++              return buf;
+       rprintf(FERROR, "backup filename too long\n");
+       return NULL;
+@@ -339,3 +351,13 @@ int make_backup(const char *fname, BOOL prefer_rename)
+               rprintf(FINFO, "backed up %s to %s\n", fname, buf);
+       return ret;
  }
 +
 +/* backup switch routine called only when backing-up removed file */
-+int safe_delete(char *fname)
++int safe_delete(const char *fname)
 +{
 +      int ret;
 +      deleting = 1;
-+      ret = make_backup(fname);
++      ret = make_backup(fname, True);
 +      deleting = 0;
 +      return ret;
 +}
---- old/generator.c
-+++ new/generator.c
-@@ -93,6 +93,9 @@ extern mode_t orig_umask;
+diff --git a/delete.c b/delete.c
+--- a/delete.c
++++ b/delete.c
+@@ -28,16 +28,23 @@ extern int max_delete;
  extern char *backup_dir;
  extern char *backup_suffix;
  extern int backup_suffix_len;
 +extern char *backup_dir_dels;
 +extern char *backup_suffix_dels;
 +extern int backup_suffix_dels_len;
- extern struct file_list *cur_flist, *first_flist, *dir_flist;
- extern struct filter_list_struct server_filter_list;
- #ifdef ICONV_OPTION
-@@ -130,10 +133,14 @@ enum delret {
- static enum delret delete_dir_contents(char *fname, int flags);
+ extern struct stats stats;
  
+ int ignore_perishable = 0;
+ int non_perishable_cnt = 0;
+ int skipped_deletes = 0;
  
 +/* Function now compares both backup_suffix and backup_suffix_dels. */
- static int is_backup_file(char *fn)
+ static inline int is_backup_file(char *fn)
  {
        int k = strlen(fn) - backup_suffix_len;
 -      return k > 0 && strcmp(fn+k, backup_suffix) == 0;
@@ -129,26 +181,27 @@ To use this patch, run these commands for a successful build:
 +      return k > 0 && strcmp(fn+k, backup_suffix_dels) == 0;
  }
  
- /* Delete a file or directory.  If DEL_RECURSE is set in the flags, this will
-@@ -169,9 +176,9 @@ static enum delret delete_item(char *fbu
-       if (S_ISDIR(mode)) {
+ /* The directory is about to be deleted: if DEL_RECURSE is given, delete all
+@@ -162,9 +169,9 @@ enum delret delete_item(char *fbuf, uint16 mode, uint16 flags)
                what = "rmdir";
                ok = do_rmdir(fbuf) == 0;
--      } else if (make_backups > 0 && (backup_dir || !is_backup_file(fbuf))) {
-+      } else if (make_backups > 0 && (backup_dir_dels || !is_backup_file(fbuf))) {
-               what = "make_backup";
--              ok = make_backup(fbuf);
-+              ok = safe_delete(fbuf);
        } else {
-               what = "unlink";
-               ok = robust_unlink(fbuf) == 0;
---- old/options.c
-+++ new/options.c
-@@ -147,10 +147,14 @@ int no_detach
+-              if (make_backups > 0 && !(flags & DEL_FOR_BACKUP) && (backup_dir || !is_backup_file(fbuf))) {
++              if (make_backups > 0 && !(flags & DEL_FOR_BACKUP) && (backup_dir_dels || !is_backup_file(fbuf))) {
+                       what = "make_backup";
+-                      ok = make_backup(fbuf, True);
++                      ok = safe_delete(fbuf);
+                       if (ok == 2) {
+                               what = "unlink";
+                               ok = robust_unlink(fbuf) == 0;
+diff --git a/options.c b/options.c
+--- a/options.c
++++ b/options.c
+@@ -151,10 +151,14 @@ int no_detach
  int write_batch = 0;
  int read_batch = 0;
  int backup_dir_len = 0;
-+int backup_dir_dels_len = 0;  
++int backup_dir_dels_len = 0;
  int backup_suffix_len;
 +int backup_suffix_dels_len;
  unsigned int backup_dir_remainder;
@@ -159,7 +212,7 @@ To use this patch, run these commands for a successful build:
  char *tmpdir = NULL;
  char *partial_dir = NULL;
  char *basis_dir[MAX_BASIS_DIRS+1];
-@@ -162,7 +166,9 @@ char *stdout_format = NULL;
+@@ -166,7 +170,9 @@ char *stdout_format = NULL;
  char *password_file = NULL;
  char *rsync_path = RSYNC_PATH;
  char *backup_dir = NULL;
@@ -167,18 +220,18 @@ To use this patch, run these commands for a successful build:
  char backup_dir_buf[MAXPATHLEN];
 +char backup_dir_dels_buf[MAXPATHLEN];
  char *sockopts = NULL;
int rsync_port = 0;
int compare_dest = 0;
-@@ -318,6 +324,8 @@ void usage(enum logcode F)
char *usermap = NULL;
char *groupmap = NULL;
+@@ -671,6 +677,8 @@ void usage(enum logcode F)
    rprintf(F," -b, --backup                make backups (see --suffix & --backup-dir)\n");
    rprintf(F,"     --backup-dir=DIR        make backups into hierarchy based in DIR\n");
    rprintf(F,"     --suffix=SUFFIX         set backup suffix (default %s w/o --backup-dir)\n",BACKUP_SUFFIX);
-+  rprintf(F,"     --backup-dir-dels       make backups of removed files into current dir\n");
-+  rprintf(F,"     --suffix-dels=SUFFIX    set removed-files suffix (defaults to --suffix)\n");
++  rprintf(F,"     --backup-dir-dels=DIR   backup removed files into hierarchy based in DIR\n");
++  rprintf(F,"     --suffix-dels=SUFFIX    set removed-files suffix (def. --suffix w/o b-d-d)\n");
    rprintf(F," -u, --update                skip files that are newer on the receiver\n");
    rprintf(F,"     --inplace               update destination files in-place (SEE MAN PAGE)\n");
    rprintf(F,"     --append                append data onto shorter files\n");
-@@ -588,7 +596,9 @@ static struct poptOption long_options[] 
+@@ -974,7 +982,9 @@ static struct poptOption long_options[] = {
    {"backup",          'b', POPT_ARG_VAL,    &make_backups, 1, 0, 0 },
    {"no-backup",        0,  POPT_ARG_VAL,    &make_backups, 0, 0, 0 },
    {"backup-dir",       0,  POPT_ARG_STRING, &backup_dir, 0, 0, 0 },
@@ -188,17 +241,17 @@ To use this patch, run these commands for a successful build:
    {"list-only",        0,  POPT_ARG_VAL,    &list_only, 2, 0, 0 },
    {"read-batch",       0,  POPT_ARG_STRING, &batch_name, OPT_READ_BATCH, 0, 0 },
    {"write-batch",      0,  POPT_ARG_STRING, &batch_name, OPT_WRITE_BATCH, 0, 0 },
-@@ -1400,6 +1410,8 @@ int parse_arguments(int *argc_p, const c
-                       tmpdir = sanitize_path(NULL, tmpdir, NULL, 0, NULL);
+@@ -2011,6 +2021,8 @@ int parse_arguments(int *argc_p, const char ***argv_p)
+                       tmpdir = sanitize_path(NULL, tmpdir, NULL, 0, SP_DEFAULT);
                if (backup_dir)
-                       backup_dir = sanitize_path(NULL, backup_dir, NULL, 0, NULL);
+                       backup_dir = sanitize_path(NULL, backup_dir, NULL, 0, SP_DEFAULT);
 +              if (backup_dir_dels)
-+                      backup_dir_dels = sanitize_path(NULL, backup_dir_dels, NULL, 0, NULL);
++                      backup_dir_dels = sanitize_path(NULL, backup_dir_dels, NULL, 0, SP_DEFAULT);
        }
-       if (server_filter_list.head && !am_sender) {
-               struct filter_list_struct *elp = &server_filter_list;
-@@ -1417,6 +1429,14 @@ int parse_arguments(int *argc_p, const c
-                       if (check_filter(elp, backup_dir, 1) < 0)
+       if (daemon_filter_list.head && !am_sender) {
+               filter_rule_list *elp = &daemon_filter_list;
+@@ -2032,6 +2044,14 @@ int parse_arguments(int *argc_p, const char ***argv_p)
+                       if (check_filter(elp, FLOG, dir, 1) < 0)
                                goto options_rejected;
                }
 +              /* Clean backup_dir_dels same as for backup_dir */
@@ -206,40 +259,38 @@ To use this patch, run these commands for a successful build:
 +                      if (!*backup_dir_dels)
 +                              goto options_rejected;
 +                      clean_fname(backup_dir_dels, 1);
-+                      if (check_filter(elp, backup_dir_dels, 1) < 0)
++                      if (check_filter(elp, FLOG, backup_dir_dels, 1) < 0)
 +                              goto options_rejected;
 +              }
        }
  
        if (!backup_suffix)
-@@ -1428,6 +1448,16 @@ int parse_arguments(int *argc_p, const c
+@@ -2043,6 +2063,20 @@ int parse_arguments(int *argc_p, const char ***argv_p)
                        backup_suffix);
                return 0;
        }
-+      /* if backup_suffix_dels not supplied, default to backup_suffix */
++      /* --suffix-dels defaults to --suffix, or empty for a client given an
++       * explicit --backup-dir-dels (just as --suffix defaults to empty when
++       * a --backup-dir is given).  The second case does not apply to the
++       * server for consistency with server_options, which sends --suffix-dels
++       * to the server iff it differs from --suffix. */
 +      if (!backup_suffix_dels)
-+              backup_suffix_dels = backup_dir_dels ? "" : backup_suffix;
++              backup_suffix_dels = backup_dir_dels && !am_server ? "" : backup_suffix;
 +      backup_suffix_dels_len = strlen(backup_suffix_dels);
 +      if (strchr(backup_suffix_dels, '/') != NULL) {
 +              snprintf(err_buf, sizeof err_buf,
 +                      "--suffix-dels cannot contain slashes: %s\n",
-+                      backup_suffix_dels);    
++                      backup_suffix_dels);
 +              return 0;
 +      }
        if (backup_dir) {
-               backup_dir_len = strlcpy(backup_dir_buf, backup_dir, sizeof backup_dir_buf);
-               backup_dir_remainder = sizeof backup_dir_buf - backup_dir_len;
-@@ -1451,6 +1481,31 @@ int parse_arguments(int *argc_p, const c
+               size_t len;
+               while (*backup_dir == '.' && backup_dir[1] == '/')
+@@ -2078,6 +2112,34 @@ int parse_arguments(int *argc_p, const char ***argv_p)
                        "P *%s", backup_suffix);
-               parse_rule(&filter_list, backup_dir_buf, 0, 0);
+               parse_filter_str(&filter_list, backup_dir_buf, rule_template(0), 0);
        }
-+      /* If backup_dir_dels not supplied default to backup_dir if it has been supplied */
-+      if (backup_dir && !backup_dir_dels) {
-+              backup_dir_dels = backup_dir;
-+              backup_dir_dels_len = backup_dir_len;
-+              backup_dir_dels_remainder = backup_dir_remainder;
-+              strlcpy(backup_dir_dels_buf, backup_dir_buf, sizeof backup_dir_buf);
-+      } else if (backup_dir_dels) {
++      if (backup_dir_dels) {
 +              backup_dir_dels_len = strlcpy(backup_dir_dels_buf, backup_dir_dels, sizeof backup_dir_dels_buf);
 +              backup_dir_dels_remainder = sizeof backup_dir_dels_buf - backup_dir_dels_len;
 +              if (backup_dir_dels_remainder < 32) {
@@ -251,17 +302,26 @@ To use this patch, run these commands for a successful build:
 +                      backup_dir_dels_buf[backup_dir_dels_len++] = '/';
 +                      backup_dir_dels_buf[backup_dir_dels_len] = '\0';
 +              }
-+              if (verbose > 1 && !am_sender)
++              if (INFO_GTE(BACKUP, 1) && !am_sender)
 +                      rprintf(FINFO, "backup_dir_dels is %s\n", backup_dir_dels_buf);
++      } else if (backup_dir) {
++              backup_dir_dels = backup_dir;
++              backup_dir_dels_len = backup_dir_len;
++              backup_dir_dels_remainder = backup_dir_remainder;
++              strlcpy(backup_dir_dels_buf, backup_dir_buf, sizeof backup_dir_buf);
 +      } else if (!backup_suffix_dels_len && (!am_server || !am_sender)) {
 +              snprintf(err_buf, sizeof err_buf,
 +                      "--suffix-dels cannot be a null string without --backup-dir-dels\n");
 +              return 0;
++      } else if (make_backups && delete_mode && !delete_excluded && !am_server) {
++              snprintf(backup_dir_dels_buf, sizeof backup_dir_dels_buf,
++                      "P *%s", backup_suffix_dels);
++              parse_rule(&filter_list, backup_dir_dels_buf, 0, 0);
 +      }
  
-       if (make_backups && !backup_dir) {
-               omit_dir_times = 0; /* Implied, so avoid -O to sender. */
-@@ -1845,6 +1900,10 @@ void server_options(char **args, int *ar
+       if (preserve_times) {
+               preserve_times = PRESERVE_FILE_TIMES;
+@@ -2499,6 +2561,10 @@ void server_options(char **args, int *argc_p)
                args[ac++] = "--backup-dir";
                args[ac++] = backup_dir;
        }
@@ -272,13 +332,14 @@ To use this patch, run these commands for a successful build:
  
        /* Only send --suffix if it specifies a non-default value. */
        if (strcmp(backup_suffix, backup_dir ? "" : BACKUP_SUFFIX) != 0) {
-@@ -1853,7 +1912,13 @@ void server_options(char **args, int *ar
+@@ -2507,7 +2573,14 @@ void server_options(char **args, int *argc_p)
                        goto oom;
                args[ac++] = arg;
        }
 -
-+      /* Only send --suffix-dels if it specifies a non-default value. */
-+      if (strcmp(backup_suffix_dels, backup_dir_dels ? "" : BACKUP_SUFFIX) != 0) {
++      /* Only send --suffix-dels if it specifies a value different from the
++       * --suffix value, which would normally be used for deletions too. */
++      if (strcmp(backup_suffix_dels, backup_suffix) != 0) {
 +              /* We use the following syntax to avoid weirdness with '~'. */
 +              if (asprintf(&arg, "--suffix-dels=%s", backup_suffix_dels) < 0)
 +                      goto oom;