Applied preallocate patch to the trunk.
[rsync-patches.git] / backup-dir-dels.diff
index acac0f105d8f9a12a28d0d28af21c6e46ae78027..fa68ad586cd6179a6f8bdab97464b27b50d8dabf 100644 (file)
@@ -13,13 +13,19 @@ suffix.
 
 Marc St-Onge
 
---- old/backup.c
-+++ new/backup.c
-@@ -22,11 +22,17 @@
- extern int verbose;
- extern int backup_suffix_len;
-+extern int backup_suffix_dels_len;
+To use this patch, run these commands for a successful build:
+
+    patch -p1 <patches/backup-dir-dels.diff
+    ./configure                                 (optional if already run)
+    make
+
+based-on: 3bd9f51917ed5718275c6132006be155239a0550
+diff --git a/backup.c b/backup.c
+--- a/backup.c
++++ b/backup.c
+@@ -29,25 +29,32 @@ extern int preserve_specials;
+ extern int preserve_links;
+ extern int safe_symlinks;
  extern int backup_dir_len;
 +extern int backup_dir_dels_len;
  extern unsigned int backup_dir_remainder;
@@ -30,100 +36,142 @@ Marc St-Onge
 +extern char *backup_suffix_dels;
  extern char *backup_dir;
 +extern char *backup_dir_dels;
- extern int am_root;
- extern int preserve_devices;
-@@ -36,6 +42,8 @@ extern int preserve_hard_links;
- extern int orig_umask;
- extern int safe_symlinks;
-+static int deleting;
 +
- /* make a complete pathname for backup file */
- char *get_backup_name(char *fname)
- {
-@@ -53,11 +61,28 @@ char *get_backup_name(char *fname)
-       return NULL;
- }
++static BOOL deleting;
  
-+static char *get_delete_name(char *fname)
-+{
-+      if (backup_dir_dels) {
-+              if (stringjoin(backup_dir_dels_buf + backup_dir_dels_len, backup_dir_dels_remainder,
-+                             fname, backup_suffix_dels, NULL) < backup_dir_dels_remainder)
-+                      return backup_dir_dels_buf;
-+      } else {
-+              if (stringjoin(backup_dir_dels_buf, MAXPATHLEN,
-+                             fname, backup_suffix_dels, NULL) < MAXPATHLEN)
-+                      return backup_dir_dels_buf;
-+      }
-+
-+      rprintf(FERROR, "delete filename too long\n");
-+      return NULL;
-+}
-+
- /* simple backup creates a backup with a suffix in the same directory */
- static int make_simple_backup(char *fname)
+ /* Returns -1 on error, 0 on missing dir, and 1 on present dir. */
+-static int validate_backup_dir(void)
++static int validate_backup_dir(const char *buf)
  {
-       int rename_errno;
--      char *fnamebak = get_backup_name(fname);
-+      char *fnamebak = deleting ? get_delete_name(fname)
-+                                : get_backup_name(fname);
+       STRUCT_STAT st;
  
-       if (!fnamebak)
-               return 0;
-@@ -97,7 +122,8 @@ path
- static int make_bak_dir(char *fullpath)
+-      if (do_lstat(backup_dir_buf, &st) < 0) {
++      if (do_lstat(buf, &st) < 0) {
+               if (errno == ENOENT)
+                       return 0;
+-              rsyserr(FERROR, errno, "backup lstat %s failed", backup_dir_buf);
++              rsyserr(FERROR, errno, "backup lstat %s failed", buf);
+               return -1;
+       }
+       if (!S_ISDIR(st.st_mode)) {
+               int flags = get_del_for_flag(st.st_mode) | DEL_FOR_BACKUP | DEL_RECURSE;
+-              if (delete_item(backup_dir_buf, st.st_mode, flags) == 0)
++              if (delete_item(buf, st.st_mode, flags) == 0)
+                       return 0;
+               return -1;
+       }
+@@ -58,20 +65,20 @@ static int validate_backup_dir(void)
+  * backup_dir_buf.  Any new directories (compared to the prior backup
+  * path) are ensured to exist as directories, replacing anything else
+  * that may be in the way (e.g. a symlink). */
+-static BOOL copy_valid_path(const char *fname)
++static BOOL copy_valid_path(const char *fname, char *buf, int prefix_len, unsigned int remainder, const char *suffix)
  {
-       STRUCT_STAT st;
--      char *rel = fullpath + backup_dir_len;
-+      int dir_len = deleting ? backup_dir_dels_len : backup_dir_len;
-+      char *rel = fullpath + dir_len;
-       char *end = rel + strlen(rel);
-       char *p = end;
+       const char *f;
+       int val;
+       BOOL ret = True;
+       stat_x sx;
+-      char *b, *rel = backup_dir_buf + backup_dir_len, *name = rel;
++      char *b, *rel = buf + prefix_len, *name = rel;
  
-@@ -185,7 +211,8 @@ static int keep_backup(char *fname)
-       if (!(file = make_file(fname, NULL, NULL, 0, NO_FILTERS)))
-               return 1; /* the file could have disappeared */
+       for (f = fname, b = rel; *f && *f == *b; f++, b++) {
+               if (*b == '/')
+                       name = b + 1;
+       }
  
--      if (!(buf = get_backup_name(fname)))
-+      buf = deleting ? get_delete_name(fname) : get_backup_name(fname);
-+      if (!buf)
-               return 0;
+-      if (stringjoin(rel, backup_dir_remainder, fname, backup_suffix, NULL) >= backup_dir_remainder) {
++      if (stringjoin(rel, remainder, fname, suffix, NULL) >= remainder) {
+               rprintf(FERROR, "backup filename too long\n");
+               *name = '\0';
+               return False;
+@@ -82,7 +89,7 @@ static BOOL copy_valid_path(const char *fname)
+                       return True;
+               *b = '\0';
+-              val = validate_backup_dir();
++              val = validate_backup_dir(buf);
+               if (val == 0)
+                       break;
+               if (val < 0) {
+@@ -98,9 +105,9 @@ static BOOL copy_valid_path(const char *fname)
+       for ( ; b; name = b + 1, b = strchr(name, '/')) {
+               *b = '\0';
  
-       /* Check to see if this is a device file, or link */
-@@ -280,3 +307,13 @@ int make_backup(char *fname)
-               return keep_backup(fname);
-       return make_simple_backup(fname);
+-              while (do_mkdir(backup_dir_buf, ACCESSPERMS) < 0) {
++              while (do_mkdir(buf, ACCESSPERMS) < 0) {
+                       if (errno == EEXIST) {
+-                              val = validate_backup_dir();
++                              val = validate_backup_dir(buf);
+                               if (val > 0)
+                                       break;
+                               if (val == 0)
+@@ -134,7 +141,7 @@ static BOOL copy_valid_path(const char *fname)
+                               free_xattr(&sx);
+                       }
+ #endif
+-                      set_file_attrs(backup_dir_buf, file, NULL, NULL, 0);
++                      set_file_attrs(buf, file, NULL, NULL, 0);
+                       unmake_file(file);
+               }
+@@ -156,16 +163,21 @@ static BOOL copy_valid_path(const char *fname)
+ /* Make a complete pathname for backup file and verify any new path elements. */
+ char *get_backup_name(const char *fname)
+ {
++      char *buf = deleting ? backup_dir_dels_buf : backup_dir_buf;
++      char *suffix = deleting ? backup_suffix_dels : backup_suffix;
++
+       if (backup_dir) {
++              int prefix_len = deleting ? backup_dir_dels_len : backup_dir_len;
++              unsigned int remainder = deleting ? backup_dir_dels_remainder : backup_dir_remainder;
+               /* copy fname into backup_dir_buf while validating the dirs. */
+-              if (copy_valid_path(fname))
+-                      return backup_dir_buf;
++              if (copy_valid_path(fname, buf, prefix_len, remainder, suffix))
++                      return buf;
+               /* copy_valid_path() has printed an error message. */
+               return NULL;
+       }
+-      if (stringjoin(backup_dir_buf, MAXPATHLEN, fname, backup_suffix, NULL) < MAXPATHLEN)
+-              return backup_dir_buf;
++      if (stringjoin(backup_dir_buf, MAXPATHLEN, fname, suffix, NULL) < MAXPATHLEN)
++              return buf;
+       rprintf(FERROR, "backup filename too long\n");
+       return NULL;
+@@ -339,3 +351,13 @@ int make_backup(const char *fname, BOOL prefer_rename)
+               rprintf(FINFO, "backed up %s to %s\n", fname, buf);
+       return ret;
  }
 +
 +/* backup switch routine called only when backing-up removed file */
-+int safe_delete(char *fname)
++int safe_delete(const char *fname)
 +{
 +      int ret;
 +      deleting = 1;
-+      ret = make_backup(fname);
++      ret = make_backup(fname, True);
 +      deleting = 0;
 +      return ret;
 +}
---- old/generator.c
-+++ new/generator.c
-@@ -91,6 +91,9 @@ extern dev_t filesystem_dev;
+diff --git a/delete.c b/delete.c
+--- a/delete.c
++++ b/delete.c
+@@ -28,16 +28,23 @@ extern int max_delete;
  extern char *backup_dir;
  extern char *backup_suffix;
  extern int backup_suffix_len;
 +extern char *backup_dir_dels;
 +extern char *backup_suffix_dels;
 +extern int backup_suffix_dels_len;
- extern struct file_list *the_file_list;
- extern struct filter_list_struct server_filter_list;
-@@ -103,10 +106,14 @@ static int can_link_devices = 1;
- #define DEL_TERSE             (1<<3)
+ extern struct stats stats;
  
+ int ignore_perishable = 0;
+ int non_perishable_cnt = 0;
+ int skipped_deletes = 0;
  
 +/* Function now compares both backup_suffix and backup_suffix_dels. */
- static int is_backup_file(char *fn)
+ static inline int is_backup_file(char *fn)
  {
        int k = strlen(fn) - backup_suffix_len;
 -      return k > 0 && strcmp(fn+k, backup_suffix) == 0;
@@ -133,37 +181,27 @@ Marc St-Onge
 +      return k > 0 && strcmp(fn+k, backup_suffix_dels) == 0;
  }
  
-@@ -127,8 +134,8 @@ static int delete_item(char *fname, int 
-       if (!S_ISDIR(mode)) {
-               if (max_delete && ++deletion_count > max_delete)
-                       return 0;
--              if (make_backups && (backup_dir || !is_backup_file(fname)))
--                      ok = make_backup(fname);
-+              if (make_backups && (backup_dir_dels || !is_backup_file(fname)))
-+                      ok = safe_delete(fname);
-               else
-                       ok = robust_unlink(fname) == 0;
-               if (ok) {
-@@ -150,9 +157,9 @@ static int delete_item(char *fname, int 
-           || (dry_run && zap_dir)) {
-               ok = 0;
-               errno = ENOTEMPTY;
--      } else if (make_backups && !backup_dir && !is_backup_file(fname)
-+      } else if (make_backups && !backup_dir_dels && !is_backup_file(fname)
-           && !(flags & DEL_FORCE_RECURSE))
--              ok = make_backup(fname);
-+              ok = safe_delete(fname);
-       else
-               ok = do_rmdir(fname) == 0;
-       if (ok) {
---- old/options.c
-+++ new/options.c
-@@ -137,10 +137,14 @@ int no_detach
+ /* The directory is about to be deleted: if DEL_RECURSE is given, delete all
+@@ -162,9 +169,9 @@ enum delret delete_item(char *fbuf, uint16 mode, uint16 flags)
+               what = "rmdir";
+               ok = do_rmdir(fbuf) == 0;
+       } else {
+-              if (make_backups > 0 && !(flags & DEL_FOR_BACKUP) && (backup_dir || !is_backup_file(fbuf))) {
++              if (make_backups > 0 && !(flags & DEL_FOR_BACKUP) && (backup_dir_dels || !is_backup_file(fbuf))) {
+                       what = "make_backup";
+-                      ok = make_backup(fbuf, True);
++                      ok = safe_delete(fbuf);
+                       if (ok == 2) {
+                               what = "unlink";
+                               ok = robust_unlink(fbuf) == 0;
+diff --git a/options.c b/options.c
+--- a/options.c
++++ b/options.c
+@@ -151,10 +151,14 @@ int no_detach
  int write_batch = 0;
  int read_batch = 0;
  int backup_dir_len = 0;
-+int backup_dir_dels_len = 0;  
++int backup_dir_dels_len = 0;
  int backup_suffix_len;
 +int backup_suffix_dels_len;
  unsigned int backup_dir_remainder;
@@ -174,7 +212,7 @@ Marc St-Onge
  char *tmpdir = NULL;
  char *partial_dir = NULL;
  char *basis_dir[MAX_BASIS_DIRS+1];
-@@ -150,7 +154,9 @@ char *log_format = NULL;
+@@ -166,7 +170,9 @@ char *stdout_format = NULL;
  char *password_file = NULL;
  char *rsync_path = RSYNC_PATH;
  char *backup_dir = NULL;
@@ -182,20 +220,20 @@ Marc St-Onge
  char backup_dir_buf[MAXPATHLEN];
 +char backup_dir_dels_buf[MAXPATHLEN];
  char *sockopts = NULL;
int rsync_port = 0;
int compare_dest = 0;
-@@ -281,6 +287,8 @@ void usage(enum logcode F)
char *usermap = NULL;
char *groupmap = NULL;
+@@ -671,6 +677,8 @@ void usage(enum logcode F)
    rprintf(F," -b, --backup                make backups (see --suffix & --backup-dir)\n");
    rprintf(F,"     --backup-dir=DIR        make backups into hierarchy based in DIR\n");
    rprintf(F,"     --suffix=SUFFIX         set backup suffix (default %s w/o --backup-dir)\n",BACKUP_SUFFIX);
-+  rprintf(F,"     --backup-dir-dels       make backups of removed files into current dir\n");
-+  rprintf(F,"     --suffix-dels=SUFFIX    set removed-files suffix (defaults to --suffix)\n");
++  rprintf(F,"     --backup-dir-dels=DIR   backup removed files into hierarchy based in DIR\n");
++  rprintf(F,"     --suffix-dels=SUFFIX    set removed-files suffix (def. --suffix w/o b-d-d)\n");
    rprintf(F," -u, --update                skip files that are newer on the receiver\n");
    rprintf(F,"     --inplace               update destination files in-place (SEE MAN PAGE)\n");
    rprintf(F,"     --append                append data onto shorter files\n");
-@@ -494,7 +502,9 @@ static struct poptOption long_options[] 
-   {"bwlimit",          0,  POPT_ARG_INT,    &bwlimit, 0, 0, 0 },
-   {"backup",          'b', POPT_ARG_NONE,   &make_backups, 0, 0, 0 },
+@@ -974,7 +982,9 @@ static struct poptOption long_options[] = {
+   {"backup",          'b', POPT_ARG_VAL,    &make_backups, 1, 0, 0 },
+   {"no-backup",        0,  POPT_ARG_VAL,    &make_backups, 0, 0, 0 },
    {"backup-dir",       0,  POPT_ARG_STRING, &backup_dir, 0, 0, 0 },
 +  {"backup-dir-dels",  0,  POPT_ARG_STRING, &backup_dir_dels, 0, 0, 0 },
    {"suffix",           0,  POPT_ARG_STRING, &backup_suffix, 0, 0, 0 },
@@ -203,58 +241,56 @@ Marc St-Onge
    {"list-only",        0,  POPT_ARG_VAL,    &list_only, 2, 0, 0 },
    {"read-batch",       0,  POPT_ARG_STRING, &batch_name, OPT_READ_BATCH, 0, 0 },
    {"write-batch",      0,  POPT_ARG_STRING, &batch_name, OPT_WRITE_BATCH, 0, 0 },
-@@ -1202,6 +1212,8 @@ int parse_arguments(int *argc, const cha
-                       partial_dir = sanitize_path(NULL, partial_dir, NULL, 0);
+@@ -2011,6 +2021,8 @@ int parse_arguments(int *argc_p, const char ***argv_p)
+                       tmpdir = sanitize_path(NULL, tmpdir, NULL, 0, SP_DEFAULT);
                if (backup_dir)
-                       backup_dir = sanitize_path(NULL, backup_dir, NULL, 0);
-+              if (backup_dir_dels)                                                    
-+                      backup_dir_dels = sanitize_path(NULL, backup_dir_dels, NULL, 0);
+                       backup_dir = sanitize_path(NULL, backup_dir, NULL, 0, SP_DEFAULT);
++              if (backup_dir_dels)
++                      backup_dir_dels = sanitize_path(NULL, backup_dir_dels, NULL, 0, SP_DEFAULT);
        }
-       if (server_filter_list.head && !am_sender) {
-               struct filter_list_struct *elp = &server_filter_list;
-@@ -1236,6 +1248,14 @@ int parse_arguments(int *argc, const cha
-                               return 0;
-                       }
+       if (daemon_filter_list.head && !am_sender) {
+               filter_rule_list *elp = &daemon_filter_list;
+@@ -2032,6 +2044,14 @@ int parse_arguments(int *argc_p, const char ***argv_p)
+                       if (check_filter(elp, FLOG, dir, 1) < 0)
+                               goto options_rejected;
                }
 +              /* Clean backup_dir_dels same as for backup_dir */
 +              if (backup_dir_dels) {
 +                      if (!*backup_dir_dels)
 +                              goto options_rejected;
 +                      clean_fname(backup_dir_dels, 1);
-+                      if (check_filter(elp, backup_dir_dels, 1) < 0)
++                      if (check_filter(elp, FLOG, backup_dir_dels, 1) < 0)
 +                              goto options_rejected;
 +              }
        }
  
        if (!backup_suffix)
-@@ -1247,6 +1267,16 @@ int parse_arguments(int *argc, const cha
+@@ -2043,6 +2063,20 @@ int parse_arguments(int *argc_p, const char ***argv_p)
                        backup_suffix);
                return 0;
        }
-+      /* if backup_suffix_dels not supplied, default to backup_suffix */
++      /* --suffix-dels defaults to --suffix, or empty for a client given an
++       * explicit --backup-dir-dels (just as --suffix defaults to empty when
++       * a --backup-dir is given).  The second case does not apply to the
++       * server for consistency with server_options, which sends --suffix-dels
++       * to the server iff it differs from --suffix. */
 +      if (!backup_suffix_dels)
-+              backup_suffix_dels = backup_dir_dels ? "" : backup_suffix;
++              backup_suffix_dels = backup_dir_dels && !am_server ? "" : backup_suffix;
 +      backup_suffix_dels_len = strlen(backup_suffix_dels);
 +      if (strchr(backup_suffix_dels, '/') != NULL) {
 +              snprintf(err_buf, sizeof err_buf,
 +                      "--suffix-dels cannot contain slashes: %s\n",
-+                      backup_suffix_dels);    
++                      backup_suffix_dels);
 +              return 0;
 +      }
        if (backup_dir) {
-               backup_dir_len = strlcpy(backup_dir_buf, backup_dir, sizeof backup_dir_buf);
-               backup_dir_remainder = sizeof backup_dir_buf - backup_dir_len;
-@@ -1270,6 +1300,31 @@ int parse_arguments(int *argc, const cha
+               size_t len;
+               while (*backup_dir == '.' && backup_dir[1] == '/')
+@@ -2078,6 +2112,34 @@ int parse_arguments(int *argc_p, const char ***argv_p)
                        "P *%s", backup_suffix);
-               parse_rule(&filter_list, backup_dir_buf, 0, 0);
+               parse_filter_str(&filter_list, backup_dir_buf, rule_template(0), 0);
        }
-+      /* If backup_dir_dels not supplied default to backup_dir if it has been supplied */
-+      if (backup_dir && !backup_dir_dels) {
-+              backup_dir_dels = backup_dir;
-+              backup_dir_dels_len = backup_dir_len;
-+              backup_dir_dels_remainder = backup_dir_remainder;
-+              strlcpy(backup_dir_dels_buf, backup_dir_buf, sizeof backup_dir_buf);
-+      } else if (backup_dir_dels) {
++      if (backup_dir_dels) {
 +              backup_dir_dels_len = strlcpy(backup_dir_dels_buf, backup_dir_dels, sizeof backup_dir_dels_buf);
 +              backup_dir_dels_remainder = sizeof backup_dir_dels_buf - backup_dir_dels_len;
 +              if (backup_dir_dels_remainder < 32) {
@@ -266,17 +302,26 @@ Marc St-Onge
 +                      backup_dir_dels_buf[backup_dir_dels_len++] = '/';
 +                      backup_dir_dels_buf[backup_dir_dels_len] = '\0';
 +              }
-+              if (verbose > 1 && !am_sender)
++              if (INFO_GTE(BACKUP, 1) && !am_sender)
 +                      rprintf(FINFO, "backup_dir_dels is %s\n", backup_dir_dels_buf);
++      } else if (backup_dir) {
++              backup_dir_dels = backup_dir;
++              backup_dir_dels_len = backup_dir_len;
++              backup_dir_dels_remainder = backup_dir_remainder;
++              strlcpy(backup_dir_dels_buf, backup_dir_buf, sizeof backup_dir_buf);
 +      } else if (!backup_suffix_dels_len && (!am_server || !am_sender)) {
 +              snprintf(err_buf, sizeof err_buf,
 +                      "--suffix-dels cannot be a null string without --backup-dir-dels\n");
 +              return 0;
++      } else if (make_backups && delete_mode && !delete_excluded && !am_server) {
++              snprintf(backup_dir_dels_buf, sizeof backup_dir_dels_buf,
++                      "P *%s", backup_suffix_dels);
++              parse_rule(&filter_list, backup_dir_dels_buf, 0, 0);
 +      }
-       if (make_backups && !backup_dir)
-               omit_dir_times = 1;
  
-@@ -1612,6 +1667,10 @@ void server_options(char **args,int *arg
+       if (preserve_times) {
+               preserve_times = PRESERVE_FILE_TIMES;
+@@ -2499,6 +2561,10 @@ void server_options(char **args, int *argc_p)
                args[ac++] = "--backup-dir";
                args[ac++] = backup_dir;
        }
@@ -287,18 +332,19 @@ Marc St-Onge
  
        /* Only send --suffix if it specifies a non-default value. */
        if (strcmp(backup_suffix, backup_dir ? "" : BACKUP_SUFFIX) != 0) {
-@@ -1620,7 +1679,13 @@ void server_options(char **args,int *arg
+@@ -2507,7 +2573,14 @@ void server_options(char **args, int *argc_p)
                        goto oom;
                args[ac++] = arg;
        }
 -
-+      /* Only send --suffix-dels if it specifies a non-default value. */
-+      if (strcmp(backup_suffix_dels, backup_dir_dels ? "" : BACKUP_SUFFIX) != 0) {
++      /* Only send --suffix-dels if it specifies a value different from the
++       * --suffix value, which would normally be used for deletions too. */
++      if (strcmp(backup_suffix_dels, backup_suffix) != 0) {
 +              /* We use the following syntax to avoid weirdness with '~'. */
 +              if (asprintf(&arg, "--suffix-dels=%s", backup_suffix_dels) < 0)
 +                      goto oom;
 +              args[ac++] = arg;
 +      }
        if (am_sender) {
-               if (delete_excluded)
-                       args[ac++] = "--delete-excluded";
+               if (max_delete > 0) {
+                       if (asprintf(&arg, "--max-delete=%d", max_delete) < 0)