NEWS

   1 NEWS for rsync 3.0.0 (1 Mar 2008)
   2 Protocol: 30 (changed)
   3 Changes since 2.6.9:
   4
   5   NOTABLE CHANGES IN BEHAVIOR:
   6
   7     - The handling of implied directories when using --relative has changed to
   8       send them as directories (e.g. no implied dir is ever sent as a symlink).
   9       This avoids unexpected behavior and should not adversely affect most
  10       people.  If you're one of those rare individuals who relied upon having
  11       an implied dir be duplicated as a symlink, you should specify the
  12       transfer of the symlink and the transfer of the referent directory as
  13       separate args.  (See also --keep-dirlinks and --no-implied-dirs.)
  14       Also, exclude rules no longer have a partial effect on implied dirs.
  15
  16     - Requesting a remote file-listing without specifying -r (--recursive) now
  17       sends the -d (--dirs) option to the remote rsync rather than sending -r
  18       along with an extra exclude of /*/*.  If the remote rsync does not
  19       understand the -d option (i.e. it is 2.6.3 or older), you will need to
  20       either turn off -d (--no-d), or specify  -r --exclude='/*/*'  manually.
  21
  22     - In --dry-run mode, the last line of the verbose summary text is output
  23       with a "(DRY RUN)" suffix to help remind you that no updates were made.
  24       Similarly, --only-write-batch outputs "(BATCH ONLY)".
  25
  26     - A writable rsync daemon with "use chroot" disabled now defaults to a
  27       symlink-munging behavior designed to make symlinks safer while also
  28       allowing absolute symlinks to be stored and retrieved.  This also has
  29       the effect of making symlinks unusable while they're in the daemon's
  30       hierarchy.  See the daemon's "munge symlinks" parameter for details.
  31
  32     - Starting up an extra copy of an rsync daemon will not clobber the pidfile
  33       for the running daemon -- if the pidfile exists, the new daemon will exit
  34       with an error.  This means that your wrapper script that starts the rsync
  35       daemon should be made to handle lock-breaking (if you want any automatic
  36       breaking of locks to be done).
  37
  38   BUG FIXES:
  39
  40     - A daemon with "use chroot = no" and excluded items listed in the daemon
  41       config file now properly checks an absolute-path arg specified for these
  42       options:  --compare-dest, --link-dest, --copy-dest, --partial-dir,
  43       --backup-dir, --temp-dir, and --files-from.
  44
  45     - A daemon can now be told to disable all user- and group-name translation
  46       on a per-module basis.  This avoids a potential problem with a writable
  47       daemon module that has "use chroot" enabled -- if precautions weren't
  48       taken, a user could try to add a missing library and get rsync to use
  49       it.  This makes rsync safer by default, and more configurable when id-
  50       translation is not desired.  See the daemon's "numeric ids" parameter
  51       for full details.
  52
  53     - A chroot daemon can now indicate which part of its path should affect the
  54       chroot call, and which part should become an inside-chroot path for the
  55       module.  This allows you to have outside-the-transfer paths (such as for
  56       libraries) even when you enable chroot protection.  The idiom used in the
  57       rsyncd.conf file is:  path = /chroot/dirs/./dirs/inside
  58
  59     - If a file's data arrived successfully on the receiving side but the
  60       rename of the temporary file to the destination file failed AND the
  61       --remove-source-files (or the deprecated --remove-sent-files) option
  62       was specified, rsync no longer erroneously removes the associated
  63       source file.
  64
  65     - Fixed the output of -ii when combined with one of the --*-dest options:
  66       it now itemizes all the items, not just the changed ones.
  67
  68     - Made the output of all file types consistent when using a --*-dest
  69       option.  Prior versions would output too many creation events for
  70       matching items.
  71
  72     - The code that waits for a child pid now handles being interrupted by a
  73       signal.  This fixes a problem with the pre-xfer exec function not being
  74       able to get the exit status from the script.
  75
  76     - A negated filter rule (i.e. with a '!' modifier) no longer loses the
  77       negation when sending the filter rules to the remote rsync.
  78
  79     - Fixed a problem with the --out-format (aka --log-format) option %f:  it
  80       no longer outputs superfluous directory info for a non-daemon rsync.
  81
  82     - Fixed a problem with -vv (double --verbose) and --stats when "pushing"
  83       files (which includes local copies).  Version 2.6.9 would complete the
  84       copy, but exit with an error when the receiver output its memory stats.
  85
  86     - If --password-file is used on a non-daemon transfer, rsync now complains
  87       and exits.  This should help users figure out that they can't use this
  88       option to control a remote shell's password prompt.
  89
  90     - Make sure that directory permissions of a newly-created destination
  91       directory are handled right when --perms is left off.
  92
  93     - The itemized output of a newly-created destination directory is now
  94       output as a creation event, not a change event.
  95
  96     - Improved --hard-link so that more corner cases are handled correctly
  97       when combined with options such as --link-dest and/or --ignore-existing.
  98
  99     - The --append option no longer updates a file that has the same size.
 100
 101     - Fixed a bug when combining --backup and --backup-dir with --inplace:
 102       any missing backup directories are now created.
 103
 104     - Fixed a bug when using --backup and --inplace with --whole-file or
 105       --read-batch: backup files are actually created now.
 106
 107     - The daemon pidfile is checked and created sooner in the startup sequence.
 108
 109     - If a daemon module's "path" value is not an absolute pathname, the code
 110       now makes it absolute internally (making it work properly).
 111
 112     - Ensure that a temporary file always has owner-write permission while we
 113       are writing to it.  This avoids problems with some network filesystems
 114       when transfering read-only files.
 115
 116     - Any errors output about password-file reading no longer cause an error at
 117       the end of the run about a partial transfer.
 118
 119     - The --read-batch option for protocol 30 now ensures that several more
 120       options are set correctly for the current batch file:  --iconv, --acls,
 121       --xattrs, --inplace, --append, and --append-verify.
 122
 123     - Using --only-write-batch to a daemon receiver now works properly (older
 124       versions would update some files while writing the batch).
 125
 126     - Avoid outputting a "file has vanished" message when the file is a broken
 127       symlink and --copy-unsafe-links or --copy-dirlinks is used (the code
 128       already handled this for --copy-links).
 129
 130     - Fixed the combination of --only-write-batch and --dry-run.
 131
 132     - Fixed rsync's ability to remove files that are not writable by the file's
 133       owner when rsync is running as the same user.
 134
 135   ENHANCEMENTS:
 136
 137     - A new incremental-recursion algorithm is now used when rsync is talking
 138       to another 3.x version.  This starts the transfer going more quickly
 139       (before all the files have been found), and requires much less memory.
 140       See the --recursive option in the manpage for some restrictions.
 141
 142     - Lowered memory use in the non-incremental-recursion algorithm for typical
 143       option values (usually saving from 21-29 bytes per file).
 144
 145     - The default --delete algorithm is now --delete-during when talking to a
 146       3.x rsync.  This is a faster scan than using --delete-before (which is
 147       the default when talking to older rsync versions), and is compatible with
 148       the new incremental recursion mode.
 149
 150     - Rsync now allows multiple remote-source args to be specified rather than
 151       having to rely on a special space-splitting side-effect of the remote-
 152       shell.  Additional remote args must specify the same host or an empty one
 153       (e.g. empty:  :file1  or  ::module/file2).  For example, this means that
 154       local use of brace expansion now works:  rsync -av host:dir/{f1,f2} .
 155
 156     - Added the --protect-args (-s) option, that tells rsync to send most of
 157       the command-line args at the start of the transfer rather than as args
 158       to the remote-shell command.  This protects them from space-splitting,
 159       and only interprets basic wildcard special shell characters (*?[).
 160
 161     - Added the --delete-delay option, which is a more efficient way to delete
 162       files at the end of the transfer without needing a separate delete pass.
 163
 164     - Added the --acls (-A) option to preserve Access Control Lists.  This is
 165       an improved version of the prior patch that was available, and it even
 166       supports OS X ACLs.  If you need to have backward compatibility with old,
 167       ACL-patched versions of rsync, apply the acls.diff file from the patches
 168       dir.
 169
 170     - Added the --xattrs (-X) option to preserve extended attributes.  This is
 171       an improved version of the prior patch that was available, and it even
 172       supports OS X xattrs (which includes their resource fork data).  If you
 173       need to have backward compatibility with old, xattr-patched versions of
 174       rsync, apply the xattrs.diff file from the patches dir.
 175
 176     - Added the --fake-super option that allows a non-super user to preserve
 177       all attributes of a file by using a special extended-attribute idiom.
 178       It even supports the storing of foreign ACL data on your backup server.
 179       There is also an analogous "fake super" parameter for an rsync daemon.
 180
 181     - Added the --iconv option, which allows rsync to convert filenames from
 182       one character-set to another during the transfer.  The default is to
 183       make this feature available as long as your system has iconv_open().
 184       If compilation fails, specify --disable-iconv to configure, and then
 185       rebuild.  If you want rsync to perform character-set conversions by
 186       default, you can specify --enable-iconv=CONVERT_STRING with the default
 187       value for the --iconv option that you wish to use.  For example,
 188       "--enable-iconv=." is a good choice.  See the rsync manpage for an
 189       explanation of the --iconv option's settings.
 190
 191     - A new daemon config parameter, "charset", lets you control the character-
 192       set that is used during an --iconv transfer to/from a daemon module.  You
 193       can also set your daemon to refuse "no-iconv" if you want to force the
 194       client to use an --iconv transfer (requiring an rsync 3.x client).
 195
 196     - Added the --skip-compress=LIST option to override the default list of
 197       file suffixes that will not be compressed when using --compress (-z).
 198
 199     - The daemon's default for "dont compress" was extended to include:
 200           *.7z *.mp[34] *.mov *.avi *.ogg *.jpg *.jpeg
 201       The name-matching routine was also optimized to run more quickly.
 202
 203     - The --max-delete option now outputs a warning if it skipped any file
 204       deletions, including a count of how many deletions were skipped.  (Older
 205       versions just silently stopped deleting things.)
 206
 207     - You may specify --max-delete=0 to a 3.0.0 client to request that it warn
 208       about extraneous files without deleting anything.  If you're not sure
 209       what version the client is, you can use the less-obvious --max-delete=-1,
 210       as both old and new versions will treat that as the same request (though
 211       older versions don't warn).
 212
 213     - The --hard-link option now uses less memory on both the sending and
 214       receiving side for all protocol versions.  For protocol 30, the use of a
 215       hashtable on the sending side allows us to more efficiently convey to the
 216       receiver what files are linked together.  This reduces the amount of data
 217       sent over the socket by a considerable margin (rather than adding more
 218       data), and limits the in-memory storage of the device+inode information
 219       to just the sending side for the new protocol 30, or to the receiving
 220       side when speaking an older protocol (note that older rsync versions kept
 221       the device+inode information on both sides).
 222
 223     - The filter rules now support a perishable ("p") modifier that marks rules
 224       that should not have an effect in a directory that is being deleted.  e.g.
 225       -f '-p .svn/' would only affect "live" .svn directories.
 226
 227     - Rsync checks all the alternate-destination args for validity (e.g.
 228       --link-dest).  This lets the user know when they specified a directory
 229       that does not exist.
 230
 231     - If we get an error setting the time on a symlink, we don't complain about
 232       it anymore (since some operating systems don't support that, and it's not
 233       that important).
 234
 235     - Protocol 30 now uses MD5 checksums instead of MD4.
 236
 237     - Changed the --append option to not checksum the existing data in the
 238       destination file, which speeds up file appending.
 239
 240     - Added the --append-verify option, which works like the older --append
 241       option (verifying the existing data in the destination file).  For
 242       compatibility with older rsync versions, any use of --append that is
 243       talking protocol 29 or older will revert to the --append-verify method.
 244
 245     - Added the --contimeout=SECONDS option that lets the user specify a
 246       connection timeout for rsync daemon access.
 247
 248     - Documented and extended the support for the RSYNC_CONNECT_PROG variable
 249       that can be used to enhance the client side of a daemon connection.
 250
 251     - Improved the dashes and double-quotes in the nroff manpage output.
 252
 253     - Rsync now supports a lot more --no-OPTION override options.
 254
 255   INTERNAL:
 256
 257     - The file-list sorting algorithm now uses a sort that keeps any same-
 258       named items in the same order as they were specified.  This allows
 259       rsync to always ensure that the first of the duplicates is the one
 260       that will be included in the copy.  The new sort is also faster
 261       than the glibc version of qsort() and mergesort().
 262
 263     - Rsync now supports the transfer of 64-bit timestamps (time_t values).
 264
 265     - Made the file-deletion code use a little less stack when recursing
 266       through a directory hierarchy of extraneous files.
 267
 268     - Fixed a build problem with older (2.x) versions of gcc.
 269
 270     - Added some isType() functions that make dealing with signed characters
 271       easier without forcing variables via casts.
 272
 273     - Changed strcat/strcpy/sprintf function calls to use safer versions.
 274
 275     - Upgraded the included popt version to 1.10.2 and improved its use of
 276       string-handling functions.
 277
 278     - Added missing prototypes for compatibility functions from the lib dir.
 279
 280     - Configure determines if iconv() has a const arg, allowing us to avoid a
 281       compiler warning.
 282
 283     - Made the sending of some numbers more efficient for protocol 30.
 284
 285     - Make sure that a daemon process doesn't mind if the client was weird and
 286       omitted the --server option.
 287
 288     - There are more internal logging categories available in protocol 30 than
 289       the age-old FINFO and FERROR, including FERROR_XFER and FWARN.  These new
 290       categories allow some errors and warnings to go to stderr without causing
 291       an erroneous end-of-run warning about some files not being able to be
 292       transferred.
 293
 294     - Improved the use of "const" on pointers.
 295
 296     - Improved J.W.'s pool_alloc routines to add a way of incrementally freeing
 297       older sections of a pool's memory.
 298
 299     - The getaddrinfo.c compatibility code in the "lib" dir was replaced with
 300       some new code (derived from samba, derived from PostgreSQL) that has a
 301       better license than the old code.
 302
 303   DEVELOPER RELATED:
 304
 305     - Rsync is now licensed under the GPLv3 or later.
 306
 307     - Rsync is now being maintained in a "git" repository instead of CVS
 308       (though the old CVS repository still exists for historical access).
 309       Several maintenance scripts were updated to work with git.
 310
 311     - Generated files are no longer committed into the source repository.  The
 312       autoconf and autoheader commands are now automatically run during the
 313       normal use of "configure" and "make".  The latest dev versions of all
 314       generated files can also be copied from the samba.org web site (see the
 315       prepare-source script's fetch option).
 316
 317     - The "patches" directory of diff files is now built from branches in the
 318       rsync git repository (branch patch/FOO creates file patches/FOO.diff).
 319       This directory is now distributed in a separate separate tar file named
 320       rsync-patches-VERSION.tar.gz instead of the main rsync-VERSION.tar.gz.
 321
 322     - The proto.h file is now built using a simple perl script rather than a
 323       complex awk script, which proved to be more widely compatible.
 324
 325     - When running the tests, we now put our per-test temp dirs into a sub-
 326       directory named testtmp (which is created, if missing).  This allows
 327       someone to symlink the testtmp directory to another filesystem (which is
 328       useful if the build dir's filesystem does not support ACLs and xattrs,
 329       but another filesystem does).
 330
 331     - Rsync now has a way of handling protocol-version changes during the
 332       development of a new protocol version.  This causes any out-of-sync
 333       versions to speak an older protocol rather than fail in a cryptic manner.
 334       This addition makes it safer to deploy a pre-release version that may
 335       interact with the public.  This new exchange of sub-version info does not
 336       interfere with the {MIN,MAX}_PROTOCOL_VERSION checking algorithm (which
 337       does not have enough range to allow the main protocol number to be
 338       incremented for every minor tweak in that happens during development).
 339
 340     - The csprotocol.txt file was updated to mention the daemon protocol change
 341       in the 3.0.0 release.