some minor optimisations
[rsync.git] / rsync.h
1 /* 
2    Copyright (C) Andrew Tridgell 1996
3    Copyright (C) Paul Mackerras 1996
4    
5    This program is free software; you can redistribute it and/or modify
6    it under the terms of the GNU General Public License as published by
7    the Free Software Foundation; either version 2 of the License, or
8    (at your option) any later version.
9    
10    This program is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13    GNU General Public License for more details.
14    
15    You should have received a copy of the GNU General Public License
16    along with this program; if not, write to the Free Software
17    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18 */
19
20 #define BLOCK_SIZE 700
21 #define RSYNC_RSH_ENV "RSYNC_RSH"
22
23 #define RSYNC_NAME "rsync"
24 #define RSYNCD_CONF "/etc/rsyncd.conf"
25
26 #define BACKUP_SUFFIX "~"
27
28 /* a non-zero CHAR_OFFSET makes the rolling sum stronger, but is
29    imcompatible with older versions :-( */
30 #define CHAR_OFFSET 0
31
32
33 #define FLAG_DELETE (1<<0)
34 #define SAME_MODE (1<<1)
35 #define SAME_RDEV (1<<2)
36 #define SAME_UID (1<<3)
37 #define SAME_GID (1<<4)
38 #define SAME_DIR (1<<5)
39 #define SAME_NAME SAME_DIR
40 #define LONG_NAME (1<<6)
41 #define SAME_TIME (1<<7)
42
43 /* update this if you make incompatible changes */
44 #define PROTOCOL_VERSION 19
45 #define MIN_PROTOCOL_VERSION 11
46 #define MAX_PROTOCOL_VERSION 30
47
48 #define RSYNC_PORT 873
49
50 #define SPARSE_WRITE_SIZE (1024)
51 #define WRITE_SIZE (32*1024)
52 #define CHUNK_SIZE (32*1024)
53 #define MAX_MAP_SIZE (1*1024*1024)
54 #define IO_BUFFER_SIZE (4092)
55 #define MAX_READ_BUFFER (1024*1024)
56
57 #define MAX_ARGS 1000
58
59 #define MPLEX_BASE 7
60 #define FERROR 1
61 #define FINFO 2
62 #define FLOG 3
63
64 #include "config.h"
65
66 #if HAVE_REMSH
67 #define RSYNC_RSH "remsh"
68 #else
69 #define RSYNC_RSH "rsh"
70 #endif
71
72 #include <sys/types.h>
73
74 #ifdef HAVE_GETOPT_LONG
75 #include <getopt.h>
76 #else
77 #include "lib/getopt.h"
78 #endif
79
80 #ifdef HAVE_UNISTD_H
81 #include <unistd.h>
82 #endif
83 #include <stdio.h>
84 #include <stddef.h>
85
86 #ifdef HAVE_SYS_PARAM_H
87 #include <sys/param.h>
88 #endif
89
90 #ifdef HAVE_STDLIB_H
91 #include <stdlib.h>
92 #endif
93
94 #ifdef HAVE_SYS_SOCKET_H
95 #include <sys/socket.h>
96 #endif
97
98 #ifdef HAVE_STRING_H
99 #include <string.h>
100 #endif
101
102 #ifdef HAVE_MALLOC_H
103 #include <malloc.h>
104 #endif
105
106 #ifdef TIME_WITH_SYS_TIME
107 #include <sys/time.h>
108 #include <time.h>
109 #else
110 #ifdef HAVE_SYS_TIME_H
111 #include <sys/time.h>
112 #else
113 #include <time.h>
114 #endif
115 #endif
116
117 #ifdef HAVE_FCNTL_H
118 #include <fcntl.h>
119 #else
120 #ifdef HAVE_SYS_FCNTL_H
121 #include <sys/fcntl.h>
122 #endif
123 #endif
124
125 #include <sys/stat.h>
126
127 #ifdef HAVE_SYS_IOCTL_H
128 #include <sys/ioctl.h>
129 #endif
130
131 #ifdef HAVE_SYS_FILIO_H
132 #include <sys/filio.h>
133 #endif
134
135 #include <signal.h>
136 #ifdef HAVE_SYS_WAIT_H
137 #include <sys/wait.h>
138 #endif
139 #ifdef HAVE_CTYPE_H
140 #include <ctype.h>
141 #endif
142 #ifdef HAVE_GRP_H
143 #include <grp.h>
144 #endif
145 #include <errno.h>
146
147 #if defined(HAVE_MMAP) && defined(HAVE_MUNMAP)
148 #include <sys/mman.h>
149 #define USE_MMAP 1
150 #endif
151
152 #ifdef HAVE_UTIME_H
153 #include <utime.h>
154 #endif
155
156 #ifdef HAVE_SYS_SELECT_H
157 #include <sys/select.h>
158 #endif
159
160 #ifdef HAVE_SYS_MODE_H
161 /* apparently AIX needs this for S_ISLNK */
162 #ifndef S_ISLNK
163 #include <sys/mode.h>
164 #endif
165 #endif
166
167 #ifdef HAVE_FNMATCH
168 #include <fnmatch.h>
169 #else
170 #include "lib/fnmatch.h"
171 #endif
172
173 #ifdef HAVE_GLOB_H
174 #include <glob.h>
175 #endif
176
177 /* these are needed for the uid/gid mapping code */
178 #include <pwd.h>
179 #include <grp.h>
180
181 #include <stdarg.h>
182 #include <netinet/in.h>
183 #include <arpa/inet.h>
184 #include <netdb.h>
185 #include <syslog.h>
186 #include <sys/file.h>
187
188 #if HAVE_DIRENT_H
189 # include <dirent.h>
190 #else
191 # define dirent direct
192 # if HAVE_SYS_NDIR_H
193 #  include <sys/ndir.h>
194 # endif
195 # if HAVE_SYS_DIR_H
196 #  include <sys/dir.h>
197 # endif
198 # if HAVE_NDIR_H
199 #  include <ndir.h>
200 # endif
201 #endif
202
203 #ifdef HAVE_COMPAT_H
204 #include <compat.h>
205 #endif
206
207
208 #define BOOL int
209
210 #ifndef uchar
211 #define uchar unsigned char
212 #endif
213
214 #if HAVE_UNSIGNED_CHAR
215 #define schar signed char
216 #else
217 #define schar char
218 #endif
219
220 #ifndef int32
221 #if (SIZEOF_INT == 4)
222 #define int32 int
223 #elif (SIZEOF_LONG == 4)
224 #define int32 long
225 #elif (SIZEOF_SHORT == 4)
226 #define int32 short
227 #else
228 /* I hope this works */
229 #define int32 int
230 #define LARGE_INT32
231 #endif
232 #endif
233
234 #ifndef uint32
235 #define uint32 unsigned int32
236 #endif
237
238 #if HAVE_OFF64_T
239 #define OFF_T off64_t
240 #define STRUCT_STAT struct stat64
241 #else
242 #define OFF_T off_t
243 #define STRUCT_STAT struct stat
244 #endif
245
246 #if HAVE_OFF64_T
247 #define int64 off64_t
248 #elif (SIZEOF_LONG == 8) 
249 #define int64 long
250 #elif (SIZEOF_INT == 8) 
251 #define int64 int
252 #elif HAVE_LONGLONG
253 #define int64 long long
254 #else
255 #define int64 off_t
256 #define NO_INT64
257 #endif
258
259 #if HAVE_SHORT_INO_T
260 #define INO_T uint32
261 #else
262 #define INO_T ino_t
263 #endif
264
265 #ifndef MIN
266 #define MIN(a,b) ((a)<(b)?(a):(b))
267 #endif
268
269 #ifndef MAX
270 #define MAX(a,b) ((a)>(b)?(a):(b))
271 #endif
272
273 /* the length of the md4 checksum */
274 #define MD4_SUM_LENGTH 16
275 #define SUM_LENGTH 16
276
277 #ifndef MAXPATHLEN
278 #define MAXPATHLEN 1024
279 #endif
280
281 #ifndef INADDR_NONE
282 #define INADDR_NONE 0xffffffff
283 #endif
284
285 struct file_struct {
286         unsigned flags;
287         time_t modtime;
288         OFF_T length;
289         mode_t mode;
290         INO_T inode;
291         dev_t dev;
292         dev_t rdev;
293         uid_t uid;
294         gid_t gid;
295         char *basename;
296         char *dirname;
297         char *basedir;
298         char *link;
299         char *sum;
300 };
301
302 struct file_list {
303         int count;
304         int malloced;
305         struct file_struct **files;
306 };
307
308 struct sum_buf {
309         OFF_T offset;           /* offset in file of this chunk */
310         int len;                /* length of chunk of file */
311         int i;                  /* index of this chunk */
312         uint32 sum1;            /* simple checksum */
313         char sum2[SUM_LENGTH];  /* checksum  */
314 };
315
316 struct sum_struct {
317   OFF_T flength;                /* total file length */
318   int count;                    /* how many chunks */
319   int remainder;                /* flength % block_length */
320   int n;                        /* block_length */
321   struct sum_buf *sums;         /* points to info for each chunk */
322 };
323
324 struct map_struct {
325         char *map,*p;
326         int fd,p_size,p_len;
327         OFF_T size, p_offset;
328 };
329
330 struct exclude_struct {
331         char *orig;
332         char *pattern;
333         int regular_exp;
334         int include;
335         int directory;
336         int local;
337 };
338
339 struct stats {
340         int64 total_size;
341         int64 total_transferred_size;
342         int64 total_written;
343         int64 total_read;
344         int64 literal_data;
345         int64 matched_data;
346         int flist_size;
347         int num_files;
348         int num_transferred_files;
349 };
350
351
352 /* we need this function because of the silly way in which duplicate
353    entries are handled in the file lists - we can't change this
354    without breaking existing versions */
355 static inline int flist_up(struct file_list *flist, int i)
356 {
357         while (!flist->files[i]->basename) i++;
358         return i;
359 }
360
361 #include "byteorder.h"
362 #include "version.h"
363 #include "proto.h"
364 #include "lib/mdfour.h"
365
366 #if !HAVE_STRERROR
367 extern char *sys_errlist[];
368 #define strerror(i) sys_errlist[i]
369 #endif
370
371 #ifndef HAVE_STRCHR
372 # define strchr                 index
373 # define strrchr                rindex
374 #endif
375
376 #ifndef HAVE_ERRNO_DECL
377 extern int errno;
378 #endif
379
380 #define SUPPORT_LINKS HAVE_READLINK
381 #define SUPPORT_HARD_LINKS HAVE_LINK
382
383 #ifndef HAVE_LCHOWN
384 #define lchown chown
385 #endif
386
387 #define SIGNAL_CAST (RETSIGTYPE (*)())
388
389 #ifndef EWOULDBLOCK
390 #define EWOULDBLOCK EAGAIN
391 #endif
392
393 #ifndef STDIN_FILENO
394 #define STDIN_FILENO 0
395 #endif
396
397 #ifndef STDOUT_FILENO
398 #define STDOUT_FILENO 1
399 #endif
400
401 #ifndef STDERR_FILENO
402 #define STDERR_FILENO 2
403 #endif
404
405 #ifndef S_IWUSR
406 #define S_IWUSR 0200
407 #endif
408
409 #ifndef _S_IFMT
410 #define _S_IFMT        0170000
411 #endif
412
413 #ifndef _S_IFLNK
414 #define _S_IFLNK  0120000
415 #endif
416
417 #ifndef S_ISLNK
418 #define S_ISLNK(mode) (((mode) & (_S_IFMT)) == (_S_IFLNK))
419 #endif
420
421 #ifndef S_ISBLK
422 #define S_ISBLK(mode) (((mode) & (_S_IFMT)) == (_S_IFBLK))
423 #endif
424
425 #ifndef S_ISCHR
426 #define S_ISCHR(mode) (((mode) & (_S_IFMT)) == (_S_IFCHR))
427 #endif
428
429 #ifndef S_ISSOCK
430 #ifdef _S_IFSOCK
431 #define S_ISSOCK(mode) (((mode) & (_S_IFMT)) == (_S_IFSOCK))
432 #else
433 #define S_ISSOCK(mode) (0)
434 #endif
435 #endif
436
437 #ifndef S_ISFIFO
438 #ifdef _S_IFIFO
439 #define S_ISFIFO(mode) (((mode) & (_S_IFMT)) == (_S_IFIFO))
440 #else
441 #define S_ISFIFO(mode) (0)
442 #endif
443 #endif
444
445 #ifndef S_ISDIR
446 #define S_ISDIR(mode) (((mode) & (_S_IFMT)) == (_S_IFDIR))
447 #endif
448
449 #ifndef S_ISREG
450 #define S_ISREG(mode) (((mode) & (_S_IFMT)) == (_S_IFREG))
451 #endif
452
453
454 #define IS_DEVICE(mode) (S_ISCHR(mode) || S_ISBLK(mode) || S_ISSOCK(mode) || S_ISFIFO(mode))
455
456 #ifndef ACCESSPERMS
457 #define ACCESSPERMS 0777
458 #endif