r20091: remove blank lines at the end of text lines loaded from a file
[samba.git] / source4 / lib / util / util_file.c
1 /*
2  * Unix SMB/CIFS implementation.
3  * SMB parameters and setup
4  * Copyright (C) Andrew Tridgell 1992-1998 Modified by Jeremy Allison 1995.
5  *
6  * Added afdgets() Jelmer Vernooij 2005
7  * 
8  * This program is free software; you can redistribute it and/or modify it under
9  * the terms of the GNU General Public License as published by the Free
10  * Software Foundation; either version 2 of the License, or (at your option)
11  * any later version.
12  * 
13  * This program is distributed in the hope that it will be useful, but WITHOUT
14  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
15  * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License for
16  * more details.
17  * 
18  * You should have received a copy of the GNU General Public License along with
19  * this program; if not, write to the Free Software Foundation, Inc., 675
20  * Mass Ave, Cambridge, MA 02139, USA.
21  */
22
23 #include "includes.h"
24 #include "system/shmem.h"
25 #include "system/filesys.h"
26
27 /**
28  * @file
29  * @brief File-related utility functions
30  */
31
32 /**
33 read a line from a file with possible \ continuation chars. 
34 Blanks at the start or end of a line are stripped.
35 The string will be allocated if s2 is NULL
36 **/
37 _PUBLIC_ char *fgets_slash(char *s2,int maxlen,XFILE *f)
38 {
39   char *s=s2;
40   int len = 0;
41   int c;
42   BOOL start_of_line = True;
43
44   if (x_feof(f))
45     return(NULL);
46
47   if (maxlen <2) return(NULL);
48
49   if (!s2)
50     {
51       maxlen = MIN(maxlen,8);
52       s = (char *)malloc(maxlen);
53     }
54
55   if (!s) return(NULL);
56
57   *s = 0;
58
59   while (len < maxlen-1)
60     {
61       c = x_getc(f);
62       switch (c)
63         {
64         case '\r':
65           break;
66         case '\n':
67           while (len > 0 && s[len-1] == ' ')
68             {
69               s[--len] = 0;
70             }
71           if (len > 0 && s[len-1] == '\\')
72             {
73               s[--len] = 0;
74               start_of_line = True;
75               break;
76             }
77           return(s);
78         case EOF:
79           if (len <= 0 && !s2) 
80             SAFE_FREE(s);
81           return(len>0?s:NULL);
82         case ' ':
83           if (start_of_line)
84             break;
85           /* fall through */
86         default:
87           start_of_line = False;
88           s[len++] = c;
89           s[len] = 0;
90         }
91       if (!s2 && len > maxlen-3)
92         {
93           char *t;
94           
95           maxlen *= 2;
96           t = realloc_p(s, char, maxlen);
97           if (!t) {
98             DEBUG(0,("fgets_slash: failed to expand buffer!\n"));
99             SAFE_FREE(s);
100             return(NULL);
101           } else s = t;
102         }
103     }
104   return(s);
105 }
106
107 /**
108  * Read one line (data until next newline or eof) and allocate it 
109  */
110 _PUBLIC_ char *afdgets(int fd, TALLOC_CTX *mem_ctx, size_t hint)
111 {
112         char *data = NULL;
113         ssize_t alloc_size = 0, offset = 0, ret;
114         int p;
115
116         if (hint <= 0) hint = 0x100;
117
118         do {
119                 alloc_size += hint;
120
121                 data = talloc_realloc(mem_ctx, data, char, alloc_size);
122
123                 if (!data)
124                         return NULL;
125
126                 ret = read(fd, data + offset, hint);
127
128                 if (ret == 0) {
129                         return NULL;
130                 }
131
132                 if (ret == -1) {
133                         talloc_free(data);
134                         return NULL;
135                 }
136
137                 /* Find newline */
138                 for (p = 0; p < ret; p++) {
139                         if (data[offset + p] == '\n')
140                                 break;
141                 }
142
143                 if (p < ret) {
144                         data[offset + p] = '\0';
145
146                         /* Go back to position of newline */
147                         lseek(fd, p - ret + 1, SEEK_CUR);
148                         return data;
149                 }
150
151                 offset += ret;
152
153         } while (ret == hint);
154
155         data[offset] = '\0';
156
157         return data;
158 }
159
160
161 /**
162 load a file into memory from a fd.
163 **/
164 _PUBLIC_ char *fd_load(int fd, size_t *size, TALLOC_CTX *mem_ctx)
165 {
166         struct stat sbuf;
167         char *p;
168
169         if (fstat(fd, &sbuf) != 0) return NULL;
170
171         p = (char *)talloc_size(mem_ctx, sbuf.st_size+1);
172         if (!p) return NULL;
173
174         if (read(fd, p, sbuf.st_size) != sbuf.st_size) {
175                 talloc_free(p);
176                 return NULL;
177         }
178         p[sbuf.st_size] = 0;
179
180         if (size) *size = sbuf.st_size;
181
182         return p;
183 }
184
185 /**
186 load a file into memory
187 **/
188 _PUBLIC_ char *file_load(const char *fname, size_t *size, TALLOC_CTX *mem_ctx)
189 {
190         int fd;
191         char *p;
192
193         if (!fname || !*fname) return NULL;
194         
195         fd = open(fname,O_RDONLY);
196         if (fd == -1) return NULL;
197
198         p = fd_load(fd, size, mem_ctx);
199
200         close(fd);
201
202         return p;
203 }
204
205
206 /**
207 mmap (if possible) or read a file
208 **/
209 _PUBLIC_ void *map_file(const char *fname, size_t size)
210 {
211         size_t s2 = 0;
212         void *p = NULL;
213 #ifdef HAVE_MMAP
214         int fd;
215         fd = open(fname, O_RDONLY, 0);
216         if (fd == -1) {
217                 DEBUG(2,("Failed to load %s - %s\n", fname, strerror(errno)));
218                 return NULL;
219         }
220         p = mmap(NULL, size, PROT_READ, MAP_SHARED|MAP_FILE, fd, 0);
221         close(fd);
222         if (p == MAP_FAILED) {
223                 DEBUG(1,("Failed to mmap %s - %s\n", fname, strerror(errno)));
224                 return NULL;
225         }
226 #endif
227         if (!p) {
228                 p = file_load(fname, &s2, talloc_autofree_context());
229                 if (!p) return NULL;
230                 if (s2 != size) {
231                         DEBUG(1,("incorrect size for %s - got %d expected %d\n",
232                                  fname, (int)s2, (int)size));
233                         talloc_free(p);
234                         return NULL;
235                 }
236         }
237
238         return p;
239 }
240
241
242 /**
243 parse a buffer into lines
244 'p' will be freed on error, and otherwise will be made a child of the returned array
245 **/
246 static char **file_lines_parse(char *p, size_t size, int *numlines, TALLOC_CTX *mem_ctx)
247 {
248         int i;
249         char *s, **ret;
250
251         if (!p) return NULL;
252
253         for (s = p, i=0; s < p+size; s++) {
254                 if (s[0] == '\n') i++;
255         }
256
257         ret = talloc_array(mem_ctx, char *, i+2);
258         if (!ret) {
259                 talloc_free(p);
260                 return NULL;
261         }       
262         
263         talloc_steal(ret, p);
264         
265         memset(ret, 0, sizeof(ret[0])*(i+2));
266
267         ret[0] = p;
268         for (s = p, i=0; s < p+size; s++) {
269                 if (s[0] == '\n') {
270                         s[0] = 0;
271                         i++;
272                         ret[i] = s+1;
273                 }
274                 if (s[0] == '\r') s[0] = 0;
275         }
276
277         /* remove any blank lines at the end */
278         while (i > 0 && ret[i-1][0] == 0) {
279                 i--;
280         }
281
282         if (numlines) *numlines = i;
283
284         return ret;
285 }
286
287
288 /**
289 load a file into memory and return an array of pointers to lines in the file
290 must be freed with talloc_free(). 
291 **/
292 _PUBLIC_ char **file_lines_load(const char *fname, int *numlines, TALLOC_CTX *mem_ctx)
293 {
294         char *p;
295         size_t size;
296
297         p = file_load(fname, &size, mem_ctx);
298         if (!p) return NULL;
299
300         return file_lines_parse(p, size, numlines, mem_ctx);
301 }
302
303 /**
304 load a fd into memory and return an array of pointers to lines in the file
305 must be freed with talloc_free(). If convert is true calls unix_to_dos on
306 the list.
307 **/
308 _PUBLIC_ char **fd_lines_load(int fd, int *numlines, TALLOC_CTX *mem_ctx)
309 {
310         char *p;
311         size_t size;
312
313         p = fd_load(fd, &size, mem_ctx);
314         if (!p) return NULL;
315
316         return file_lines_parse(p, size, numlines, mem_ctx);
317 }
318
319
320 /**
321 take a list of lines and modify them to produce a list where \ continues
322 a line
323 **/
324 _PUBLIC_ void file_lines_slashcont(char **lines)
325 {
326         int i, j;
327
328         for (i=0; lines[i];) {
329                 int len = strlen(lines[i]);
330                 if (lines[i][len-1] == '\\') {
331                         lines[i][len-1] = ' ';
332                         if (lines[i+1]) {
333                                 char *p = &lines[i][len];
334                                 while (p < lines[i+1]) *p++ = ' ';
335                                 for (j = i+1; lines[j]; j++) lines[j] = lines[j+1];
336                         }
337                 } else {
338                         i++;
339                 }
340         }
341 }
342
343 /**
344   save a lump of data into a file. Mostly used for debugging 
345 */
346 _PUBLIC_ BOOL file_save(const char *fname, const void *packet, size_t length)
347 {
348         int fd;
349         fd = open(fname, O_WRONLY|O_CREAT|O_TRUNC, 0644);
350         if (fd == -1) {
351                 return False;
352         }
353         if (write(fd, packet, length) != (size_t)length) {
354                 return False;
355         }
356         close(fd);
357         return True;
358 }
359
360 _PUBLIC_ int vfdprintf(int fd, const char *format, va_list ap) _PRINTF_ATTRIBUTE(2,0)
361 {
362         char *p;
363         int len, ret;
364         va_list ap2;
365
366         va_copy(ap2, ap);
367
368         len = vasprintf(&p, format, ap2);
369         if (len <= 0) return len;
370         ret = write(fd, p, len);
371         SAFE_FREE(p);
372         return ret;
373 }
374
375 _PUBLIC_ int fdprintf(int fd, const char *format, ...) _PRINTF_ATTRIBUTE(2,3)
376 {
377         va_list ap;
378         int ret;
379
380         va_start(ap, format);
381         ret = vfdprintf(fd, format, ap);
382         va_end(ap);
383         return ret;
384 }
385
386
387 /*
388   try to determine if the filesystem supports large files
389 */
390 _PUBLIC_ bool large_file_support(const char *path)
391 {
392         int fd;
393         ssize_t ret;
394         char c;
395
396         fd = open(path, O_RDWR|O_CREAT, 0600);
397         unlink(path);
398         if (fd == -1) {
399                 /* have to assume large files are OK */
400                 return true;
401         }
402         ret = pread(fd, &c, 1, ((uint64_t)1)<<32);
403         close(fd);
404         return ret == 0;
405 }