lib: util: Add file_ploadv().
[metze/samba/wip.git] / lib / util / samba_util.h
1 /* 
2    Unix SMB/CIFS implementation.
3    Utility functions for Samba
4    Copyright (C) Andrew Tridgell 1992-1999
5    Copyright (C) Jelmer Vernooij 2005
6     
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11    
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16    
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 #ifndef _SAMBA_UTIL_H_
22 #define _SAMBA_UTIL_H_
23
24 #ifndef SAMBA_UTIL_CORE_ONLY
25 #include "lib/util/charset/charset.h"
26 #else
27 #include "charset_compat.h"
28 #endif
29
30 #include "lib/util/attr.h"
31
32 /* for TALLOC_CTX */
33 #include <talloc.h>
34
35 /* for struct stat */
36 #include <sys/stat.h>
37
38 /**
39  * @file
40  * @brief Helpful macros
41  */
42
43 struct smbsrv_tcon;
44
45 extern const char *panic_action;
46
47 #include "lib/util/time.h"
48 #include "lib/util/data_blob.h"
49 #include "lib/util/byteorder.h"
50 #include "lib/util/talloc_stack.h"
51 #include "lib/util/talloc_keep_secret.h"
52
53 #ifndef ABS
54 #define ABS(a) ((a)>0?(a):(-(a)))
55 #endif
56
57 #include "lib/util/memory.h"
58 #include "lib/util/discard.h"
59
60 #include "fault.h"
61
62 #include "lib/util/util.h"
63
64 /**
65  * Write backtrace to debug log
66  */
67 _PUBLIC_ void dump_core_setup(const char *progname, const char *logfile);
68
69 /**
70   register a fault handler. 
71   Should only be called once in the execution of smbd.
72 */
73 _PUBLIC_ bool register_fault_handler(const char *name, void (*fault_handler)(int sig));
74
75 #include "lib/util/signal.h" /* Avoid /usr/include/signal.h */
76
77 struct sockaddr;
78
79 _PUBLIC_ int sys_getnameinfo(const struct sockaddr *psa,
80                              int salen,
81                              char *host,
82                              size_t hostlen,
83                              char *service,
84                              size_t servlen,
85                              int flags);
86
87 /* The following definitions come from lib/util/genrand.c  */
88
89 #include "lib/util/genrand.h"
90
91 /**
92   generate a single random uint32_t
93 **/
94 _PUBLIC_ uint32_t generate_random(void);
95
96 /**
97   generate a single random uint64_t
98 **/
99 _PUBLIC_ uint64_t generate_random_u64(void);
100
101 /**
102   very basic password quality checker
103 **/
104 _PUBLIC_ bool check_password_quality(const char *s);
105
106 /**
107  * Generate a random text password (based on printable ascii characters).
108  * This function is designed to provide a password that
109  * meats the complexity requirements of UF_NORMAL_ACCOUNT objects
110  * and they should be human readable and writeable on any keyboard layout.
111  *
112  * Characters used are:
113  * ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,@$%&!?:;<=>()[]~
114  */
115 _PUBLIC_ char *generate_random_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
116
117 /**
118  * Generate a random machine password
119  *
120  * min and max are the number of utf16 characters used
121  * to generate on utf8 compatible password.
122  *
123  * Note: if 'unix charset' is not 'utf8' (the default)
124  * then each utf16 character is only filled with
125  * values from 0x01 to 0x7f (ascii values without 0x00).
126  * This is important as the password neets to be
127  * a valid value as utf8 string and at the same time
128  * a valid value in the 'unix charset'.
129  *
130  * If 'unix charset' is 'utf8' (the default) then
131  * each utf16 character is a random value from 0x0000
132  * 0xFFFF (exluding the surrogate ranges from 0xD800-0xDFFF)
133  * while the translation from CH_UTF16MUNGED
134  * to CH_UTF8 replaces invalid values (see utf16_munged_pull()).
135  *
136  * Note: these passwords may not pass the complexity requirements
137  * for UF_NORMAL_ACCOUNT objects (except krbtgt accounts).
138  */
139 _PUBLIC_ char *generate_random_machine_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
140
141 /**
142  Use the random number generator to generate a random string.
143 **/
144 _PUBLIC_ char *generate_random_str_list(TALLOC_CTX *mem_ctx, size_t len, const char *list);
145
146 /**
147  * Generate a random text string consisting of the specified length.
148  * The returned string will be allocated.
149  *
150  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
151  */
152 _PUBLIC_ char *generate_random_str(TALLOC_CTX *mem_ctx, size_t len);
153
154 /**
155  * Generate an array of unique text strings all of the same length.
156  * The returned strings will be allocated.
157  * Returns NULL if the number of unique combinations cannot be created.
158  *
159  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
160  */
161 _PUBLIC_ char** generate_unique_strs(TALLOC_CTX *mem_ctx, size_t len,
162                                          uint32_t num);
163
164 /* The following definitions come from lib/util/dprintf.c  */
165
166 _PUBLIC_ int d_fprintf(FILE *f, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
167 _PUBLIC_ int d_printf(const char *format, ...) PRINTF_ATTRIBUTE(1,2);
168 _PUBLIC_ void display_set_stderr(void);
169
170 /* The following definitions come from lib/util/util_str.c  */
171
172 bool next_token_talloc(TALLOC_CTX *ctx,
173                         const char **ptr,
174                         char **pp_buff,
175                         const char *sep);
176
177 /**
178  * Get the next token from a string, return false if none found.  Handles
179  * double-quotes.  This version does not trim leading separator characters
180  * before looking for a token.
181  */
182 bool next_token_no_ltrim_talloc(TALLOC_CTX *ctx,
183                         const char **ptr,
184                         char **pp_buff,
185                         const char *sep);
186
187
188 /**
189  Trim the specified elements off the front and back of a string.
190 **/
191 _PUBLIC_ bool trim_string(char *s, const char *front, const char *back);
192
193 /**
194  Find the number of 'c' chars in a string
195 **/
196 _PUBLIC_ _PURE_ size_t count_chars(const char *s, char c);
197
198 /**
199  Routine to get hex characters and turn them into a 16 byte array.
200  the array can be variable length, and any non-hex-numeric
201  characters are skipped.  "0xnn" or "0Xnn" is specially catered
202  for.
203
204  valid examples: "0A5D15"; "0x15, 0x49, 0xa2"; "59\ta9\te3\n"
205
206
207 **/
208 _PUBLIC_ size_t strhex_to_str(char *p, size_t p_len, const char *strhex, size_t strhex_len);
209
210 /** 
211  * Parse a hex string and return a data blob. 
212  */
213 _PUBLIC_ _PURE_ DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex) ;
214
215 /**
216  * Parse a hex dump and return a data blob
217  */
218 _PUBLIC_ _PURE_ DATA_BLOB hexdump_to_data_blob(TALLOC_CTX *mem_ctx, const char *hexdump, size_t len);
219
220 /**
221  * Print a buf in hex. Assumes dst is at least (srclen*2)+1 large.
222  */
223 _PUBLIC_ void hex_encode_buf(char *dst, const uint8_t *src, size_t srclen);
224
225 /**
226  * talloc version of hex_encode_buf()
227  */
228 _PUBLIC_ char *hex_encode_talloc(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len);
229
230 #include "substitute.h"
231
232 /**
233  Unescape a URL encoded string, in place.
234 **/
235 _PUBLIC_ char *rfc1738_unescape(char *buf);
236
237 /**
238  * rfc1738_escape_part 
239  * Returns a static buffer that contains the RFC
240  * 1738 compliant, escaped version of the given url segment. (escapes
241  * unsafe, reserved and % chars) It would mangle the :// in http://,
242  * and mangle paths (because of /).
243  **/
244 _PUBLIC_ char *rfc1738_escape_part(TALLOC_CTX *mem_ctx, const char *url);
245
246 /**
247   varient of strcmp() that handles NULL ptrs
248 **/
249 _PUBLIC_ int strcmp_safe(const char *s1, const char *s2);
250
251 /**
252 return the number of bytes occupied by a buffer in ASCII format
253 the result includes the null termination
254 limited by 'n' bytes
255 **/
256 _PUBLIC_ size_t ascii_len_n(const char *src, size_t n);
257
258 /**
259  Set a boolean variable from the text value stored in the passed string.
260  Returns true in success, false if the passed string does not correctly 
261  represent a boolean.
262 **/
263 _PUBLIC_ bool set_boolean(const char *boolean_string, bool *boolean);
264
265 /**
266  * Parse a string containing a boolean value.
267  *
268  * val will be set to the read value.
269  *
270  * @retval true if a boolean value was parsed, false otherwise.
271  */
272 _PUBLIC_ bool conv_str_bool(const char * str, bool * val);
273
274 /**
275  * Convert a size specification like 16K into an integral number of bytes. 
276  **/
277 _PUBLIC_ bool conv_str_size_error(const char * str, uint64_t * val);
278
279 /**
280  * Parse a uint64_t value from a string
281  *
282  * val will be set to the value read.
283  *
284  * @retval true if parsing was successful, false otherwise
285  */
286 _PUBLIC_ bool conv_str_u64(const char * str, uint64_t * val);
287
288 /**
289 return the number of bytes occupied by a buffer in CH_UTF16 format
290 the result includes the null termination
291 **/
292 _PUBLIC_ size_t utf16_len(const void *buf);
293
294 /**
295 return the number of bytes occupied by a buffer in CH_UTF16 format
296 the result includes the null termination
297 limited by 'n' bytes
298 **/
299 _PUBLIC_ size_t utf16_len_n(const void *src, size_t n);
300 _PUBLIC_ size_t ucs2_align(const void *base_ptr, const void *p, int flags);
301
302 /**
303  * @brief Constant time compare to memory regions.
304  *
305  * @param[in]  s1  The first memory region to compare.
306  *
307  * @param[in]  s2  The second memory region to compare.
308  *
309  * @param[in]  n   The length of the memory to comapre.
310  *
311  * @return 0 when the memory regions are equal, 0 if not.
312  */
313 _PUBLIC_ int memcmp_const_time(const void *s1, const void *s2, size_t n);
314
315 /**
316 Do a case-insensitive, whitespace-ignoring string compare.
317 **/
318 _PUBLIC_ int strwicmp(const char *psz1, const char *psz2);
319
320 /**
321  String replace.
322 **/
323 _PUBLIC_ void string_replace(char *s, char oldc, char newc);
324
325 /**
326  * Compare 2 strings.
327  *
328  * @note The comparison is case-insensitive.
329  **/
330 _PUBLIC_ bool strequal(const char *s1, const char *s2);
331
332 #include "util_strlist.h"
333
334 /* The following definitions come from lib/util/util_strlist_v3.c  */
335
336 /**
337  * Needed for making an "unconst" list "const"
338  */
339 _PUBLIC_ const char **const_str_list(char **list);
340
341 /**
342  * str_list_make, v3 version. The v4 version does not
343  * look at quoted strings with embedded blanks, so
344  * do NOT merge this function please!
345  */
346 char **str_list_make_v3(TALLOC_CTX *mem_ctx, const char *string,
347         const char *sep);
348
349
350 const char **str_list_make_v3_const(TALLOC_CTX *mem_ctx,
351                                     const char *string,
352                                     const char *sep);
353
354 /* The following definitions come from lib/util/util_file.c  */
355
356
357 /**
358  * Read one line (data until next newline or eof) and allocate it 
359  */
360 _PUBLIC_ char *afdgets(int fd, TALLOC_CTX *mem_ctx, size_t hint);
361
362 char *fgets_slash(TALLOC_CTX *mem_ctx, char *s2, size_t maxlen, FILE *f);
363
364 /**
365 load a file into memory from a fd.
366 **/
367 _PUBLIC_ char *fd_load(int fd, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
368
369
370 char **file_lines_parse(char *p, size_t size, int *numlines, TALLOC_CTX *mem_ctx);
371
372 /**
373 load a file into memory
374 **/
375 _PUBLIC_ char *file_load(const char *fname, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
376
377 /**
378 load a file into memory and return an array of pointers to lines in the file
379 must be freed with talloc_free(). 
380 **/
381 _PUBLIC_ char **file_lines_load(const char *fname, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
382
383 /**
384 load a fd into memory and return an array of pointers to lines in the file
385 must be freed with talloc_free(). If convert is true calls unix_to_dos on
386 the list.
387 **/
388 _PUBLIC_ char **fd_lines_load(int fd, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
389
390 _PUBLIC_ bool file_save_mode(const char *fname, const void *packet,
391                              size_t length, mode_t mode);
392 /**
393   save a lump of data into a file. Mostly used for debugging 
394 */
395 _PUBLIC_ bool file_save(const char *fname, const void *packet, size_t length);
396 _PUBLIC_ int vfdprintf(int fd, const char *format, va_list ap) PRINTF_ATTRIBUTE(2,0);
397 _PUBLIC_ int fdprintf(int fd, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
398
399 /*
400   compare two files, return true if the two files have the same content
401  */
402 bool file_compare(const char *path1, const char *path2);
403
404 /*
405   load from a pipe into memory.
406  */
407 char *file_pload(const char *syscmd, size_t *size);
408 char *file_ploadv(char * const argl[], size_t *size);
409
410 /* The following definitions come from lib/util/util.c  */
411
412
413 /**
414  Find a suitable temporary directory. The result should be copied immediately
415  as it may be overwritten by a subsequent call.
416 **/
417 _PUBLIC_ const char *tmpdir(void);
418
419 /**
420  * Creates and immediately unlinks a file. Returns open file descriptor.
421  **/
422 _PUBLIC_ int create_unlink_tmp(const char *dir);
423
424 /**
425  Check if a file exists - call vfs_file_exist for samba files.
426 **/
427 _PUBLIC_ bool file_exist(const char *fname);
428
429 /**
430  Check a files mod time.
431 **/
432 _PUBLIC_ time_t file_modtime(const char *fname);
433
434 /**
435  Check if a directory exists.
436 **/
437 _PUBLIC_ bool directory_exist(const char *dname);
438
439 /**
440  Check file permissions.
441 **/
442 _PUBLIC_ bool file_check_permissions(const char *fname,
443                                      uid_t uid,
444                                      mode_t file_perms,
445                                      struct stat *pst);
446
447 /**
448  * Try to create the specified directory if it didn't exist.
449  *
450  * @retval true if the directory already existed and has the right permissions 
451  * or was successfully created.
452  */
453 _PUBLIC_ bool directory_create_or_exist(const char *dname, mode_t dir_perms);
454
455 _PUBLIC_ bool directory_create_or_exist_strict(const char *dname,
456                                                uid_t uid,
457                                                mode_t dir_perms);
458
459 #include "blocking.h"
460
461 /**
462  Sleep for a specified number of milliseconds.
463 **/
464 _PUBLIC_ void smb_msleep(unsigned int t);
465
466 /**
467  Get my own name, return in talloc'ed storage.
468 **/
469 _PUBLIC_ char* get_myname(TALLOC_CTX *mem_ctx);
470
471 /**
472  Check if a process exists. Does this work on all unixes?
473 **/
474 _PUBLIC_ bool process_exists_by_pid(pid_t pid);
475
476 /**
477  Simple routine to do POSIX file locking. Cruft in NFS and 64->32 bit mapping
478  is dealt with in posix.c
479 **/
480 _PUBLIC_ bool fcntl_lock(int fd, int op, off_t offset, off_t count, int type);
481
482 /**
483  * Write dump of binary data to the log file.
484  *
485  * The data is only written if the log level is at least level.
486  * 16 zero bytes in a row are omitted
487  */
488 _PUBLIC_ void dump_data_skip_zeros(int level, const uint8_t *buf, int len);
489
490 /**
491  malloc that aborts with smb_panic on fail or zero size.
492 **/
493 _PUBLIC_ void *smb_xmalloc(size_t size);
494
495 /**
496  Memdup with smb_panic on fail.
497 **/
498 _PUBLIC_ void *smb_xmemdup(const void *p, size_t size);
499
500 /**
501  strdup that aborts on malloc fail.
502 **/
503 _PUBLIC_ char *smb_xstrdup(const char *s);
504
505 char *smb_xstrndup(const char *s, size_t n);
506
507 /**
508  Like strdup but for memory.
509 **/
510 _PUBLIC_ void *smb_memdup(const void *p, size_t size);
511
512 /**
513  * Write a password to the log file.
514  *
515  * @note Only actually does something if DEBUG_PASSWORD was defined during 
516  * compile-time.
517  */
518 _PUBLIC_ void dump_data_pw(const char *msg, const uint8_t * data, size_t len);
519
520 /**
521  * see if a range of memory is all zero. A NULL pointer is considered
522  * to be all zero 
523  */
524 _PUBLIC_ bool all_zero(const uint8_t *ptr, size_t size);
525
526 /**
527   realloc an array, checking for integer overflow in the array size
528 */
529 _PUBLIC_ void *realloc_array(void *ptr, size_t el_size, unsigned count, bool free_on_fail);
530
531 void *malloc_array(size_t el_size, unsigned int count);
532
533 void *memalign_array(size_t el_size, size_t align, unsigned int count);
534
535 void *calloc_array(size_t size, size_t nmemb);
536
537 /* The following definitions come from lib/util/fsusage.c  */
538
539
540 /**
541  * Retrieve amount of free disk space.
542  * this does all of the system specific guff to get the free disk space.
543  * It is derived from code in the GNU fileutils package, but has been
544  * considerably mangled for use here 
545  *
546  * results are returned in *dfree and *dsize, in 512 byte units
547 */
548 _PUBLIC_ int sys_fsusage(const char *path, uint64_t *dfree, uint64_t *dsize);
549
550 /* The following definitions come from lib/util/ms_fnmatch.c  */
551
552
553 /**
554  * @file
555  * @brief MS-style Filename matching
556  */
557
558 int ms_fnmatch_protocol(const char *pattern, const char *string, int protocol,
559                         bool is_case_sensitive);
560
561 /** a generic fnmatch function - uses for non-CIFS pattern matching */
562 int gen_fnmatch(const char *pattern, const char *string);
563
564 #include "idtree.h"
565 #include "idtree_random.h"
566
567 #include "become_daemon.h"
568
569 /**
570  * @brief Get a password from the console.
571  *
572  * You should make sure that the buffer is an empty string!
573  *
574  * You can also use this function to ask for a username. Then you can fill the
575  * buffer with the username and it is shows to the users. If the users just
576  * presses enter the buffer will be untouched.
577  *
578  * @code
579  *   char username[128];
580  *
581  *   snprintf(username, sizeof(username), "john");
582  *
583  *   smb_getpass("Username:", username, sizeof(username), 1, 0);
584  * @endcode
585  *
586  * The prompt will look like this:
587  *
588  *   Username: [john]
589  *
590  * If you press enter then john is used as the username, or you can type it in
591  * to change it.
592  *
593  * @param[in]  prompt   The prompt to show to ask for the password.
594  *
595  * @param[out] buf    The buffer the password should be stored. It NEEDS to be
596  *                    empty or filled out.
597  *
598  * @param[in]  len      The length of the buffer.
599  *
600  * @param[in]  echo     Should we echo what you type.
601  *
602  * @param[in]  verify   Should we ask for the password twice.
603  *
604  * @return              0 on success, -1 on error.
605  */
606 _PUBLIC_ int samba_getpass(const char *prompt, char *buf, size_t len,
607                            bool echo, bool verify);
608
609 /**
610  * Load a ini-style file.
611  */
612 bool pm_process( const char *fileName,
613                  bool (*sfunc)(const char *, void *),
614                  bool (*pfunc)(const char *, const char *, void *),
615                                  void *userdata);
616 bool pm_process_with_flags(const char *filename,
617                            bool allow_empty_values,
618                            bool (*sfunc)(const char *section, void *private_data),
619                            bool (*pfunc)(const char *name, const char *value,
620                                          void *private_data),
621                            void *private_data);
622
623 void print_asc(int level, const uint8_t *buf,int len);
624 void print_asc_cb(const uint8_t *buf, int len,
625                   void (*cb)(const char *buf, void *private_data),
626                   void *private_data);
627
628 /**
629  * Add an id to an array of ids.
630  *
631  * num should be a pointer to an integer that holds the current
632  * number of elements in ids. It will be updated by this function.
633  */
634
635 bool add_uid_to_array_unique(TALLOC_CTX *mem_ctx, uid_t uid,
636                              uid_t **uids, uint32_t *num_uids);
637 bool add_gid_to_array_unique(TALLOC_CTX *mem_ctx, gid_t gid,
638                              gid_t **gids, uint32_t *num_gids);
639
640 /**
641  * Allocate anonymous shared memory of the given size
642  */
643 void *anonymous_shared_allocate(size_t bufsz);
644 void *anonymous_shared_resize(void *ptr, size_t new_size, bool maymove);
645 void anonymous_shared_free(void *ptr);
646
647 /*
648   run a command as a child process, with a timeout.
649
650   any stdout/stderr from the child will appear in the Samba logs with
651   the specified log levels
652
653   If callback is set then the callback is called on completion
654   with the return code from the command
655  */
656 struct tevent_context;
657 struct tevent_req;
658 struct tevent_req *samba_runcmd_send(TALLOC_CTX *mem_ctx,
659                                      struct tevent_context *ev,
660                                      struct timeval endtime,
661                                      int stdout_log_level,
662                                      int stderr_log_level,
663                                      const char * const *argv0, ...);
664 int samba_runcmd_recv(struct tevent_req *req, int *perrno);
665 int samba_runcmd_export_stdin(struct tevent_req *req);
666
667 #ifdef DEVELOPER
668 void samba_start_debugger(void);
669 #endif
670
671 /*
672  * Samba code should use samba_tevent_context_init() instead of
673  * tevent_context_init() in order to get the debug output.
674  */
675 struct tevent_context *samba_tevent_context_init(TALLOC_CTX *mem_ctx);
676
677 /*
678  * if same samba code needs to use a specific tevent backend
679  * it can use something like this:
680  *
681  * samba_tevent_set_debug(ev, "pysmb_tevent");
682  */
683 void samba_tevent_set_debug(struct tevent_context *ev, const char *name);
684
685 #endif /* _SAMBA_UTIL_H_ */