20adae39bcffa6a24fad56e15610f7c277a1e3db
[sfrench/samba-autobuild/.git] / lib / util / samba_util.h
1 /* 
2    Unix SMB/CIFS implementation.
3    Utility functions for Samba
4    Copyright (C) Andrew Tridgell 1992-1999
5    Copyright (C) Jelmer Vernooij 2005
6     
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11    
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16    
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 #ifndef _SAMBA_UTIL_H_
22 #define _SAMBA_UTIL_H_
23
24 #ifndef SAMBA_UTIL_CORE_ONLY
25 #include "lib/util/charset/charset.h"
26 #else
27 #include "charset_compat.h"
28 #endif
29
30 #include "lib/util/attr.h"
31
32 /* for TALLOC_CTX */
33 #include <talloc.h>
34
35 /* for struct stat */
36 #include <sys/stat.h>
37
38 /**
39  * @file
40  * @brief Helpful macros
41  */
42
43 struct smbsrv_tcon;
44
45 extern const char *panic_action;
46
47 #include "lib/util/time.h"
48 #include "lib/util/data_blob.h"
49 #include "lib/util/byteorder.h"
50 #include "lib/util/talloc_stack.h"
51
52 #ifndef ABS
53 #define ABS(a) ((a)>0?(a):(-(a)))
54 #endif
55
56 #include "lib/util/memory.h"
57 #include "lib/util/discard.h"
58
59 #include "fault.h"
60
61 #include "lib/util/util.h"
62
63 /**
64  * Write backtrace to debug log
65  */
66 _PUBLIC_ void dump_core_setup(const char *progname, const char *logfile);
67
68 /**
69   register a fault handler. 
70   Should only be called once in the execution of smbd.
71 */
72 _PUBLIC_ bool register_fault_handler(const char *name, void (*fault_handler)(int sig));
73
74 #include "lib/util/signal.h" /* Avoid /usr/include/signal.h */
75
76 struct sockaddr;
77
78 _PUBLIC_ int sys_getnameinfo(const struct sockaddr *psa,
79                              int salen,
80                              char *host,
81                              size_t hostlen,
82                              char *service,
83                              size_t servlen,
84                              int flags);
85
86 /* The following definitions come from lib/util/genrand.c  */
87
88 #include "lib/util/genrand.h"
89
90 /**
91   generate a single random uint32_t
92 **/
93 _PUBLIC_ uint32_t generate_random(void);
94
95 /**
96   generate a single random uint64_t
97 **/
98 _PUBLIC_ uint64_t generate_random_u64(void);
99
100 /**
101   very basic password quality checker
102 **/
103 _PUBLIC_ bool check_password_quality(const char *s);
104
105 /**
106  * Generate a random text password (based on printable ascii characters).
107  * This function is designed to provide a password that
108  * meats the complexity requirements of UF_NORMAL_ACCOUNT objects
109  * and they should be human readable and writeable on any keyboard layout.
110  *
111  * Characters used are:
112  * ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,@$%&!?:;<=>()[]~
113  */
114 _PUBLIC_ char *generate_random_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
115
116 /**
117  * Generate a random machine password
118  *
119  * min and max are the number of utf16 characters used
120  * to generate on utf8 compatible password.
121  *
122  * Note: if 'unix charset' is not 'utf8' (the default)
123  * then each utf16 character is only filled with
124  * values from 0x01 to 0x7f (ascii values without 0x00).
125  * This is important as the password neets to be
126  * a valid value as utf8 string and at the same time
127  * a valid value in the 'unix charset'.
128  *
129  * If 'unix charset' is 'utf8' (the default) then
130  * each utf16 character is a random value from 0x0000
131  * 0xFFFF (exluding the surrogate ranges from 0xD800-0xDFFF)
132  * while the translation from CH_UTF16MUNGED
133  * to CH_UTF8 replaces invalid values (see utf16_munged_pull()).
134  *
135  * Note: these passwords may not pass the complexity requirements
136  * for UF_NORMAL_ACCOUNT objects (except krbtgt accounts).
137  */
138 _PUBLIC_ char *generate_random_machine_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
139
140 /**
141  Use the random number generator to generate a random string.
142 **/
143 _PUBLIC_ char *generate_random_str_list(TALLOC_CTX *mem_ctx, size_t len, const char *list);
144
145 /**
146  * Generate a random text string consisting of the specified length.
147  * The returned string will be allocated.
148  *
149  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
150  */
151 _PUBLIC_ char *generate_random_str(TALLOC_CTX *mem_ctx, size_t len);
152
153 /**
154  * Generate an array of unique text strings all of the same length.
155  * The returned strings will be allocated.
156  * Returns NULL if the number of unique combinations cannot be created.
157  *
158  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
159  */
160 _PUBLIC_ char** generate_unique_strs(TALLOC_CTX *mem_ctx, size_t len,
161                                          uint32_t num);
162
163 /* The following definitions come from lib/util/dprintf.c  */
164
165 _PUBLIC_ int d_fprintf(FILE *f, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
166 _PUBLIC_ int d_printf(const char *format, ...) PRINTF_ATTRIBUTE(1,2);
167 _PUBLIC_ void display_set_stderr(void);
168
169 /* The following definitions come from lib/util/util_str.c  */
170
171 bool next_token_talloc(TALLOC_CTX *ctx,
172                         const char **ptr,
173                         char **pp_buff,
174                         const char *sep);
175
176 /**
177  * Get the next token from a string, return false if none found.  Handles
178  * double-quotes.  This version does not trim leading separator characters
179  * before looking for a token.
180  */
181 bool next_token_no_ltrim_talloc(TALLOC_CTX *ctx,
182                         const char **ptr,
183                         char **pp_buff,
184                         const char *sep);
185
186
187 /**
188  Trim the specified elements off the front and back of a string.
189 **/
190 _PUBLIC_ bool trim_string(char *s, const char *front, const char *back);
191
192 /**
193  Find the number of 'c' chars in a string
194 **/
195 _PUBLIC_ _PURE_ size_t count_chars(const char *s, char c);
196
197 /**
198  Routine to get hex characters and turn them into a 16 byte array.
199  the array can be variable length, and any non-hex-numeric
200  characters are skipped.  "0xnn" or "0Xnn" is specially catered
201  for.
202
203  valid examples: "0A5D15"; "0x15, 0x49, 0xa2"; "59\ta9\te3\n"
204
205
206 **/
207 _PUBLIC_ size_t strhex_to_str(char *p, size_t p_len, const char *strhex, size_t strhex_len);
208
209 /** 
210  * Parse a hex string and return a data blob. 
211  */
212 _PUBLIC_ _PURE_ DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex) ;
213
214 /**
215  * Parse a hex dump and return a data blob
216  */
217 _PUBLIC_ _PURE_ DATA_BLOB hexdump_to_data_blob(TALLOC_CTX *mem_ctx, const char *hexdump, size_t len);
218
219 /**
220  * Print a buf in hex. Assumes dst is at least (srclen*2)+1 large.
221  */
222 _PUBLIC_ void hex_encode_buf(char *dst, const uint8_t *src, size_t srclen);
223
224 /**
225  * talloc version of hex_encode_buf()
226  */
227 _PUBLIC_ char *hex_encode_talloc(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len);
228
229 #include "substitute.h"
230
231 /**
232  Unescape a URL encoded string, in place.
233 **/
234 _PUBLIC_ char *rfc1738_unescape(char *buf);
235
236 /**
237  * rfc1738_escape_part 
238  * Returns a static buffer that contains the RFC
239  * 1738 compliant, escaped version of the given url segment. (escapes
240  * unsafe, reserved and % chars) It would mangle the :// in http://,
241  * and mangle paths (because of /).
242  **/
243 _PUBLIC_ char *rfc1738_escape_part(TALLOC_CTX *mem_ctx, const char *url);
244
245 /**
246   varient of strcmp() that handles NULL ptrs
247 **/
248 _PUBLIC_ int strcmp_safe(const char *s1, const char *s2);
249
250 /**
251 return the number of bytes occupied by a buffer in ASCII format
252 the result includes the null termination
253 limited by 'n' bytes
254 **/
255 _PUBLIC_ size_t ascii_len_n(const char *src, size_t n);
256
257 /**
258  Set a boolean variable from the text value stored in the passed string.
259  Returns true in success, false if the passed string does not correctly 
260  represent a boolean.
261 **/
262 _PUBLIC_ bool set_boolean(const char *boolean_string, bool *boolean);
263
264 /**
265  * Parse a string containing a boolean value.
266  *
267  * val will be set to the read value.
268  *
269  * @retval true if a boolean value was parsed, false otherwise.
270  */
271 _PUBLIC_ bool conv_str_bool(const char * str, bool * val);
272
273 /**
274  * Convert a size specification like 16K into an integral number of bytes. 
275  **/
276 _PUBLIC_ bool conv_str_size_error(const char * str, uint64_t * val);
277
278 /**
279  * Parse a uint64_t value from a string
280  *
281  * val will be set to the value read.
282  *
283  * @retval true if parsing was successful, false otherwise
284  */
285 _PUBLIC_ bool conv_str_u64(const char * str, uint64_t * val);
286
287 /**
288 return the number of bytes occupied by a buffer in CH_UTF16 format
289 the result includes the null termination
290 **/
291 _PUBLIC_ size_t utf16_len(const void *buf);
292
293 /**
294 return the number of bytes occupied by a buffer in CH_UTF16 format
295 the result includes the null termination
296 limited by 'n' bytes
297 **/
298 _PUBLIC_ size_t utf16_len_n(const void *src, size_t n);
299 _PUBLIC_ size_t ucs2_align(const void *base_ptr, const void *p, int flags);
300
301 /**
302  * @brief Constant time compare to memory regions.
303  *
304  * @param[in]  s1  The first memory region to compare.
305  *
306  * @param[in]  s2  The second memory region to compare.
307  *
308  * @param[in]  n   The length of the memory to comapre.
309  *
310  * @return 0 when the memory regions are equal, 0 if not.
311  */
312 _PUBLIC_ int memcmp_const_time(const void *s1, const void *s2, size_t n);
313
314 /**
315 Do a case-insensitive, whitespace-ignoring string compare.
316 **/
317 _PUBLIC_ int strwicmp(const char *psz1, const char *psz2);
318
319 /**
320  String replace.
321 **/
322 _PUBLIC_ void string_replace(char *s, char oldc, char newc);
323
324 /**
325  * Compare 2 strings.
326  *
327  * @note The comparison is case-insensitive.
328  **/
329 _PUBLIC_ bool strequal(const char *s1, const char *s2);
330
331 #include "util_strlist.h"
332
333 /* The following definitions come from lib/util/util_strlist_v3.c  */
334
335 /**
336  * Needed for making an "unconst" list "const"
337  */
338 _PUBLIC_ const char **const_str_list(char **list);
339
340 /**
341  * str_list_make, v3 version. The v4 version does not
342  * look at quoted strings with embedded blanks, so
343  * do NOT merge this function please!
344  */
345 char **str_list_make_v3(TALLOC_CTX *mem_ctx, const char *string,
346         const char *sep);
347
348
349 const char **str_list_make_v3_const(TALLOC_CTX *mem_ctx,
350                                     const char *string,
351                                     const char *sep);
352
353 /* The following definitions come from lib/util/util_file.c  */
354
355
356 /**
357  * Read one line (data until next newline or eof) and allocate it 
358  */
359 _PUBLIC_ char *afdgets(int fd, TALLOC_CTX *mem_ctx, size_t hint);
360
361 char *fgets_slash(TALLOC_CTX *mem_ctx, char *s2, size_t maxlen, FILE *f);
362
363 /**
364 load a file into memory from a fd.
365 **/
366 _PUBLIC_ char *fd_load(int fd, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
367
368
369 char **file_lines_parse(char *p, size_t size, int *numlines, TALLOC_CTX *mem_ctx);
370
371 /**
372 load a file into memory
373 **/
374 _PUBLIC_ char *file_load(const char *fname, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
375
376 /**
377 load a file into memory and return an array of pointers to lines in the file
378 must be freed with talloc_free(). 
379 **/
380 _PUBLIC_ char **file_lines_load(const char *fname, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
381
382 /**
383 load a fd into memory and return an array of pointers to lines in the file
384 must be freed with talloc_free(). If convert is true calls unix_to_dos on
385 the list.
386 **/
387 _PUBLIC_ char **fd_lines_load(int fd, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
388
389 _PUBLIC_ bool file_save_mode(const char *fname, const void *packet,
390                              size_t length, mode_t mode);
391 /**
392   save a lump of data into a file. Mostly used for debugging 
393 */
394 _PUBLIC_ bool file_save(const char *fname, const void *packet, size_t length);
395 _PUBLIC_ int vfdprintf(int fd, const char *format, va_list ap) PRINTF_ATTRIBUTE(2,0);
396 _PUBLIC_ int fdprintf(int fd, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
397
398 /*
399   compare two files, return true if the two files have the same content
400  */
401 bool file_compare(const char *path1, const char *path2);
402
403 /*
404   load from a pipe into memory.
405  */
406 char *file_pload(const char *syscmd, size_t *size);
407
408 /* The following definitions come from lib/util/util.c  */
409
410
411 /**
412  Find a suitable temporary directory. The result should be copied immediately
413  as it may be overwritten by a subsequent call.
414 **/
415 _PUBLIC_ const char *tmpdir(void);
416
417 /**
418  * Creates and immediately unlinks a file. Returns open file descriptor.
419  **/
420 _PUBLIC_ int create_unlink_tmp(const char *dir);
421
422 /**
423  Check if a file exists - call vfs_file_exist for samba files.
424 **/
425 _PUBLIC_ bool file_exist(const char *fname);
426
427 /**
428  Check a files mod time.
429 **/
430 _PUBLIC_ time_t file_modtime(const char *fname);
431
432 /**
433  Check if a directory exists.
434 **/
435 _PUBLIC_ bool directory_exist(const char *dname);
436
437 /**
438  Check file permissions.
439 **/
440 _PUBLIC_ bool file_check_permissions(const char *fname,
441                                      uid_t uid,
442                                      mode_t file_perms,
443                                      struct stat *pst);
444
445 /**
446  * Try to create the specified directory if it didn't exist.
447  *
448  * @retval true if the directory already existed and has the right permissions 
449  * or was successfully created.
450  */
451 _PUBLIC_ bool directory_create_or_exist(const char *dname, mode_t dir_perms);
452
453 _PUBLIC_ bool directory_create_or_exist_strict(const char *dname,
454                                                uid_t uid,
455                                                mode_t dir_perms);
456
457 #include "blocking.h"
458
459 /**
460  Sleep for a specified number of milliseconds.
461 **/
462 _PUBLIC_ void smb_msleep(unsigned int t);
463
464 /**
465  Get my own name, return in talloc'ed storage.
466 **/
467 _PUBLIC_ char* get_myname(TALLOC_CTX *mem_ctx);
468
469 /**
470  Check if a process exists. Does this work on all unixes?
471 **/
472 _PUBLIC_ bool process_exists_by_pid(pid_t pid);
473
474 /**
475  Simple routine to do POSIX file locking. Cruft in NFS and 64->32 bit mapping
476  is dealt with in posix.c
477 **/
478 _PUBLIC_ bool fcntl_lock(int fd, int op, off_t offset, off_t count, int type);
479
480 /**
481  * Write dump of binary data to the log file.
482  *
483  * The data is only written if the log level is at least level.
484  * 16 zero bytes in a row are omitted
485  */
486 _PUBLIC_ void dump_data_skip_zeros(int level, const uint8_t *buf, int len);
487
488 /**
489  malloc that aborts with smb_panic on fail or zero size.
490 **/
491 _PUBLIC_ void *smb_xmalloc(size_t size);
492
493 /**
494  Memdup with smb_panic on fail.
495 **/
496 _PUBLIC_ void *smb_xmemdup(const void *p, size_t size);
497
498 /**
499  strdup that aborts on malloc fail.
500 **/
501 _PUBLIC_ char *smb_xstrdup(const char *s);
502
503 char *smb_xstrndup(const char *s, size_t n);
504
505 /**
506  Like strdup but for memory.
507 **/
508 _PUBLIC_ void *smb_memdup(const void *p, size_t size);
509
510 /**
511  * Write a password to the log file.
512  *
513  * @note Only actually does something if DEBUG_PASSWORD was defined during 
514  * compile-time.
515  */
516 _PUBLIC_ void dump_data_pw(const char *msg, const uint8_t * data, size_t len);
517
518 /**
519  * see if a range of memory is all zero. A NULL pointer is considered
520  * to be all zero 
521  */
522 _PUBLIC_ bool all_zero(const uint8_t *ptr, size_t size);
523
524 /**
525   realloc an array, checking for integer overflow in the array size
526 */
527 _PUBLIC_ void *realloc_array(void *ptr, size_t el_size, unsigned count, bool free_on_fail);
528
529 void *malloc_array(size_t el_size, unsigned int count);
530
531 void *memalign_array(size_t el_size, size_t align, unsigned int count);
532
533 void *calloc_array(size_t size, size_t nmemb);
534
535 /* The following definitions come from lib/util/fsusage.c  */
536
537
538 /**
539  * Retrieve amount of free disk space.
540  * this does all of the system specific guff to get the free disk space.
541  * It is derived from code in the GNU fileutils package, but has been
542  * considerably mangled for use here 
543  *
544  * results are returned in *dfree and *dsize, in 512 byte units
545 */
546 _PUBLIC_ int sys_fsusage(const char *path, uint64_t *dfree, uint64_t *dsize);
547
548 /* The following definitions come from lib/util/ms_fnmatch.c  */
549
550
551 /**
552  * @file
553  * @brief MS-style Filename matching
554  */
555
556 int ms_fnmatch_protocol(const char *pattern, const char *string, int protocol,
557                         bool is_case_sensitive);
558
559 /** a generic fnmatch function - uses for non-CIFS pattern matching */
560 int gen_fnmatch(const char *pattern, const char *string);
561
562 #include "idtree.h"
563 #include "idtree_random.h"
564
565 #include "become_daemon.h"
566
567 /**
568  * @brief Get a password from the console.
569  *
570  * You should make sure that the buffer is an empty string!
571  *
572  * You can also use this function to ask for a username. Then you can fill the
573  * buffer with the username and it is shows to the users. If the users just
574  * presses enter the buffer will be untouched.
575  *
576  * @code
577  *   char username[128];
578  *
579  *   snprintf(username, sizeof(username), "john");
580  *
581  *   smb_getpass("Username:", username, sizeof(username), 1, 0);
582  * @endcode
583  *
584  * The prompt will look like this:
585  *
586  *   Username: [john]
587  *
588  * If you press enter then john is used as the username, or you can type it in
589  * to change it.
590  *
591  * @param[in]  prompt   The prompt to show to ask for the password.
592  *
593  * @param[out] buf    The buffer the password should be stored. It NEEDS to be
594  *                    empty or filled out.
595  *
596  * @param[in]  len      The length of the buffer.
597  *
598  * @param[in]  echo     Should we echo what you type.
599  *
600  * @param[in]  verify   Should we ask for the password twice.
601  *
602  * @return              0 on success, -1 on error.
603  */
604 _PUBLIC_ int samba_getpass(const char *prompt, char *buf, size_t len,
605                            bool echo, bool verify);
606
607 /**
608  * Load a ini-style file.
609  */
610 bool pm_process( const char *fileName,
611                  bool (*sfunc)(const char *, void *),
612                  bool (*pfunc)(const char *, const char *, void *),
613                                  void *userdata);
614 bool pm_process_with_flags(const char *filename,
615                            bool allow_empty_values,
616                            bool (*sfunc)(const char *section, void *private_data),
617                            bool (*pfunc)(const char *name, const char *value,
618                                          void *private_data),
619                            void *private_data);
620
621 void print_asc(int level, const uint8_t *buf,int len);
622 void print_asc_cb(const uint8_t *buf, int len,
623                   void (*cb)(const char *buf, void *private_data),
624                   void *private_data);
625
626 /**
627  * Add an id to an array of ids.
628  *
629  * num should be a pointer to an integer that holds the current
630  * number of elements in ids. It will be updated by this function.
631  */
632
633 bool add_uid_to_array_unique(TALLOC_CTX *mem_ctx, uid_t uid,
634                              uid_t **uids, uint32_t *num_uids);
635 bool add_gid_to_array_unique(TALLOC_CTX *mem_ctx, gid_t gid,
636                              gid_t **gids, uint32_t *num_gids);
637
638 /**
639  * Allocate anonymous shared memory of the given size
640  */
641 void *anonymous_shared_allocate(size_t bufsz);
642 void *anonymous_shared_resize(void *ptr, size_t new_size, bool maymove);
643 void anonymous_shared_free(void *ptr);
644
645 /*
646   run a command as a child process, with a timeout.
647
648   any stdout/stderr from the child will appear in the Samba logs with
649   the specified log levels
650
651   If callback is set then the callback is called on completion
652   with the return code from the command
653  */
654 struct tevent_context;
655 struct tevent_req;
656 struct tevent_req *samba_runcmd_send(TALLOC_CTX *mem_ctx,
657                                      struct tevent_context *ev,
658                                      struct timeval endtime,
659                                      int stdout_log_level,
660                                      int stderr_log_level,
661                                      const char * const *argv0, ...);
662 int samba_runcmd_recv(struct tevent_req *req, int *perrno);
663 int samba_runcmd_export_stdin(struct tevent_req *req);
664
665 #ifdef DEVELOPER
666 void samba_start_debugger(void);
667 #endif
668
669 /*
670  * Samba code should use samba_tevent_context_init() instead of
671  * tevent_context_init() in order to get the debug output.
672  */
673 struct tevent_context *samba_tevent_context_init(TALLOC_CTX *mem_ctx);
674
675 /*
676  * if same samba code needs to use a specific tevent backend
677  * it can use something like this:
678  *
679  * samba_tevent_set_debug(ev, "pysmb_tevent");
680  */
681 void samba_tevent_set_debug(struct tevent_context *ev, const char *name);
682
683 #endif /* _SAMBA_UTIL_H_ */