d8c8522616d723373f9cf03b3d4d63a8e30254b6
[bbaumbach/samba-autobuild/.git] / lib / util / samba_util.h
1 /*
2    Unix SMB/CIFS implementation.
3    Utility functions for Samba
4    Copyright (C) Andrew Tridgell 1992-1999
5    Copyright (C) Jelmer Vernooij 2005
6
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 #ifndef _SAMBA_UTIL_H_
22 #define _SAMBA_UTIL_H_
23
24 #ifndef SAMBA_UTIL_CORE_ONLY
25 #include "lib/util/charset/charset.h"
26 #else
27 #include "charset_compat.h"
28 #endif
29
30 #include "lib/util/attr.h"
31
32 /* for TALLOC_CTX */
33 #include <talloc.h>
34
35 /* for struct stat */
36 #include <sys/stat.h>
37
38 /**
39  * @file
40  * @brief Helpful macros
41  */
42
43 struct smbsrv_tcon;
44
45 extern const char *panic_action;
46
47 #include "lib/util/time.h"
48 #include "lib/util/data_blob.h"
49 #include "lib/util/byteorder.h"
50 #include "lib/util/talloc_stack.h"
51 #include "lib/util/talloc_keep_secret.h"
52
53 #ifndef ABS
54 #define ABS(a) ((a)>0?(a):(-(a)))
55 #endif
56
57 #include "lib/util/memory.h"
58 #include "lib/util/discard.h"
59
60 #include "fault.h"
61
62 #include "lib/util/util.h"
63
64 /**
65  * Write backtrace to debug log
66  */
67 _PUBLIC_ void dump_core_setup(const char *progname, const char *logfile);
68
69 /**
70   register a fault handler.
71   Should only be called once in the execution of smbd.
72 */
73 _PUBLIC_ bool register_fault_handler(const char *name, void (*fault_handler)(int sig));
74
75 #include "lib/util/signal.h" /* Avoid /usr/include/signal.h */
76
77 struct sockaddr;
78
79 _PUBLIC_ int sys_getnameinfo(const struct sockaddr *psa,
80                              int salen,
81                              char *host,
82                              size_t hostlen,
83                              char *service,
84                              size_t servlen,
85                              int flags);
86
87 /* The following definitions come from lib/util/genrand.c  */
88
89 #include "lib/util/genrand.h"
90
91 /**
92   generate a single random uint32_t
93 **/
94 _PUBLIC_ uint32_t generate_random(void);
95
96 /**
97  * generate a single random uint64_t
98  * @see generate_unique_u64
99 **/
100 _PUBLIC_ uint64_t generate_random_u64(void);
101
102 _PUBLIC_ uint64_t generate_random_u64_range(uint64_t lower, uint64_t upper);
103
104 /**
105  * @brief Generate random nonces usable for re-use detection.
106  *
107  * We have a lot of places which require a unique id that can
108  * be used as a unique identitier for caching states.
109  *
110  * Always using generate_nonce_buffer() has it's performance costs,
111  * it's typically much better than generate_random_buffer(), but
112  * still it's overhead we want to avoid in performance critical
113  * workloads.
114  *
115  * We call generate_nonce_buffer() just once per given state
116  * and process.
117  *
118  * This is much lighter than generate_random_u64() and it's
119  * designed for performance critical code paths.
120  *
121  * @veto_value It is garanteed that the return value if different from
122  *             the veto_value.
123  *
124  * @return a unique value per given state and process
125  *
126  * @see generate_random_u64
127  */
128 uint64_t generate_unique_u64(uint64_t veto_value);
129
130 /**
131   very basic password quality checker
132 **/
133 _PUBLIC_ bool check_password_quality(const char *s);
134
135 /**
136  * Generate a random text password (based on printable ascii characters).
137  * This function is designed to provide a password that
138  * meats the complexity requirements of UF_NORMAL_ACCOUNT objects
139  * and they should be human readable and writeable on any keyboard layout.
140  *
141  * Characters used are:
142  * ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,@$%&!?:;<=>()[]~
143  */
144 _PUBLIC_ char *generate_random_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
145
146 /**
147  * Generate a random machine password
148  *
149  * min and max are the number of utf16 characters used
150  * to generate on utf8 compatible password.
151  *
152  * Note: if 'unix charset' is not 'utf8' (the default)
153  * then each utf16 character is only filled with
154  * values from 0x01 to 0x7f (ascii values without 0x00).
155  * This is important as the password neets to be
156  * a valid value as utf8 string and at the same time
157  * a valid value in the 'unix charset'.
158  *
159  * If 'unix charset' is 'utf8' (the default) then
160  * each utf16 character is a random value from 0x0000
161  * 0xFFFF (exluding the surrogate ranges from 0xD800-0xDFFF)
162  * while the translation from CH_UTF16MUNGED
163  * to CH_UTF8 replaces invalid values (see utf16_munged_pull()).
164  *
165  * Note: these passwords may not pass the complexity requirements
166  * for UF_NORMAL_ACCOUNT objects (except krbtgt accounts).
167  */
168 _PUBLIC_ char *generate_random_machine_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
169
170 /**
171  Use the random number generator to generate a random string.
172 **/
173 _PUBLIC_ char *generate_random_str_list(TALLOC_CTX *mem_ctx, size_t len, const char *list);
174
175 /**
176  * Generate a random text string consisting of the specified length.
177  * The returned string will be allocated.
178  *
179  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
180  */
181 _PUBLIC_ char *generate_random_str(TALLOC_CTX *mem_ctx, size_t len);
182
183 /**
184  * Generate an array of unique text strings all of the same length.
185  * The returned strings will be allocated.
186  * Returns NULL if the number of unique combinations cannot be created.
187  *
188  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
189  */
190 _PUBLIC_ char** generate_unique_strs(TALLOC_CTX *mem_ctx, size_t len,
191                                          uint32_t num);
192
193 /* The following definitions come from lib/util/dprintf.c  */
194
195 _PUBLIC_ int d_fprintf(FILE *f, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
196 _PUBLIC_ int d_printf(const char *format, ...) PRINTF_ATTRIBUTE(1,2);
197 _PUBLIC_ void display_set_stderr(void);
198
199 /* The following definitions come from lib/util/util_str.c  */
200
201 bool next_token_talloc(TALLOC_CTX *ctx,
202                         const char **ptr,
203                         char **pp_buff,
204                         const char *sep);
205
206 /**
207  * Get the next token from a string, return false if none found.  Handles
208  * double-quotes.  This version does not trim leading separator characters
209  * before looking for a token.
210  */
211 bool next_token_no_ltrim_talloc(TALLOC_CTX *ctx,
212                         const char **ptr,
213                         char **pp_buff,
214                         const char *sep);
215
216
217 /**
218  Trim the specified elements off the front and back of a string.
219 **/
220 _PUBLIC_ bool trim_string(char *s, const char *front, const char *back);
221
222 /**
223  Find the number of 'c' chars in a string
224 **/
225 _PUBLIC_ _PURE_ size_t count_chars(const char *s, char c);
226
227 /**
228  Routine to get hex characters and turn them into a 16 byte array.
229  the array can be variable length, and any non-hex-numeric
230  characters are skipped.  "0xnn" or "0Xnn" is specially catered
231  for.
232
233  valid examples: "0A5D15"; "0x15, 0x49, 0xa2"; "59\ta9\te3\n"
234
235
236 **/
237 _PUBLIC_ size_t strhex_to_str(char *p, size_t p_len, const char *strhex, size_t strhex_len);
238
239 /**
240  * Parse a hex string and return a data blob.
241  */
242 _PUBLIC_ DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex) ;
243
244 /**
245  * Parse a hex dump and return a data blob
246  */
247 _PUBLIC_ DATA_BLOB hexdump_to_data_blob(TALLOC_CTX *mem_ctx, const char *hexdump, size_t len);
248
249 /**
250  * Print a buf in hex. Assumes dst is at least (srclen*2)+1 large.
251  */
252 _PUBLIC_ void hex_encode_buf(char *dst, const uint8_t *src, size_t srclen);
253
254 /**
255  * talloc version of hex_encode_buf()
256  */
257 _PUBLIC_ char *hex_encode_talloc(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len);
258
259 #include "substitute.h"
260
261 /**
262  Unescape a URL encoded string, in place.
263 **/
264 _PUBLIC_ char *rfc1738_unescape(char *buf);
265
266 /**
267  * rfc1738_escape_part
268  * Returns a static buffer that contains the RFC
269  * 1738 compliant, escaped version of the given url segment. (escapes
270  * unsafe, reserved and % chars) It would mangle the :// in http://,
271  * and mangle paths (because of /).
272  **/
273 _PUBLIC_ char *rfc1738_escape_part(TALLOC_CTX *mem_ctx, const char *url);
274
275 /**
276   varient of strcmp() that handles NULL ptrs
277 **/
278 _PUBLIC_ int strcmp_safe(const char *s1, const char *s2);
279
280 /**
281 return the number of bytes occupied by a buffer in ASCII format
282 the result includes the null termination
283 limited by 'n' bytes
284 **/
285 _PUBLIC_ size_t ascii_len_n(const char *src, size_t n);
286
287 /**
288  Set a boolean variable from the text value stored in the passed string.
289  Returns true in success, false if the passed string does not correctly
290  represent a boolean.
291 **/
292 _PUBLIC_ bool set_boolean(const char *boolean_string, bool *boolean);
293
294 /**
295  * Parse a string containing a boolean value.
296  *
297  * val will be set to the read value.
298  *
299  * @retval true if a boolean value was parsed, false otherwise.
300  */
301 _PUBLIC_ bool conv_str_bool(const char * str, bool * val);
302
303 /**
304  * Convert a size specification like 16K into an integral number of bytes.
305  **/
306 _PUBLIC_ bool conv_str_size_error(const char * str, uint64_t * val);
307
308 /**
309  * Parse a uint64_t value from a string
310  *
311  * val will be set to the value read.
312  *
313  * @retval true if parsing was successful, false otherwise
314  */
315 _PUBLIC_ bool conv_str_u64(const char * str, uint64_t * val);
316
317 /**
318  * @brief Constant time compare to memory regions.
319  *
320  * @param[in]  s1  The first memory region to compare.
321  *
322  * @param[in]  s2  The second memory region to compare.
323  *
324  * @param[in]  n   The length of the memory to comapre.
325  *
326  * @return true when the memory regions are equal, false if not.
327  */
328 _PUBLIC_ bool mem_equal_const_time(const void *s1, const void *s2, size_t n);
329
330 /**
331 Do a case-insensitive, whitespace-ignoring string compare.
332 **/
333 _PUBLIC_ int strwicmp(const char *psz1, const char *psz2);
334
335 /**
336  String replace.
337 **/
338 _PUBLIC_ void string_replace(char *s, char oldc, char newc);
339
340 /**
341  * Compare 2 strings.
342  *
343  * @note The comparison is case-insensitive.
344  **/
345 _PUBLIC_ bool strequal(const char *s1, const char *s2);
346
347 #include "util_strlist.h"
348
349 /* The following definitions come from lib/util/util_strlist_v3.c  */
350
351 /**
352  * Needed for making an "unconst" list "const"
353  */
354 _PUBLIC_ const char **const_str_list(char **list);
355
356 /**
357  * str_list_make, v3 version. The v4 version does not
358  * look at quoted strings with embedded blanks, so
359  * do NOT merge this function please!
360  */
361 char **str_list_make_v3(TALLOC_CTX *mem_ctx, const char *string,
362         const char *sep);
363
364
365 const char **str_list_make_v3_const(TALLOC_CTX *mem_ctx,
366                                     const char *string,
367                                     const char *sep);
368
369 /* The following definitions come from lib/util/util_file.c  */
370
371
372 /**
373  * Read one line (data until next newline or eof) and allocate it
374  */
375 _PUBLIC_ char *afdgets(int fd, TALLOC_CTX *mem_ctx, size_t hint);
376
377 char *fgets_slash(TALLOC_CTX *mem_ctx, char *s2, size_t maxlen, FILE *f);
378
379 /**
380 load a file into memory from a fd.
381 **/
382 _PUBLIC_ char *fd_load(int fd, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
383
384
385 char **file_lines_parse(const char *p, size_t size, int *numlines, TALLOC_CTX *mem_ctx);
386
387 /**
388 load a file into memory
389 **/
390 _PUBLIC_ char *file_load(const char *fname, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
391
392 /**
393 load a file into memory and return an array of pointers to lines in the file
394 must be freed with talloc_free().
395 **/
396 _PUBLIC_ char **file_lines_load(const char *fname, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
397
398 /**
399 load a fd into memory and return an array of pointers to lines in the file
400 must be freed with talloc_free(). If convert is true calls unix_to_dos on
401 the list.
402 **/
403 _PUBLIC_ char **fd_lines_load(int fd, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
404
405 _PUBLIC_ bool file_save_mode(const char *fname, const void *packet,
406                              size_t length, mode_t mode);
407 /**
408   save a lump of data into a file. Mostly used for debugging
409 */
410 _PUBLIC_ bool file_save(const char *fname, const void *packet, size_t length);
411 _PUBLIC_ int vfdprintf(int fd, const char *format, va_list ap) PRINTF_ATTRIBUTE(2,0);
412 _PUBLIC_ int fdprintf(int fd, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
413
414 /*
415   compare two files, return true if the two files have the same content
416  */
417 bool file_compare(const char *path1, const char *path2);
418
419 /*
420   load from a pipe into memory.
421  */
422 char *file_ploadv(char * const argl[], size_t *size);
423
424 /* The following definitions come from lib/util/util.c  */
425
426
427 /**
428  Find a suitable temporary directory. The result should be copied immediately
429  as it may be overwritten by a subsequent call.
430 **/
431 _PUBLIC_ const char *tmpdir(void);
432
433 /**
434  * Creates and immediately unlinks a file. Returns open file descriptor.
435  **/
436 _PUBLIC_ int create_unlink_tmp(const char *dir);
437
438 /**
439  Check if a file exists - call vfs_file_exist for samba files.
440 **/
441 _PUBLIC_ bool file_exist(const char *fname);
442
443 /**
444  Check a files mod time.
445 **/
446 _PUBLIC_ time_t file_modtime(const char *fname);
447
448 /**
449  Check if a directory exists.
450 **/
451 _PUBLIC_ bool directory_exist(const char *dname);
452
453 /**
454  Check file permissions.
455 **/
456 _PUBLIC_ bool file_check_permissions(const char *fname,
457                                      uid_t uid,
458                                      mode_t file_perms,
459                                      struct stat *pst);
460
461 /**
462  * Try to create the specified directory if it didn't exist.
463  *
464  * @retval true if the directory already existed and has the right permissions
465  * or was successfully created.
466  */
467 _PUBLIC_ bool directory_create_or_exist(const char *dname, mode_t dir_perms);
468
469 /**
470  * @brief Try to create a specified directory and the parent directory if they
471  *        don't exist.
472  *
473  * @param[in]  dname     The directory path to create.
474  *
475  * @param[in]  dir_perms The permission of the directories.
476  *
477  * @return true on success, false otherwise.
478  */
479 _PUBLIC_ bool directory_create_or_exists_recursive(
480                 const char *dname,
481                 mode_t dir_perms);
482
483 _PUBLIC_ bool directory_create_or_exist_strict(const char *dname,
484                                                uid_t uid,
485                                                mode_t dir_perms);
486
487 #include "blocking.h"
488
489 /**
490  Sleep for a specified number of milliseconds.
491 **/
492 _PUBLIC_ void smb_msleep(unsigned int t);
493
494 /**
495  Get my own name, return in talloc'ed storage.
496 **/
497 _PUBLIC_ char* get_myname(TALLOC_CTX *mem_ctx);
498
499 /**
500  Check if a process exists. Does this work on all unixes?
501 **/
502 _PUBLIC_ bool process_exists_by_pid(pid_t pid);
503
504 /**
505  Simple routine to do POSIX file locking. Cruft in NFS and 64->32 bit mapping
506  is dealt with in posix.c
507 **/
508 _PUBLIC_ bool fcntl_lock(int fd, int op, off_t offset, off_t count, int type);
509
510 /**
511  * Write dump of binary data to the log file.
512  *
513  * The data is only written if the log level is at least level.
514  * 16 zero bytes in a row are omitted
515  */
516 _PUBLIC_ void dump_data_skip_zeros(int level, const uint8_t *buf, int len);
517
518 /**
519  malloc that aborts with smb_panic on fail or zero size.
520 **/
521 _PUBLIC_ void *smb_xmalloc(size_t size);
522
523 /**
524  Memdup with smb_panic on fail.
525 **/
526 _PUBLIC_ void *smb_xmemdup(const void *p, size_t size);
527
528 /**
529  strdup that aborts on malloc fail.
530 **/
531 _PUBLIC_ char *smb_xstrdup(const char *s);
532
533 char *smb_xstrndup(const char *s, size_t n);
534
535 /**
536  Like strdup but for memory.
537 **/
538 _PUBLIC_ void *smb_memdup(const void *p, size_t size);
539
540 /**
541  * Write a password to the log file.
542  *
543  * @note Only actually does something if DEBUG_PASSWORD was defined during
544  * compile-time.
545  */
546 _PUBLIC_ void dump_data_pw(const char *msg, const uint8_t * data, size_t len);
547
548 /**
549  * see if a range of memory is all zero. A NULL pointer is considered
550  * to be all zero
551  */
552 _PUBLIC_ bool all_zero(const uint8_t *ptr, size_t size);
553
554 /**
555   realloc an array, checking for integer overflow in the array size
556 */
557 _PUBLIC_ void *realloc_array(void *ptr, size_t el_size, unsigned count, bool free_on_fail);
558
559 void *malloc_array(size_t el_size, unsigned int count);
560
561 void *memalign_array(size_t el_size, size_t align, unsigned int count);
562
563 void *calloc_array(size_t size, size_t nmemb);
564
565 /* The following definitions come from lib/util/fsusage.c  */
566
567
568 /**
569  * Retrieve amount of free disk space.
570  * this does all of the system specific guff to get the free disk space.
571  * It is derived from code in the GNU fileutils package, but has been
572  * considerably mangled for use here
573  *
574  * results are returned in *dfree and *dsize, in 512 byte units
575 */
576 _PUBLIC_ int sys_fsusage(const char *path, uint64_t *dfree, uint64_t *dsize);
577
578 /* The following definitions come from lib/util/ms_fnmatch.c  */
579
580
581 /**
582  * @file
583  * @brief MS-style Filename matching
584  */
585
586 int ms_fnmatch_protocol(const char *pattern, const char *string, int protocol,
587                         bool is_case_sensitive);
588
589 /** a generic fnmatch function - uses for non-CIFS pattern matching */
590 int gen_fnmatch(const char *pattern, const char *string);
591
592 #include "idtree.h"
593 #include "idtree_random.h"
594
595 #include "become_daemon.h"
596
597 /**
598  * @brief Get a password from the console.
599  *
600  * You should make sure that the buffer is an empty string!
601  *
602  * You can also use this function to ask for a username. Then you can fill the
603  * buffer with the username and it is shows to the users. If the users just
604  * presses enter the buffer will be untouched.
605  *
606  * @code
607  *   char username[128];
608  *
609  *   snprintf(username, sizeof(username), "john");
610  *
611  *   smb_getpass("Username:", username, sizeof(username), 1, 0);
612  * @endcode
613  *
614  * The prompt will look like this:
615  *
616  *   Username: [john]
617  *
618  * If you press enter then john is used as the username, or you can type it in
619  * to change it.
620  *
621  * @param[in]  prompt   The prompt to show to ask for the password.
622  *
623  * @param[out] buf    The buffer the password should be stored. It NEEDS to be
624  *                    empty or filled out.
625  *
626  * @param[in]  len      The length of the buffer.
627  *
628  * @param[in]  echo     Should we echo what you type.
629  *
630  * @param[in]  verify   Should we ask for the password twice.
631  *
632  * @return              0 on success, -1 on error.
633  */
634 _PUBLIC_ int samba_getpass(const char *prompt, char *buf, size_t len,
635                            bool echo, bool verify);
636
637 /**
638  * Load a ini-style file.
639  */
640 bool pm_process( const char *fileName,
641                  bool (*sfunc)(const char *, void *),
642                  bool (*pfunc)(const char *, const char *, void *),
643                                  void *userdata);
644 bool pm_process_with_flags(const char *filename,
645                            bool allow_empty_values,
646                            bool (*sfunc)(const char *section, void *private_data),
647                            bool (*pfunc)(const char *name, const char *value,
648                                          void *private_data),
649                            void *private_data);
650
651 void print_asc(int level, const uint8_t *buf,int len);
652 void print_asc_cb(const uint8_t *buf, int len,
653                   void (*cb)(const char *buf, void *private_data),
654                   void *private_data);
655
656 /**
657  * Add an id to an array of ids.
658  *
659  * num should be a pointer to an integer that holds the current
660  * number of elements in ids. It will be updated by this function.
661  */
662
663 bool add_uid_to_array_unique(TALLOC_CTX *mem_ctx, uid_t uid,
664                              uid_t **uids, uint32_t *num_uids);
665 bool add_gid_to_array_unique(TALLOC_CTX *mem_ctx, gid_t gid,
666                              gid_t **gids, uint32_t *num_gids);
667
668 /**
669  * Allocate anonymous shared memory of the given size
670  */
671 void *anonymous_shared_allocate(size_t bufsz);
672 void *anonymous_shared_resize(void *ptr, size_t new_size, bool maymove);
673 void anonymous_shared_free(void *ptr);
674
675 /*
676   run a command as a child process, with a timeout.
677
678   any stdout/stderr from the child will appear in the Samba logs with
679   the specified log levels
680
681   If callback is set then the callback is called on completion
682   with the return code from the command
683  */
684 struct tevent_context;
685 struct tevent_req;
686 struct tevent_req *samba_runcmd_send(TALLOC_CTX *mem_ctx,
687                                      struct tevent_context *ev,
688                                      struct timeval endtime,
689                                      int stdout_log_level,
690                                      int stderr_log_level,
691                                      const char * const *argv0, ...);
692 int samba_runcmd_recv(struct tevent_req *req, int *perrno);
693 int samba_runcmd_export_stdin(struct tevent_req *req);
694
695 #ifdef DEVELOPER
696 void samba_start_debugger(void);
697 #endif
698
699 /*
700  * Samba code should use samba_tevent_context_init() instead of
701  * tevent_context_init() in order to get the debug output.
702  */
703 struct tevent_context *samba_tevent_context_init(TALLOC_CTX *mem_ctx);
704
705 /*
706  * if same samba code needs to use a specific tevent backend
707  * it can use something like this:
708  *
709  * samba_tevent_set_debug(ev, "pysmb_tevent");
710  */
711 void samba_tevent_set_debug(struct tevent_context *ev, const char *name);
712
713 #endif /* _SAMBA_UTIL_H_ */