lib: Remove global xfile.h includes
[samba.git] / lib / util / samba_util.h
1 /* 
2    Unix SMB/CIFS implementation.
3    Utility functions for Samba
4    Copyright (C) Andrew Tridgell 1992-1999
5    Copyright (C) Jelmer Vernooij 2005
6     
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11    
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16    
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 #ifndef _SAMBA_UTIL_H_
22 #define _SAMBA_UTIL_H_
23
24 #ifndef SAMBA_UTIL_CORE_ONLY
25 #include "lib/util/charset/charset.h"
26 #else
27 #include "charset_compat.h"
28 #endif
29
30 #include "lib/util/attr.h"
31
32 /* for TALLOC_CTX */
33 #include <talloc.h>
34
35 /* for struct stat */
36 #include <sys/stat.h>
37
38 /**
39  * @file
40  * @brief Helpful macros
41  */
42
43 struct smbsrv_tcon;
44
45 extern const char *panic_action;
46
47 #include "lib/util/time.h"
48 #include "lib/util/data_blob.h"
49 #include "lib/util/byteorder.h"
50 #include "lib/util/talloc_stack.h"
51
52 #ifndef ABS
53 #define ABS(a) ((a)>0?(a):(-(a)))
54 #endif
55
56 #include "lib/util/memory.h"
57
58 #include "../libcli/util/ntstatus.h"
59 #include "lib/util/string_wrappers.h"
60
61 #include "fault.h"
62
63 #include "lib/util/util.h"
64
65 /**
66  * Write backtrace to debug log
67  */
68 _PUBLIC_ void dump_core_setup(const char *progname, const char *logfile);
69
70 /**
71   register a fault handler. 
72   Should only be called once in the execution of smbd.
73 */
74 _PUBLIC_ bool register_fault_handler(const char *name, void (*fault_handler)(int sig));
75
76 #include "lib/util/signal.h" /* Avoid /usr/include/signal.h */
77
78 struct sockaddr;
79
80 _PUBLIC_ int sys_getnameinfo(const struct sockaddr *psa,
81                              int salen,
82                              char *host,
83                              size_t hostlen,
84                              char *service,
85                              size_t servlen,
86                              int flags);
87
88 /* The following definitions come from lib/util/genrand.c  */
89
90 #include "lib/util/genrand.h"
91
92 /**
93   generate a single random uint32_t
94 **/
95 _PUBLIC_ uint32_t generate_random(void);
96
97 /**
98   very basic password quality checker
99 **/
100 _PUBLIC_ bool check_password_quality(const char *s);
101
102 /**
103  * Generate a random text password.
104  */
105 _PUBLIC_ char *generate_random_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
106
107 /**
108  Use the random number generator to generate a random string.
109 **/
110 _PUBLIC_ char *generate_random_str_list(TALLOC_CTX *mem_ctx, size_t len, const char *list);
111
112 /**
113  * Generate a random text string consisting of the specified length.
114  * The returned string will be allocated.
115  *
116  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
117  */
118 _PUBLIC_ char *generate_random_str(TALLOC_CTX *mem_ctx, size_t len);
119
120 /**
121  * Generate an array of unique text strings all of the same length.
122  * The returned strings will be allocated.
123  * Returns NULL if the number of unique combinations cannot be created.
124  *
125  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
126  */
127 _PUBLIC_ char** generate_unique_strs(TALLOC_CTX *mem_ctx, size_t len,
128                                          uint32_t num);
129
130 /* The following definitions come from lib/util/dprintf.c  */
131
132 _PUBLIC_ int d_fprintf(FILE *f, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
133 _PUBLIC_ int d_printf(const char *format, ...) PRINTF_ATTRIBUTE(1,2);
134 _PUBLIC_ void display_set_stderr(void);
135
136 /* The following definitions come from lib/util/util_str.c  */
137
138 bool next_token_talloc(TALLOC_CTX *ctx,
139                         const char **ptr,
140                         char **pp_buff,
141                         const char *sep);
142
143 /**
144  * Get the next token from a string, return false if none found.  Handles
145  * double-quotes.  This version does not trim leading separator characters
146  * before looking for a token.
147  */
148 bool next_token_no_ltrim_talloc(TALLOC_CTX *ctx,
149                         const char **ptr,
150                         char **pp_buff,
151                         const char *sep);
152
153
154 /**
155  Trim the specified elements off the front and back of a string.
156 **/
157 _PUBLIC_ bool trim_string(char *s, const char *front, const char *back);
158
159 /**
160  Find the number of 'c' chars in a string
161 **/
162 _PUBLIC_ _PURE_ size_t count_chars(const char *s, char c);
163
164 /**
165  Routine to get hex characters and turn them into a 16 byte array.
166  the array can be variable length, and any non-hex-numeric
167  characters are skipped.  "0xnn" or "0Xnn" is specially catered
168  for.
169
170  valid examples: "0A5D15"; "0x15, 0x49, 0xa2"; "59\ta9\te3\n"
171
172
173 **/
174 _PUBLIC_ size_t strhex_to_str(char *p, size_t p_len, const char *strhex, size_t strhex_len);
175
176 /** 
177  * Parse a hex string and return a data blob. 
178  */
179 _PUBLIC_ _PURE_ DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex) ;
180
181 /**
182  * Print a buf in hex. Assumes dst is at least (srclen*2)+1 large.
183  */
184 _PUBLIC_ void hex_encode_buf(char *dst, const uint8_t *src, size_t srclen);
185
186 /**
187  * talloc version of hex_encode_buf()
188  */
189 _PUBLIC_ char *hex_encode_talloc(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len);
190
191 #include "substitute.h"
192
193 /**
194  Unescape a URL encoded string, in place.
195 **/
196 _PUBLIC_ void rfc1738_unescape(char *buf);
197
198
199 /**
200  * rfc1738_escape
201  * Returns a static buffer that contains the RFC
202  * 1738 compliant, escaped version of the given url. (escapes unsafe and % characters)
203  **/
204 _PUBLIC_ char *rfc1738_escape(TALLOC_CTX *mem_ctx, const char *url);
205
206 /**
207  * rfc1738_escape_unescaped
208  *
209  * Returns a static buffer that contains
210  * the RFC 1738 compliant, escaped version of the given url (escapes unsafe chars only)
211  **/
212 _PUBLIC_ char *rfc1738_escape_unescaped(TALLOC_CTX *mem_ctx, const char *url);
213
214 /**
215  * rfc1738_escape_part 
216  * Returns a static buffer that contains the RFC
217  * 1738 compliant, escaped version of the given url segment. (escapes
218  * unsafe, reserved and % chars) It would mangle the :// in http://,
219  * and mangle paths (because of /).
220  **/
221 _PUBLIC_ char *rfc1738_escape_part(TALLOC_CTX *mem_ctx, const char *url);
222
223 /**
224   varient of strcmp() that handles NULL ptrs
225 **/
226 _PUBLIC_ int strcmp_safe(const char *s1, const char *s2);
227
228 /**
229 return the number of bytes occupied by a buffer in ASCII format
230 the result includes the null termination
231 limited by 'n' bytes
232 **/
233 _PUBLIC_ size_t ascii_len_n(const char *src, size_t n);
234
235 /**
236  Set a boolean variable from the text value stored in the passed string.
237  Returns true in success, false if the passed string does not correctly 
238  represent a boolean.
239 **/
240 _PUBLIC_ bool set_boolean(const char *boolean_string, bool *boolean);
241
242 /**
243  * Parse a string containing a boolean value.
244  *
245  * val will be set to the read value.
246  *
247  * @retval true if a boolean value was parsed, false otherwise.
248  */
249 _PUBLIC_ bool conv_str_bool(const char * str, bool * val);
250
251 /**
252  * Convert a size specification like 16K into an integral number of bytes. 
253  **/
254 _PUBLIC_ bool conv_str_size_error(const char * str, uint64_t * val);
255
256 /**
257  * Parse a uint64_t value from a string
258  *
259  * val will be set to the value read.
260  *
261  * @retval true if parsing was successful, false otherwise
262  */
263 _PUBLIC_ bool conv_str_u64(const char * str, uint64_t * val);
264
265 /**
266 return the number of bytes occupied by a buffer in CH_UTF16 format
267 the result includes the null termination
268 **/
269 _PUBLIC_ size_t utf16_len(const void *buf);
270
271 /**
272 return the number of bytes occupied by a buffer in CH_UTF16 format
273 the result includes the null termination
274 limited by 'n' bytes
275 **/
276 _PUBLIC_ size_t utf16_len_n(const void *src, size_t n);
277 _PUBLIC_ size_t ucs2_align(const void *base_ptr, const void *p, int flags);
278
279 /**
280  * @brief Constant time compare to memory regions.
281  *
282  * @param[in]  s1  The first memory region to compare.
283  *
284  * @param[in]  s2  The second memory region to compare.
285  *
286  * @param[in]  n   The length of the memory to comapre.
287  *
288  * @return 0 when the memory regions are equal, 0 if not.
289  */
290 _PUBLIC_ int memcmp_const_time(const void *s1, const void *s2, size_t n);
291
292 /**
293 Do a case-insensitive, whitespace-ignoring string compare.
294 **/
295 _PUBLIC_ int strwicmp(const char *psz1, const char *psz2);
296
297 /**
298  String replace.
299 **/
300 _PUBLIC_ void string_replace(char *s, char oldc, char newc);
301
302 /**
303  * Compare 2 strings.
304  *
305  * @note The comparison is case-insensitive.
306  **/
307 _PUBLIC_ bool strequal(const char *s1, const char *s2);
308
309 #include "util_strlist.h"
310
311 /* The following definitions come from lib/util/util_strlist_v3.c  */
312
313 /**
314  * Needed for making an "unconst" list "const"
315  */
316 _PUBLIC_ const char **const_str_list(char **list);
317
318 /**
319  * str_list_make, v3 version. The v4 version does not
320  * look at quoted strings with embedded blanks, so
321  * do NOT merge this function please!
322  */
323 char **str_list_make_v3(TALLOC_CTX *mem_ctx, const char *string,
324         const char *sep);
325
326
327 const char **str_list_make_v3_const(TALLOC_CTX *mem_ctx,
328                                     const char *string,
329                                     const char *sep);
330
331 /* The following definitions come from lib/util/util_file.c  */
332
333
334 /**
335  * Read one line (data until next newline or eof) and allocate it 
336  */
337 _PUBLIC_ char *afdgets(int fd, TALLOC_CTX *mem_ctx, size_t hint);
338
339 /**
340 load a file into memory from a fd.
341 **/
342 _PUBLIC_ char *fd_load(int fd, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
343
344
345 char **file_lines_parse(char *p, size_t size, int *numlines, TALLOC_CTX *mem_ctx);
346
347 /**
348 load a file into memory
349 **/
350 _PUBLIC_ char *file_load(const char *fname, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
351
352 /**
353 load a file into memory and return an array of pointers to lines in the file
354 must be freed with talloc_free(). 
355 **/
356 _PUBLIC_ char **file_lines_load(const char *fname, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
357
358 /**
359 load a fd into memory and return an array of pointers to lines in the file
360 must be freed with talloc_free(). If convert is true calls unix_to_dos on
361 the list.
362 **/
363 _PUBLIC_ char **fd_lines_load(int fd, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
364
365 _PUBLIC_ bool file_save_mode(const char *fname, const void *packet,
366                              size_t length, mode_t mode);
367 /**
368   save a lump of data into a file. Mostly used for debugging 
369 */
370 _PUBLIC_ bool file_save(const char *fname, const void *packet, size_t length);
371 _PUBLIC_ int vfdprintf(int fd, const char *format, va_list ap) PRINTF_ATTRIBUTE(2,0);
372 _PUBLIC_ int fdprintf(int fd, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
373
374 /*
375   compare two files, return true if the two files have the same content
376  */
377 bool file_compare(const char *path1, const char *path2);
378
379 /* The following definitions come from lib/util/util.c  */
380
381
382 /**
383  Find a suitable temporary directory. The result should be copied immediately
384  as it may be overwritten by a subsequent call.
385 **/
386 _PUBLIC_ const char *tmpdir(void);
387
388 /**
389  * Creates and immediately unlinks a file. Returns open file descriptor.
390  **/
391 _PUBLIC_ int create_unlink_tmp(const char *dir);
392
393 /**
394  Check if a file exists - call vfs_file_exist for samba files.
395 **/
396 _PUBLIC_ bool file_exist(const char *fname);
397
398 /**
399  Check a files mod time.
400 **/
401 _PUBLIC_ time_t file_modtime(const char *fname);
402
403 /**
404  Check if a directory exists.
405 **/
406 _PUBLIC_ bool directory_exist(const char *dname);
407
408 /**
409  Check file permissions.
410 **/
411 _PUBLIC_ bool file_check_permissions(const char *fname,
412                                      uid_t uid,
413                                      mode_t file_perms,
414                                      struct stat *pst);
415
416 /**
417  * Try to create the specified directory if it didn't exist.
418  *
419  * @retval true if the directory already existed and has the right permissions 
420  * or was successfully created.
421  */
422 _PUBLIC_ bool directory_create_or_exist(const char *dname, mode_t dir_perms);
423
424 _PUBLIC_ bool directory_create_or_exist_strict(const char *dname,
425                                                uid_t uid,
426                                                mode_t dir_perms);
427
428 #include "blocking.h"
429
430 /**
431  Sleep for a specified number of milliseconds.
432 **/
433 _PUBLIC_ void smb_msleep(unsigned int t);
434
435 /**
436  Get my own name, return in talloc'ed storage.
437 **/
438 _PUBLIC_ char* get_myname(TALLOC_CTX *mem_ctx);
439
440 /**
441  Check if a process exists. Does this work on all unixes?
442 **/
443 _PUBLIC_ bool process_exists_by_pid(pid_t pid);
444
445 /**
446  Simple routine to do POSIX file locking. Cruft in NFS and 64->32 bit mapping
447  is dealt with in posix.c
448 **/
449 _PUBLIC_ bool fcntl_lock(int fd, int op, off_t offset, off_t count, int type);
450
451 /**
452  * Write dump of binary data to the log file.
453  *
454  * The data is only written if the log level is at least level.
455  * 16 zero bytes in a row are omitted
456  */
457 _PUBLIC_ void dump_data_skip_zeros(int level, const uint8_t *buf, int len);
458
459 /**
460  malloc that aborts with smb_panic on fail or zero size.
461 **/
462 _PUBLIC_ void *smb_xmalloc(size_t size);
463
464 /**
465  Memdup with smb_panic on fail.
466 **/
467 _PUBLIC_ void *smb_xmemdup(const void *p, size_t size);
468
469 /**
470  strdup that aborts on malloc fail.
471 **/
472 _PUBLIC_ char *smb_xstrdup(const char *s);
473
474 char *smb_xstrndup(const char *s, size_t n);
475
476 /**
477  Like strdup but for memory.
478 **/
479 _PUBLIC_ void *smb_memdup(const void *p, size_t size);
480
481 /**
482  * Write a password to the log file.
483  *
484  * @note Only actually does something if DEBUG_PASSWORD was defined during 
485  * compile-time.
486  */
487 _PUBLIC_ void dump_data_pw(const char *msg, const uint8_t * data, size_t len);
488
489 /**
490  * see if a range of memory is all zero. A NULL pointer is considered
491  * to be all zero 
492  */
493 _PUBLIC_ bool all_zero(const uint8_t *ptr, size_t size);
494
495 /**
496   realloc an array, checking for integer overflow in the array size
497 */
498 _PUBLIC_ void *realloc_array(void *ptr, size_t el_size, unsigned count, bool free_on_fail);
499
500 void *malloc_array(size_t el_size, unsigned int count);
501
502 void *memalign_array(size_t el_size, size_t align, unsigned int count);
503
504 void *calloc_array(size_t size, size_t nmemb);
505
506 /* The following definitions come from lib/util/fsusage.c  */
507
508
509 /**
510  * Retrieve amount of free disk space.
511  * this does all of the system specific guff to get the free disk space.
512  * It is derived from code in the GNU fileutils package, but has been
513  * considerably mangled for use here 
514  *
515  * results are returned in *dfree and *dsize, in 512 byte units
516 */
517 _PUBLIC_ int sys_fsusage(const char *path, uint64_t *dfree, uint64_t *dsize);
518
519 /* The following definitions come from lib/util/ms_fnmatch.c  */
520
521
522 /**
523  * @file
524  * @brief MS-style Filename matching
525  */
526
527 int ms_fnmatch_protocol(const char *pattern, const char *string, int protocol);
528
529 /** a generic fnmatch function - uses for non-CIFS pattern matching */
530 int gen_fnmatch(const char *pattern, const char *string);
531
532 #include "idtree.h"
533 #include "idtree_random.h"
534
535 /**
536  Close the low 3 fd's and open dev/null in their place
537 **/
538 _PUBLIC_ void close_low_fds(bool stdin_too, bool stdout_too, bool stderr_too);
539
540 /**
541  Become a daemon, discarding the controlling terminal.
542 **/
543 _PUBLIC_ void become_daemon(bool do_fork, bool no_process_group, bool log_stdout);
544
545 /**
546  Exit daemon and print error message to the log at level 0
547  Optionally report failure to systemd if systemd integration is enabled
548 **/
549 _PUBLIC_ void exit_daemon(const char *msg, int error);
550
551 /**
552  Report that the daemon is ready to serve connections to the log at level 0
553  Optionally report status to systemd if systemd integration is enabled
554 **/
555 _PUBLIC_ void daemon_ready(const char *daemon);
556
557 /*
558  * Report the daemon status. For example if it is not ready to serve connections
559  * and is waiting for some event to happen.
560  */
561 _PUBLIC_ void daemon_status(const char *name, const char *msg);
562
563 /**
564  * @brief Get a password from the console.
565  *
566  * You should make sure that the buffer is an empty string!
567  *
568  * You can also use this function to ask for a username. Then you can fill the
569  * buffer with the username and it is shows to the users. If the users just
570  * presses enter the buffer will be untouched.
571  *
572  * @code
573  *   char username[128];
574  *
575  *   snprintf(username, sizeof(username), "john");
576  *
577  *   smb_getpass("Username:", username, sizeof(username), 1, 0);
578  * @endcode
579  *
580  * The prompt will look like this:
581  *
582  *   Username: [john]
583  *
584  * If you press enter then john is used as the username, or you can type it in
585  * to change it.
586  *
587  * @param[in]  prompt   The prompt to show to ask for the password.
588  *
589  * @param[out] buf    The buffer the password should be stored. It NEEDS to be
590  *                      empty or filled out.
591  *
592  * @param[in]  len      The length of the buffer.
593  *
594  * @param[in]  echo     Should we echo what you type.
595  *
596  * @param[in]  verify   Should we ask for the password twice.
597  *
598  * @return              0 on success, -1 on error.
599  */
600 _PUBLIC_ int samba_getpass(const char *prompt, char *buf, size_t len,
601                            bool echo, bool verify);
602
603 /**
604  * Load a ini-style file.
605  */
606 bool pm_process( const char *fileName,
607                  bool (*sfunc)(const char *, void *),
608                  bool (*pfunc)(const char *, const char *, void *),
609                                  void *userdata);
610
611 void print_asc(int level, const uint8_t *buf,int len);
612 void print_asc_cb(const uint8_t *buf, int len,
613                   void (*cb)(const char *buf, void *private_data),
614                   void *private_data);
615
616 /**
617  * Add an id to an array of ids.
618  *
619  * num should be a pointer to an integer that holds the current
620  * number of elements in ids. It will be updated by this function.
621  */
622
623 bool add_uid_to_array_unique(TALLOC_CTX *mem_ctx, uid_t uid,
624                              uid_t **uids, uint32_t *num_uids);
625 bool add_gid_to_array_unique(TALLOC_CTX *mem_ctx, gid_t gid,
626                              gid_t **gids, uint32_t *num_gids);
627
628 /**
629  * Allocate anonymous shared memory of the given size
630  */
631 void *anonymous_shared_allocate(size_t bufsz);
632 void *anonymous_shared_resize(void *ptr, size_t new_size, bool maymove);
633 void anonymous_shared_free(void *ptr);
634
635 /*
636   run a command as a child process, with a timeout.
637
638   any stdout/stderr from the child will appear in the Samba logs with
639   the specified log levels
640
641   If callback is set then the callback is called on completion
642   with the return code from the command
643  */
644 struct tevent_context;
645 struct tevent_req;
646 struct tevent_req *samba_runcmd_send(TALLOC_CTX *mem_ctx,
647                                      struct tevent_context *ev,
648                                      struct timeval endtime,
649                                      int stdout_log_level,
650                                      int stderr_log_level,
651                                      const char * const *argv0, ...);
652 int samba_runcmd_recv(struct tevent_req *req, int *perrno);
653
654 #ifdef DEVELOPER
655 void samba_start_debugger(void);
656 #endif
657
658 /**
659  * @brief Returns an absolute path to a file in the Samba modules directory.
660  *
661  * @param name File to find, relative to MODULESDIR.
662  *
663  * @retval Pointer to a string containing the full path.
664  **/
665 char *modules_path(TALLOC_CTX *mem_ctx, const char *name);
666
667 /**
668  * @brief Returns an absolute path to a file in the Samba data directory.
669  *
670  * @param name File to find, relative to CODEPAGEDIR.
671  *
672  * @retval Pointer to a talloc'ed string containing the full path.
673  **/
674 char *data_path(TALLOC_CTX *mem_ctx, const char *name);
675
676 /**
677  * @brief Returns the platform specific shared library extension.
678  *
679  * @retval Pointer to a const char * containing the extension.
680  **/
681 const char *shlib_ext(void);
682
683 struct server_id;
684
685 struct server_id_buf { char buf[48]; }; /* probably a bit too large ... */
686 char *server_id_str_buf(struct server_id id, struct server_id_buf *dst);
687 size_t server_id_str_buf_unique(struct server_id id, char *buf, size_t buflen);
688
689 bool server_id_same_process(const struct server_id *p1,
690                             const struct server_id *p2);
691 bool server_id_equal(const struct server_id *p1, const struct server_id *p2);
692 struct server_id server_id_from_string(uint32_t local_vnn,
693                                        const char *pid_string);
694
695 /**
696  * Set the serverid to the special value that represents a disconnected
697  * client for (e.g.) durable handles.
698  */
699 void server_id_set_disconnected(struct server_id *id);
700
701 /**
702  * check whether a serverid is the special placeholder for
703  * a disconnected client
704  */
705 bool server_id_is_disconnected(const struct server_id *id);
706
707 #define SERVER_ID_BUF_LENGTH 24
708 void server_id_put(uint8_t buf[SERVER_ID_BUF_LENGTH],
709                    const struct server_id id);
710 void server_id_get(struct server_id *id,
711                    const uint8_t buf[SERVER_ID_BUF_LENGTH]);
712
713 /*
714  * Samba code should use samba_tevent_context_init() instead of
715  * tevent_context_init() in order to get the debug output.
716  */
717 struct tevent_context *samba_tevent_context_init(TALLOC_CTX *mem_ctx);
718
719 /*
720  * if same samba code needs to use a specific tevent backend
721  * it can use something like this:
722  *
723  * samba_tevent_set_debug(ev, "pysmb_tevent");
724  */
725 void samba_tevent_set_debug(struct tevent_context *ev, const char *name);
726
727 #endif /* _SAMBA_UTIL_H_ */