ndrdump: Add the option --hex-input for hexdump parsing
[kai/samba-autobuild/.git] / lib / util / samba_util.h
1 /* 
2    Unix SMB/CIFS implementation.
3    Utility functions for Samba
4    Copyright (C) Andrew Tridgell 1992-1999
5    Copyright (C) Jelmer Vernooij 2005
6     
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11    
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16    
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 */
20
21 #ifndef _SAMBA_UTIL_H_
22 #define _SAMBA_UTIL_H_
23
24 #ifndef SAMBA_UTIL_CORE_ONLY
25 #include "lib/util/charset/charset.h"
26 #else
27 #include "charset_compat.h"
28 #endif
29
30 #include "lib/util/attr.h"
31
32 /* for TALLOC_CTX */
33 #include <talloc.h>
34
35 /* for struct stat */
36 #include <sys/stat.h>
37
38 /**
39  * @file
40  * @brief Helpful macros
41  */
42
43 struct smbsrv_tcon;
44
45 extern const char *panic_action;
46
47 #include "lib/util/time.h"
48 #include "lib/util/data_blob.h"
49 #include "lib/util/byteorder.h"
50 #include "lib/util/talloc_stack.h"
51
52 #ifndef ABS
53 #define ABS(a) ((a)>0?(a):(-(a)))
54 #endif
55
56 #include "lib/util/memory.h"
57
58 #include "fault.h"
59
60 #include "lib/util/util.h"
61
62 /**
63  * Write backtrace to debug log
64  */
65 _PUBLIC_ void dump_core_setup(const char *progname, const char *logfile);
66
67 /**
68   register a fault handler. 
69   Should only be called once in the execution of smbd.
70 */
71 _PUBLIC_ bool register_fault_handler(const char *name, void (*fault_handler)(int sig));
72
73 #include "lib/util/signal.h" /* Avoid /usr/include/signal.h */
74
75 struct sockaddr;
76
77 _PUBLIC_ int sys_getnameinfo(const struct sockaddr *psa,
78                              int salen,
79                              char *host,
80                              size_t hostlen,
81                              char *service,
82                              size_t servlen,
83                              int flags);
84
85 /* The following definitions come from lib/util/genrand.c  */
86
87 #include "lib/util/genrand.h"
88
89 /**
90   generate a single random uint32_t
91 **/
92 _PUBLIC_ uint32_t generate_random(void);
93
94 /**
95   very basic password quality checker
96 **/
97 _PUBLIC_ bool check_password_quality(const char *s);
98
99 /**
100  * Generate a random text password.
101  */
102 _PUBLIC_ char *generate_random_password(TALLOC_CTX *mem_ctx, size_t min, size_t max);
103
104 /**
105  Use the random number generator to generate a random string.
106 **/
107 _PUBLIC_ char *generate_random_str_list(TALLOC_CTX *mem_ctx, size_t len, const char *list);
108
109 /**
110  * Generate a random text string consisting of the specified length.
111  * The returned string will be allocated.
112  *
113  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
114  */
115 _PUBLIC_ char *generate_random_str(TALLOC_CTX *mem_ctx, size_t len);
116
117 /**
118  * Generate an array of unique text strings all of the same length.
119  * The returned strings will be allocated.
120  * Returns NULL if the number of unique combinations cannot be created.
121  *
122  * Characters used are: ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+_-#.,
123  */
124 _PUBLIC_ char** generate_unique_strs(TALLOC_CTX *mem_ctx, size_t len,
125                                          uint32_t num);
126
127 /* The following definitions come from lib/util/dprintf.c  */
128
129 _PUBLIC_ int d_fprintf(FILE *f, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
130 _PUBLIC_ int d_printf(const char *format, ...) PRINTF_ATTRIBUTE(1,2);
131 _PUBLIC_ void display_set_stderr(void);
132
133 /* The following definitions come from lib/util/util_str.c  */
134
135 bool next_token_talloc(TALLOC_CTX *ctx,
136                         const char **ptr,
137                         char **pp_buff,
138                         const char *sep);
139
140 /**
141  * Get the next token from a string, return false if none found.  Handles
142  * double-quotes.  This version does not trim leading separator characters
143  * before looking for a token.
144  */
145 bool next_token_no_ltrim_talloc(TALLOC_CTX *ctx,
146                         const char **ptr,
147                         char **pp_buff,
148                         const char *sep);
149
150
151 /**
152  Trim the specified elements off the front and back of a string.
153 **/
154 _PUBLIC_ bool trim_string(char *s, const char *front, const char *back);
155
156 /**
157  Find the number of 'c' chars in a string
158 **/
159 _PUBLIC_ _PURE_ size_t count_chars(const char *s, char c);
160
161 /**
162  Routine to get hex characters and turn them into a 16 byte array.
163  the array can be variable length, and any non-hex-numeric
164  characters are skipped.  "0xnn" or "0Xnn" is specially catered
165  for.
166
167  valid examples: "0A5D15"; "0x15, 0x49, 0xa2"; "59\ta9\te3\n"
168
169
170 **/
171 _PUBLIC_ size_t strhex_to_str(char *p, size_t p_len, const char *strhex, size_t strhex_len);
172
173 /** 
174  * Parse a hex string and return a data blob. 
175  */
176 _PUBLIC_ _PURE_ DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex) ;
177
178 /**
179  * Parse a hex dump and return a data blob
180  */
181 _PUBLIC_ _PURE_ DATA_BLOB hexdump_to_data_blob(TALLOC_CTX *mem_ctx, const char *hexdump, size_t len);
182
183 /**
184  * Print a buf in hex. Assumes dst is at least (srclen*2)+1 large.
185  */
186 _PUBLIC_ void hex_encode_buf(char *dst, const uint8_t *src, size_t srclen);
187
188 /**
189  * talloc version of hex_encode_buf()
190  */
191 _PUBLIC_ char *hex_encode_talloc(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len);
192
193 #include "substitute.h"
194
195 /**
196  Unescape a URL encoded string, in place.
197 **/
198 _PUBLIC_ void rfc1738_unescape(char *buf);
199
200
201 /**
202  * rfc1738_escape
203  * Returns a static buffer that contains the RFC
204  * 1738 compliant, escaped version of the given url. (escapes unsafe and % characters)
205  **/
206 _PUBLIC_ char *rfc1738_escape(TALLOC_CTX *mem_ctx, const char *url);
207
208 /**
209  * rfc1738_escape_unescaped
210  *
211  * Returns a static buffer that contains
212  * the RFC 1738 compliant, escaped version of the given url (escapes unsafe chars only)
213  **/
214 _PUBLIC_ char *rfc1738_escape_unescaped(TALLOC_CTX *mem_ctx, const char *url);
215
216 /**
217  * rfc1738_escape_part 
218  * Returns a static buffer that contains the RFC
219  * 1738 compliant, escaped version of the given url segment. (escapes
220  * unsafe, reserved and % chars) It would mangle the :// in http://,
221  * and mangle paths (because of /).
222  **/
223 _PUBLIC_ char *rfc1738_escape_part(TALLOC_CTX *mem_ctx, const char *url);
224
225 /**
226   varient of strcmp() that handles NULL ptrs
227 **/
228 _PUBLIC_ int strcmp_safe(const char *s1, const char *s2);
229
230 /**
231 return the number of bytes occupied by a buffer in ASCII format
232 the result includes the null termination
233 limited by 'n' bytes
234 **/
235 _PUBLIC_ size_t ascii_len_n(const char *src, size_t n);
236
237 /**
238  Set a boolean variable from the text value stored in the passed string.
239  Returns true in success, false if the passed string does not correctly 
240  represent a boolean.
241 **/
242 _PUBLIC_ bool set_boolean(const char *boolean_string, bool *boolean);
243
244 /**
245  * Parse a string containing a boolean value.
246  *
247  * val will be set to the read value.
248  *
249  * @retval true if a boolean value was parsed, false otherwise.
250  */
251 _PUBLIC_ bool conv_str_bool(const char * str, bool * val);
252
253 /**
254  * Convert a size specification like 16K into an integral number of bytes. 
255  **/
256 _PUBLIC_ bool conv_str_size_error(const char * str, uint64_t * val);
257
258 /**
259  * Parse a uint64_t value from a string
260  *
261  * val will be set to the value read.
262  *
263  * @retval true if parsing was successful, false otherwise
264  */
265 _PUBLIC_ bool conv_str_u64(const char * str, uint64_t * val);
266
267 /**
268 return the number of bytes occupied by a buffer in CH_UTF16 format
269 the result includes the null termination
270 **/
271 _PUBLIC_ size_t utf16_len(const void *buf);
272
273 /**
274 return the number of bytes occupied by a buffer in CH_UTF16 format
275 the result includes the null termination
276 limited by 'n' bytes
277 **/
278 _PUBLIC_ size_t utf16_len_n(const void *src, size_t n);
279 _PUBLIC_ size_t ucs2_align(const void *base_ptr, const void *p, int flags);
280
281 /**
282  * @brief Constant time compare to memory regions.
283  *
284  * @param[in]  s1  The first memory region to compare.
285  *
286  * @param[in]  s2  The second memory region to compare.
287  *
288  * @param[in]  n   The length of the memory to comapre.
289  *
290  * @return 0 when the memory regions are equal, 0 if not.
291  */
292 _PUBLIC_ int memcmp_const_time(const void *s1, const void *s2, size_t n);
293
294 /**
295 Do a case-insensitive, whitespace-ignoring string compare.
296 **/
297 _PUBLIC_ int strwicmp(const char *psz1, const char *psz2);
298
299 /**
300  String replace.
301 **/
302 _PUBLIC_ void string_replace(char *s, char oldc, char newc);
303
304 /**
305  * Compare 2 strings.
306  *
307  * @note The comparison is case-insensitive.
308  **/
309 _PUBLIC_ bool strequal(const char *s1, const char *s2);
310
311 #include "util_strlist.h"
312
313 /* The following definitions come from lib/util/util_strlist_v3.c  */
314
315 /**
316  * Needed for making an "unconst" list "const"
317  */
318 _PUBLIC_ const char **const_str_list(char **list);
319
320 /**
321  * str_list_make, v3 version. The v4 version does not
322  * look at quoted strings with embedded blanks, so
323  * do NOT merge this function please!
324  */
325 char **str_list_make_v3(TALLOC_CTX *mem_ctx, const char *string,
326         const char *sep);
327
328
329 const char **str_list_make_v3_const(TALLOC_CTX *mem_ctx,
330                                     const char *string,
331                                     const char *sep);
332
333 /* The following definitions come from lib/util/util_file.c  */
334
335
336 /**
337  * Read one line (data until next newline or eof) and allocate it 
338  */
339 _PUBLIC_ char *afdgets(int fd, TALLOC_CTX *mem_ctx, size_t hint);
340
341 char *fgets_slash(TALLOC_CTX *mem_ctx, char *s2, int maxlen, FILE *f);
342
343 /**
344 load a file into memory from a fd.
345 **/
346 _PUBLIC_ char *fd_load(int fd, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
347
348
349 char **file_lines_parse(char *p, size_t size, int *numlines, TALLOC_CTX *mem_ctx);
350
351 /**
352 load a file into memory
353 **/
354 _PUBLIC_ char *file_load(const char *fname, size_t *size, size_t maxsize, TALLOC_CTX *mem_ctx);
355
356 /**
357 load a file into memory and return an array of pointers to lines in the file
358 must be freed with talloc_free(). 
359 **/
360 _PUBLIC_ char **file_lines_load(const char *fname, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
361
362 /**
363 load a fd into memory and return an array of pointers to lines in the file
364 must be freed with talloc_free(). If convert is true calls unix_to_dos on
365 the list.
366 **/
367 _PUBLIC_ char **fd_lines_load(int fd, int *numlines, size_t maxsize, TALLOC_CTX *mem_ctx);
368
369 _PUBLIC_ bool file_save_mode(const char *fname, const void *packet,
370                              size_t length, mode_t mode);
371 /**
372   save a lump of data into a file. Mostly used for debugging 
373 */
374 _PUBLIC_ bool file_save(const char *fname, const void *packet, size_t length);
375 _PUBLIC_ int vfdprintf(int fd, const char *format, va_list ap) PRINTF_ATTRIBUTE(2,0);
376 _PUBLIC_ int fdprintf(int fd, const char *format, ...) PRINTF_ATTRIBUTE(2,3);
377
378 /*
379   compare two files, return true if the two files have the same content
380  */
381 bool file_compare(const char *path1, const char *path2);
382
383 /* The following definitions come from lib/util/util.c  */
384
385
386 /**
387  Find a suitable temporary directory. The result should be copied immediately
388  as it may be overwritten by a subsequent call.
389 **/
390 _PUBLIC_ const char *tmpdir(void);
391
392 /**
393  * Creates and immediately unlinks a file. Returns open file descriptor.
394  **/
395 _PUBLIC_ int create_unlink_tmp(const char *dir);
396
397 /**
398  Check if a file exists - call vfs_file_exist for samba files.
399 **/
400 _PUBLIC_ bool file_exist(const char *fname);
401
402 /**
403  Check a files mod time.
404 **/
405 _PUBLIC_ time_t file_modtime(const char *fname);
406
407 /**
408  Check if a directory exists.
409 **/
410 _PUBLIC_ bool directory_exist(const char *dname);
411
412 /**
413  Check file permissions.
414 **/
415 _PUBLIC_ bool file_check_permissions(const char *fname,
416                                      uid_t uid,
417                                      mode_t file_perms,
418                                      struct stat *pst);
419
420 /**
421  * Try to create the specified directory if it didn't exist.
422  *
423  * @retval true if the directory already existed and has the right permissions 
424  * or was successfully created.
425  */
426 _PUBLIC_ bool directory_create_or_exist(const char *dname, mode_t dir_perms);
427
428 _PUBLIC_ bool directory_create_or_exist_strict(const char *dname,
429                                                uid_t uid,
430                                                mode_t dir_perms);
431
432 #include "blocking.h"
433
434 /**
435  Sleep for a specified number of milliseconds.
436 **/
437 _PUBLIC_ void smb_msleep(unsigned int t);
438
439 /**
440  Get my own name, return in talloc'ed storage.
441 **/
442 _PUBLIC_ char* get_myname(TALLOC_CTX *mem_ctx);
443
444 /**
445  Check if a process exists. Does this work on all unixes?
446 **/
447 _PUBLIC_ bool process_exists_by_pid(pid_t pid);
448
449 /**
450  Simple routine to do POSIX file locking. Cruft in NFS and 64->32 bit mapping
451  is dealt with in posix.c
452 **/
453 _PUBLIC_ bool fcntl_lock(int fd, int op, off_t offset, off_t count, int type);
454
455 /**
456  * Write dump of binary data to the log file.
457  *
458  * The data is only written if the log level is at least level.
459  * 16 zero bytes in a row are omitted
460  */
461 _PUBLIC_ void dump_data_skip_zeros(int level, const uint8_t *buf, int len);
462
463 /**
464  malloc that aborts with smb_panic on fail or zero size.
465 **/
466 _PUBLIC_ void *smb_xmalloc(size_t size);
467
468 /**
469  Memdup with smb_panic on fail.
470 **/
471 _PUBLIC_ void *smb_xmemdup(const void *p, size_t size);
472
473 /**
474  strdup that aborts on malloc fail.
475 **/
476 _PUBLIC_ char *smb_xstrdup(const char *s);
477
478 char *smb_xstrndup(const char *s, size_t n);
479
480 /**
481  Like strdup but for memory.
482 **/
483 _PUBLIC_ void *smb_memdup(const void *p, size_t size);
484
485 /**
486  * Write a password to the log file.
487  *
488  * @note Only actually does something if DEBUG_PASSWORD was defined during 
489  * compile-time.
490  */
491 _PUBLIC_ void dump_data_pw(const char *msg, const uint8_t * data, size_t len);
492
493 /**
494  * see if a range of memory is all zero. A NULL pointer is considered
495  * to be all zero 
496  */
497 _PUBLIC_ bool all_zero(const uint8_t *ptr, size_t size);
498
499 /**
500   realloc an array, checking for integer overflow in the array size
501 */
502 _PUBLIC_ void *realloc_array(void *ptr, size_t el_size, unsigned count, bool free_on_fail);
503
504 void *malloc_array(size_t el_size, unsigned int count);
505
506 void *memalign_array(size_t el_size, size_t align, unsigned int count);
507
508 void *calloc_array(size_t size, size_t nmemb);
509
510 /* The following definitions come from lib/util/fsusage.c  */
511
512
513 /**
514  * Retrieve amount of free disk space.
515  * this does all of the system specific guff to get the free disk space.
516  * It is derived from code in the GNU fileutils package, but has been
517  * considerably mangled for use here 
518  *
519  * results are returned in *dfree and *dsize, in 512 byte units
520 */
521 _PUBLIC_ int sys_fsusage(const char *path, uint64_t *dfree, uint64_t *dsize);
522
523 /* The following definitions come from lib/util/ms_fnmatch.c  */
524
525
526 /**
527  * @file
528  * @brief MS-style Filename matching
529  */
530
531 int ms_fnmatch_protocol(const char *pattern, const char *string, int protocol,
532                         bool is_case_sensitive);
533
534 /** a generic fnmatch function - uses for non-CIFS pattern matching */
535 int gen_fnmatch(const char *pattern, const char *string);
536
537 #include "idtree.h"
538 #include "idtree_random.h"
539
540 /**
541  Close the low 3 fd's and open dev/null in their place
542 **/
543 _PUBLIC_ void close_low_fds(bool stdin_too, bool stdout_too, bool stderr_too);
544
545 /**
546  Become a daemon, discarding the controlling terminal.
547 **/
548 _PUBLIC_ void become_daemon(bool do_fork, bool no_process_group, bool log_stdout);
549
550 /**
551  Exit daemon and print error message to the log at level 0
552  Optionally report failure to systemd if systemd integration is enabled
553 **/
554 _PUBLIC_ void exit_daemon(const char *msg, int error);
555
556 /**
557  Report that the daemon is ready to serve connections to the log at level 0
558  Optionally report status to systemd if systemd integration is enabled
559 **/
560 _PUBLIC_ void daemon_ready(const char *daemon);
561
562 /*
563  * Report the daemon status. For example if it is not ready to serve connections
564  * and is waiting for some event to happen.
565  */
566 _PUBLIC_ void daemon_status(const char *name, const char *msg);
567
568 /**
569  * @brief Get a password from the console.
570  *
571  * You should make sure that the buffer is an empty string!
572  *
573  * You can also use this function to ask for a username. Then you can fill the
574  * buffer with the username and it is shows to the users. If the users just
575  * presses enter the buffer will be untouched.
576  *
577  * @code
578  *   char username[128];
579  *
580  *   snprintf(username, sizeof(username), "john");
581  *
582  *   smb_getpass("Username:", username, sizeof(username), 1, 0);
583  * @endcode
584  *
585  * The prompt will look like this:
586  *
587  *   Username: [john]
588  *
589  * If you press enter then john is used as the username, or you can type it in
590  * to change it.
591  *
592  * @param[in]  prompt   The prompt to show to ask for the password.
593  *
594  * @param[out] buf    The buffer the password should be stored. It NEEDS to be
595  *                    empty or filled out.
596  *
597  * @param[in]  len      The length of the buffer.
598  *
599  * @param[in]  echo     Should we echo what you type.
600  *
601  * @param[in]  verify   Should we ask for the password twice.
602  *
603  * @return              0 on success, -1 on error.
604  */
605 _PUBLIC_ int samba_getpass(const char *prompt, char *buf, size_t len,
606                            bool echo, bool verify);
607
608 /**
609  * Load a ini-style file.
610  */
611 bool pm_process( const char *fileName,
612                  bool (*sfunc)(const char *, void *),
613                  bool (*pfunc)(const char *, const char *, void *),
614                                  void *userdata);
615 bool pm_process_with_flags(const char *filename,
616                            bool allow_empty_values,
617                            bool (*sfunc)(const char *section, void *private_data),
618                            bool (*pfunc)(const char *name, const char *value,
619                                          void *private_data),
620                            void *private_data);
621
622 void print_asc(int level, const uint8_t *buf,int len);
623 void print_asc_cb(const uint8_t *buf, int len,
624                   void (*cb)(const char *buf, void *private_data),
625                   void *private_data);
626
627 /**
628  * Add an id to an array of ids.
629  *
630  * num should be a pointer to an integer that holds the current
631  * number of elements in ids. It will be updated by this function.
632  */
633
634 bool add_uid_to_array_unique(TALLOC_CTX *mem_ctx, uid_t uid,
635                              uid_t **uids, uint32_t *num_uids);
636 bool add_gid_to_array_unique(TALLOC_CTX *mem_ctx, gid_t gid,
637                              gid_t **gids, uint32_t *num_gids);
638
639 /**
640  * Allocate anonymous shared memory of the given size
641  */
642 void *anonymous_shared_allocate(size_t bufsz);
643 void *anonymous_shared_resize(void *ptr, size_t new_size, bool maymove);
644 void anonymous_shared_free(void *ptr);
645
646 /*
647   run a command as a child process, with a timeout.
648
649   any stdout/stderr from the child will appear in the Samba logs with
650   the specified log levels
651
652   If callback is set then the callback is called on completion
653   with the return code from the command
654  */
655 struct tevent_context;
656 struct tevent_req;
657 struct tevent_req *samba_runcmd_send(TALLOC_CTX *mem_ctx,
658                                      struct tevent_context *ev,
659                                      struct timeval endtime,
660                                      int stdout_log_level,
661                                      int stderr_log_level,
662                                      const char * const *argv0, ...);
663 int samba_runcmd_recv(struct tevent_req *req, int *perrno);
664
665 #ifdef DEVELOPER
666 void samba_start_debugger(void);
667 #endif
668
669 /**
670  * @brief Returns an absolute path to a file in the Samba modules directory.
671  *
672  * @param name File to find, relative to MODULESDIR.
673  *
674  * @retval Pointer to a string containing the full path.
675  **/
676 char *modules_path(TALLOC_CTX *mem_ctx, const char *name);
677
678 /**
679  * @brief Returns an absolute path to a file in the Samba data directory.
680  *
681  * @param name File to find, relative to CODEPAGEDIR.
682  *
683  * @retval Pointer to a talloc'ed string containing the full path.
684  **/
685 char *data_path(TALLOC_CTX *mem_ctx, const char *name);
686
687 /**
688  * @brief Returns the platform specific shared library extension.
689  *
690  * @retval Pointer to a const char * containing the extension.
691  **/
692 const char *shlib_ext(void);
693
694 /*
695  * Samba code should use samba_tevent_context_init() instead of
696  * tevent_context_init() in order to get the debug output.
697  */
698 struct tevent_context *samba_tevent_context_init(TALLOC_CTX *mem_ctx);
699
700 /*
701  * if same samba code needs to use a specific tevent backend
702  * it can use something like this:
703  *
704  * samba_tevent_set_debug(ev, "pysmb_tevent");
705  */
706 void samba_tevent_set_debug(struct tevent_context *ev, const char *name);
707
708 #endif /* _SAMBA_UTIL_H_ */