ntdb: make sure file is always a multiple of PAGESIZE (now NTDB_PGSIZE)
[kai/samba-autobuild/.git] / lib / ntdb / private.h
1 #ifndef NTDB_PRIVATE_H
2 #define NTDB_PRIVATE_H
3 /*
4   Trivial Database 2: private types and prototypes
5   Copyright (C) Rusty Russell 2010
6
7   This library is free software; you can redistribute it and/or
8   modify it under the terms of the GNU Lesser General Public
9   License as published by the Free Software Foundation; either
10   version 3 of the License, or (at your option) any later version.
11
12   This library is distributed in the hope that it will be useful,
13   but WITHOUT ANY WARRANTY; without even the implied warranty of
14   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15   Lesser General Public License for more details.
16
17   You should have received a copy of the GNU Lesser General Public
18   License along with this library; if not, see <http://www.gnu.org/licenses/>.
19 */
20
21 #include "config.h"
22 #ifndef HAVE_CCAN
23 #error You need ccan to build ntdb!
24 #endif
25 #include "ntdb.h"
26 #include <ccan/compiler/compiler.h>
27 #include <ccan/likely/likely.h>
28 #include <ccan/endian/endian.h>
29
30 #ifdef HAVE_LIBREPLACE
31 #include "replace.h"
32 #include "system/filesys.h"
33 #include "system/time.h"
34 #include "system/shmem.h"
35 #include "system/select.h"
36 #include "system/wait.h"
37 #else
38 #include <stdint.h>
39 #include <stdbool.h>
40 #include <stdlib.h>
41 #include <stddef.h>
42 #include <sys/time.h>
43 #include <sys/mman.h>
44 #include <unistd.h>
45 #include <fcntl.h>
46 #include <errno.h>
47 #include <stdio.h>
48 #include <utime.h>
49 #include <unistd.h>
50 #endif
51
52 #ifndef TEST_IT
53 #define TEST_IT(cond)
54 #endif
55
56 /* #define NTDB_TRACE 1 */
57
58 #ifndef __STRING
59 #define __STRING(x)    #x
60 #endif
61
62 #ifndef __STRINGSTRING
63 #define __STRINGSTRING(x) __STRING(x)
64 #endif
65
66 #ifndef __location__
67 #define __location__ __FILE__ ":" __STRINGSTRING(__LINE__)
68 #endif
69
70 typedef uint64_t ntdb_len_t;
71 typedef uint64_t ntdb_off_t;
72
73 #define NTDB_MAGIC_FOOD "NTDB file\n"
74 #define NTDB_VERSION ((uint64_t)(0x26011967 + 7))
75 #define NTDB_USED_MAGIC ((uint64_t)0x1999)
76 #define NTDB_HTABLE_MAGIC ((uint64_t)0x1888)
77 #define NTDB_CHAIN_MAGIC ((uint64_t)0x1777)
78 #define NTDB_FTABLE_MAGIC ((uint64_t)0x1666)
79 #define NTDB_CAP_MAGIC ((uint64_t)0x1555)
80 #define NTDB_FREE_MAGIC ((uint64_t)0xFE)
81 #define NTDB_HASH_MAGIC (0xA1ABE11A01092008ULL)
82 #define NTDB_RECOVERY_MAGIC (0xf53bc0e7ad124589ULL)
83 #define NTDB_RECOVERY_INVALID_MAGIC (0x0ULL)
84
85 /* Capability bits. */
86 #define NTDB_CAP_TYPE_MASK      0x1FFFFFFFFFFFFFFFULL
87 #define NTDB_CAP_NOCHECK                0x8000000000000000ULL
88 #define NTDB_CAP_NOWRITE                0x4000000000000000ULL
89 #define NTDB_CAP_NOOPEN         0x2000000000000000ULL
90
91 #define NTDB_OFF_IS_ERR(off) unlikely(off >= (ntdb_off_t)(long)NTDB_ERR_LAST)
92 #define NTDB_OFF_TO_ERR(off) ((enum NTDB_ERROR)(long)(off))
93 #define NTDB_ERR_TO_OFF(ecode) ((ntdb_off_t)(long)(ecode))
94
95 /* Packing errors into pointers and v.v. */
96 #define NTDB_PTR_IS_ERR(ptr)                                            \
97         unlikely((unsigned long)(ptr) >= (unsigned long)NTDB_ERR_LAST)
98 #define NTDB_PTR_ERR(p) ((enum NTDB_ERROR)(long)(p))
99 #define NTDB_ERR_PTR(err) ((void *)(long)(err))
100
101 /* This doesn't really need to be pagesize, but we use it for similar
102  * reasons. */
103 #define NTDB_PGSIZE 65536
104
105 /* Common case of returning true, false or -ve error. */
106 typedef int ntdb_bool_err;
107
108 /* Prevent others from opening the file. */
109 #define NTDB_OPEN_LOCK 0
110 /* Expanding file. */
111 #define NTDB_EXPANSION_LOCK 2
112 /* Doing a transaction. */
113 #define NTDB_TRANSACTION_LOCK 8
114 /* Hash chain locks. */
115 #define NTDB_HASH_LOCK_START 64
116
117 /* Range for hash locks. */
118 #define NTDB_HASH_LOCK_RANGE_BITS 30
119 #define NTDB_HASH_LOCK_RANGE (1 << NTDB_HASH_LOCK_RANGE_BITS)
120
121 /* We have 1024 entries in the top level. */
122 #define NTDB_TOPLEVEL_HASH_BITS 10
123 /* And 64 entries in each sub-level: thus 64 bits exactly after 9 levels. */
124 #define NTDB_SUBLEVEL_HASH_BITS 6
125 /* And 8 entries in each group, ie 8 groups per sublevel. */
126 #define NTDB_HASH_GROUP_BITS 3
127 /* This is currently 10: beyond this we chain. */
128 #define NTDB_MAX_LEVELS (1+(64-NTDB_TOPLEVEL_HASH_BITS) / NTDB_SUBLEVEL_HASH_BITS)
129
130 /* Extend file by least 100 times larger than needed. */
131 #define NTDB_EXTENSION_FACTOR 100
132
133 /* We steal bits from the offsets to store hash info. */
134 #define NTDB_OFF_HASH_GROUP_MASK ((1ULL << NTDB_HASH_GROUP_BITS) - 1)
135 /* We steal this many upper bits, giving a maximum offset of 64 exabytes. */
136 #define NTDB_OFF_UPPER_STEAL 8
137 #define   NTDB_OFF_UPPER_STEAL_EXTRA 7
138 /* The bit number where we store extra hash bits. */
139 #define NTDB_OFF_HASH_EXTRA_BIT 57
140 #define NTDB_OFF_UPPER_STEAL_SUBHASH_BIT 56
141
142 /* Additional features we understand.  Currently: none. */
143 #define NTDB_FEATURE_MASK ((uint64_t)0)
144
145 /* The bit number where we store the extra hash bits. */
146 /* Convenience mask to get actual offset. */
147 #define NTDB_OFF_MASK                                                   \
148         (((1ULL << (64 - NTDB_OFF_UPPER_STEAL)) - 1) - NTDB_OFF_HASH_GROUP_MASK)
149
150 /* How many buckets in a free list: see size_to_bucket(). */
151 #define NTDB_FREE_BUCKETS (64 - NTDB_OFF_UPPER_STEAL)
152
153 /* We have to be able to fit a free record here. */
154 #define NTDB_MIN_DATA_LEN                                               \
155         (sizeof(struct ntdb_free_record) - sizeof(struct ntdb_used_record))
156
157 /* Indicates this entry is not on an flist (can happen during coalescing) */
158 #define NTDB_FTABLE_NONE ((1ULL << NTDB_OFF_UPPER_STEAL) - 1)
159
160 struct ntdb_used_record {
161         /* For on-disk compatibility, we avoid bitfields:
162            magic: 16,        (highest)
163            key_len_bits: 5,
164            extra_padding: 32
165            hash_bits: 11
166         */
167         uint64_t magic_and_meta;
168         /* The bottom key_len_bits*2 are key length, rest is data length. */
169         uint64_t key_and_data_len;
170 };
171
172 static inline unsigned rec_key_bits(const struct ntdb_used_record *r)
173 {
174         return ((r->magic_and_meta >> 43) & ((1 << 5)-1)) * 2;
175 }
176
177 static inline uint64_t rec_key_length(const struct ntdb_used_record *r)
178 {
179         return r->key_and_data_len & ((1ULL << rec_key_bits(r)) - 1);
180 }
181
182 static inline uint64_t rec_data_length(const struct ntdb_used_record *r)
183 {
184         return r->key_and_data_len >> rec_key_bits(r);
185 }
186
187 static inline uint64_t rec_extra_padding(const struct ntdb_used_record *r)
188 {
189         return (r->magic_and_meta >> 11) & 0xFFFFFFFF;
190 }
191
192 static inline uint32_t rec_hash(const struct ntdb_used_record *r)
193 {
194         return r->magic_and_meta & ((1 << 11) - 1);
195 }
196
197 static inline uint16_t rec_magic(const struct ntdb_used_record *r)
198 {
199         return (r->magic_and_meta >> 48);
200 }
201
202 struct ntdb_free_record {
203         uint64_t magic_and_prev; /* NTDB_OFF_UPPER_STEAL bits magic, then prev */
204         uint64_t ftable_and_len; /* Len not counting these two fields. */
205         /* This is why the minimum record size is 8 bytes.  */
206         uint64_t next;
207 };
208
209 static inline uint64_t frec_prev(const struct ntdb_free_record *f)
210 {
211         return f->magic_and_prev & ((1ULL << (64 - NTDB_OFF_UPPER_STEAL)) - 1);
212 }
213
214 static inline uint64_t frec_magic(const struct ntdb_free_record *f)
215 {
216         return f->magic_and_prev >> (64 - NTDB_OFF_UPPER_STEAL);
217 }
218
219 static inline uint64_t frec_len(const struct ntdb_free_record *f)
220 {
221         return f->ftable_and_len & ((1ULL << (64 - NTDB_OFF_UPPER_STEAL))-1);
222 }
223
224 static inline unsigned frec_ftable(const struct ntdb_free_record *f)
225 {
226         return f->ftable_and_len >> (64 - NTDB_OFF_UPPER_STEAL);
227 }
228
229 struct ntdb_recovery_record {
230         uint64_t magic;
231         /* Length of record (add this header to get total length). */
232         uint64_t max_len;
233         /* Length used. */
234         uint64_t len;
235         /* Old length of file before transaction. */
236         uint64_t eof;
237 };
238
239 /* If we bottom out of the subhashes, we chain. */
240 struct ntdb_chain {
241         ntdb_off_t rec[1 << NTDB_HASH_GROUP_BITS];
242         ntdb_off_t next;
243 };
244
245 /* this is stored at the front of every database */
246 struct ntdb_header {
247         char magic_food[64]; /* for /etc/magic */
248         /* FIXME: Make me 32 bit? */
249         uint64_t version; /* version of the code */
250         uint64_t hash_test; /* result of hashing HASH_MAGIC. */
251         uint64_t hash_seed; /* "random" seed written at creation time. */
252         ntdb_off_t free_table; /* (First) free table. */
253         ntdb_off_t recovery; /* Transaction recovery area. */
254
255         uint64_t features_used; /* Features all writers understand */
256         uint64_t features_offered; /* Features offered */
257
258         uint64_t seqnum; /* Sequence number for NTDB_SEQNUM */
259
260         ntdb_off_t capabilities; /* Optional linked list of capabilities. */
261         ntdb_off_t reserved[22];
262
263         /* Top level hash table. */
264         ntdb_off_t hashtable[1ULL << NTDB_TOPLEVEL_HASH_BITS];
265 };
266
267 struct ntdb_freetable {
268         struct ntdb_used_record hdr;
269         ntdb_off_t next;
270         ntdb_off_t buckets[NTDB_FREE_BUCKETS];
271 };
272
273 struct ntdb_capability {
274         struct ntdb_used_record hdr;
275         ntdb_off_t type;
276         ntdb_off_t next;
277         /* ... */
278 };
279
280 /* Information about a particular (locked) hash entry. */
281 struct hash_info {
282         /* Full hash value of entry. */
283         uint64_t h;
284         /* Start and length of lock acquired. */
285         ntdb_off_t hlock_start;
286         ntdb_len_t hlock_range;
287         /* Start of hash group. */
288         ntdb_off_t group_start;
289         /* Bucket we belong in. */
290         unsigned int home_bucket;
291         /* Bucket we (or an empty space) were found in. */
292         unsigned int found_bucket;
293         /* How many bits of the hash are already used. */
294         unsigned int hash_used;
295         /* Current working group. */
296         ntdb_off_t group[1 << NTDB_HASH_GROUP_BITS];
297 };
298
299 struct traverse_info {
300         struct traverse_level {
301                 ntdb_off_t hashtable;
302                 /* We ignore groups here, and treat it as a big array. */
303                 unsigned entry;
304                 unsigned int total_buckets;
305         } levels[NTDB_MAX_LEVELS + 1];
306         unsigned int num_levels;
307         unsigned int toplevel_group;
308         /* This makes delete-everything-inside-traverse work as expected. */
309         ntdb_off_t prev;
310 };
311
312 enum ntdb_lock_flags {
313         /* WAIT == F_SETLKW, NOWAIT == F_SETLK */
314         NTDB_LOCK_NOWAIT = 0,
315         NTDB_LOCK_WAIT = 1,
316         /* If set, don't log an error on failure. */
317         NTDB_LOCK_PROBE = 2,
318         /* If set, don't check for recovery (used by recovery code). */
319         NTDB_LOCK_NOCHECK = 4,
320 };
321
322 struct ntdb_lock {
323         struct ntdb_context *owner;
324         off_t off;
325         uint32_t count;
326         uint32_t ltype;
327 };
328
329 /* This is only needed for ntdb_access_commit, but used everywhere to
330  * simplify. */
331 struct ntdb_access_hdr {
332         struct ntdb_access_hdr *next;
333         ntdb_off_t off;
334         ntdb_len_t len;
335         bool convert;
336 };
337
338 struct ntdb_file {
339         /* How many are sharing us? */
340         unsigned int refcnt;
341
342         /* Mmap (if any), or malloc (for NTDB_INTERNAL). */
343         void *map_ptr;
344
345         /* How much space has been mapped (<= current file size) */
346         ntdb_len_t map_size;
347
348         /* The file descriptor (-1 for NTDB_INTERNAL). */
349         int fd;
350
351         /* Lock information */
352         pid_t locker;
353         struct ntdb_lock allrecord_lock;
354         size_t num_lockrecs;
355         struct ntdb_lock *lockrecs;
356
357         /* Identity of this file. */
358         dev_t device;
359         ino_t inode;
360 };
361
362 struct ntdb_methods {
363         enum NTDB_ERROR (*tread)(struct ntdb_context *, ntdb_off_t, void *,
364                                  ntdb_len_t);
365         enum NTDB_ERROR (*twrite)(struct ntdb_context *, ntdb_off_t, const void *,
366                                   ntdb_len_t);
367         enum NTDB_ERROR (*oob)(struct ntdb_context *, ntdb_off_t, ntdb_len_t, bool);
368         enum NTDB_ERROR (*expand_file)(struct ntdb_context *, ntdb_len_t);
369         void *(*direct)(struct ntdb_context *, ntdb_off_t, size_t, bool);
370 };
371
372 /*
373   internal prototypes
374 */
375 /* hash.c: */
376 uint64_t ntdb_jenkins_hash(const void *key, size_t length, uint64_t seed,
377                            void *unused);
378
379 enum NTDB_ERROR first_in_hash(struct ntdb_context *ntdb,
380                               struct traverse_info *tinfo,
381                               NTDB_DATA *kbuf, size_t *dlen);
382
383 enum NTDB_ERROR next_in_hash(struct ntdb_context *ntdb,
384                              struct traverse_info *tinfo,
385                              NTDB_DATA *kbuf, size_t *dlen);
386
387 /* Hash random memory. */
388 uint64_t ntdb_hash(struct ntdb_context *ntdb, const void *ptr, size_t len);
389
390 /* Hash on disk. */
391 uint64_t hash_record(struct ntdb_context *ntdb, ntdb_off_t off);
392
393 /* Find and lock a hash entry (or where it would be). */
394 ntdb_off_t find_and_lock(struct ntdb_context *ntdb,
395                          NTDB_DATA key,
396                          int ltype,
397                          struct hash_info *h,
398                          struct ntdb_used_record *rec,
399                          struct traverse_info *tinfo);
400
401 enum NTDB_ERROR replace_in_hash(struct ntdb_context *ntdb,
402                                 struct hash_info *h,
403                                 ntdb_off_t new_off);
404
405 enum NTDB_ERROR add_to_hash(struct ntdb_context *ntdb, struct hash_info *h,
406                             ntdb_off_t new_off);
407
408 enum NTDB_ERROR delete_from_hash(struct ntdb_context *ntdb, struct hash_info *h);
409
410 /* For ntdb_check */
411 bool is_subhash(ntdb_off_t val);
412 enum NTDB_ERROR unknown_capability(struct ntdb_context *ntdb, const char *caller,
413                                    ntdb_off_t type);
414
415 /* free.c: */
416 enum NTDB_ERROR ntdb_ftable_init(struct ntdb_context *ntdb);
417
418 /* check.c needs these to iterate through free lists. */
419 ntdb_off_t first_ftable(struct ntdb_context *ntdb);
420 ntdb_off_t next_ftable(struct ntdb_context *ntdb, ntdb_off_t ftable);
421
422 /* This returns space or -ve error number. */
423 ntdb_off_t alloc(struct ntdb_context *ntdb, size_t keylen, size_t datalen,
424                  uint64_t hash, unsigned magic, bool growing);
425
426 /* Put this record in a free list. */
427 enum NTDB_ERROR add_free_record(struct ntdb_context *ntdb,
428                                 ntdb_off_t off, ntdb_len_t len_with_header,
429                                 enum ntdb_lock_flags waitflag,
430                                 bool coalesce_ok);
431
432 /* Set up header for a used/ftable/htable/chain/capability record. */
433 enum NTDB_ERROR set_header(struct ntdb_context *ntdb,
434                            struct ntdb_used_record *rec,
435                            unsigned magic, uint64_t keylen, uint64_t datalen,
436                            uint64_t actuallen, unsigned hashlow);
437
438 /* Used by ntdb_check to verify. */
439 unsigned int size_to_bucket(ntdb_len_t data_len);
440 ntdb_off_t bucket_off(ntdb_off_t ftable_off, unsigned bucket);
441
442 /* Used by ntdb_summary */
443 ntdb_off_t dead_space(struct ntdb_context *ntdb, ntdb_off_t off);
444
445 /* Adjust expansion, used by create_recovery_area */
446 ntdb_off_t ntdb_expand_adjust(ntdb_off_t map_size, ntdb_off_t size);
447
448 /* io.c: */
449 /* Initialize ntdb->methods. */
450 void ntdb_io_init(struct ntdb_context *ntdb);
451
452 /* Convert endian of the buffer if required. */
453 void *ntdb_convert(const struct ntdb_context *ntdb, void *buf, ntdb_len_t size);
454
455 /* Unmap and try to map the ntdb. */
456 void ntdb_munmap(struct ntdb_file *file);
457 enum NTDB_ERROR ntdb_mmap(struct ntdb_context *ntdb);
458
459 /* Either alloc a copy, or give direct access.  Release frees or noop. */
460 const void *ntdb_access_read(struct ntdb_context *ntdb,
461                              ntdb_off_t off, ntdb_len_t len, bool convert);
462 void *ntdb_access_write(struct ntdb_context *ntdb,
463                         ntdb_off_t off, ntdb_len_t len, bool convert);
464
465 /* Release result of ntdb_access_read/write. */
466 void ntdb_access_release(struct ntdb_context *ntdb, const void *p);
467 /* Commit result of ntdb_acces_write. */
468 enum NTDB_ERROR ntdb_access_commit(struct ntdb_context *ntdb, void *p);
469
470 /* Convenience routine to get an offset. */
471 ntdb_off_t ntdb_read_off(struct ntdb_context *ntdb, ntdb_off_t off);
472
473 /* Write an offset at an offset. */
474 enum NTDB_ERROR ntdb_write_off(struct ntdb_context *ntdb, ntdb_off_t off,
475                                ntdb_off_t val);
476
477 /* Clear an ondisk area. */
478 enum NTDB_ERROR zero_out(struct ntdb_context *ntdb, ntdb_off_t off, ntdb_len_t len);
479
480 /* Return a non-zero offset between >= start < end in this array (or end). */
481 ntdb_off_t ntdb_find_nonzero_off(struct ntdb_context *ntdb,
482                                  ntdb_off_t base,
483                                  uint64_t start,
484                                  uint64_t end);
485
486 /* Return a zero offset in this array, or num. */
487 ntdb_off_t ntdb_find_zero_off(struct ntdb_context *ntdb, ntdb_off_t off,
488                               uint64_t num);
489
490 /* Allocate and make a copy of some offset. */
491 void *ntdb_alloc_read(struct ntdb_context *ntdb, ntdb_off_t offset, ntdb_len_t len);
492
493 /* Writes a converted copy of a record. */
494 enum NTDB_ERROR ntdb_write_convert(struct ntdb_context *ntdb, ntdb_off_t off,
495                                    const void *rec, size_t len);
496
497 /* Reads record and converts it */
498 enum NTDB_ERROR ntdb_read_convert(struct ntdb_context *ntdb, ntdb_off_t off,
499                                   void *rec, size_t len);
500
501 /* Bump the seqnum (caller checks for ntdb->flags & NTDB_SEQNUM) */
502 void ntdb_inc_seqnum(struct ntdb_context *ntdb);
503
504 /* lock.c: */
505 /* Print message because another ntdb owns a lock we want. */
506 enum NTDB_ERROR owner_conflict(struct ntdb_context *ntdb, const char *call);
507
508 /* If we fork, we no longer really own locks. */
509 bool check_lock_pid(struct ntdb_context *ntdb, const char *call, bool log);
510
511 /* Lock/unlock a range of hashes. */
512 enum NTDB_ERROR ntdb_lock_hashes(struct ntdb_context *ntdb,
513                                  ntdb_off_t hash_lock, ntdb_len_t hash_range,
514                                  int ltype, enum ntdb_lock_flags waitflag);
515 enum NTDB_ERROR ntdb_unlock_hashes(struct ntdb_context *ntdb,
516                                    ntdb_off_t hash_lock,
517                                    ntdb_len_t hash_range, int ltype);
518
519 /* For closing the file. */
520 void ntdb_lock_cleanup(struct ntdb_context *ntdb);
521
522 /* Lock/unlock a particular free bucket. */
523 enum NTDB_ERROR ntdb_lock_free_bucket(struct ntdb_context *ntdb, ntdb_off_t b_off,
524                                       enum ntdb_lock_flags waitflag);
525 void ntdb_unlock_free_bucket(struct ntdb_context *ntdb, ntdb_off_t b_off);
526
527 /* Serialize transaction start. */
528 enum NTDB_ERROR ntdb_transaction_lock(struct ntdb_context *ntdb, int ltype);
529 void ntdb_transaction_unlock(struct ntdb_context *ntdb, int ltype);
530
531 /* Do we have any hash locks (ie. via ntdb_chainlock) ? */
532 bool ntdb_has_hash_locks(struct ntdb_context *ntdb);
533
534 /* Lock entire database. */
535 enum NTDB_ERROR ntdb_allrecord_lock(struct ntdb_context *ntdb, int ltype,
536                                     enum ntdb_lock_flags flags, bool upgradable);
537 void ntdb_allrecord_unlock(struct ntdb_context *ntdb, int ltype);
538 enum NTDB_ERROR ntdb_allrecord_upgrade(struct ntdb_context *ntdb, off_t start);
539
540 /* Serialize db open. */
541 enum NTDB_ERROR ntdb_lock_open(struct ntdb_context *ntdb,
542                                int ltype, enum ntdb_lock_flags flags);
543 void ntdb_unlock_open(struct ntdb_context *ntdb, int ltype);
544 bool ntdb_has_open_lock(struct ntdb_context *ntdb);
545
546 /* Serialize db expand. */
547 enum NTDB_ERROR ntdb_lock_expand(struct ntdb_context *ntdb, int ltype);
548 void ntdb_unlock_expand(struct ntdb_context *ntdb, int ltype);
549 bool ntdb_has_expansion_lock(struct ntdb_context *ntdb);
550
551 /* If it needs recovery, grab all the locks and do it. */
552 enum NTDB_ERROR ntdb_lock_and_recover(struct ntdb_context *ntdb);
553
554 /* Default lock and unlock functions. */
555 int ntdb_fcntl_lock(int fd, int rw, off_t off, off_t len, bool waitflag, void *);
556 int ntdb_fcntl_unlock(int fd, int rw, off_t off, off_t len, void *);
557
558 /* transaction.c: */
559 enum NTDB_ERROR ntdb_transaction_recover(struct ntdb_context *ntdb);
560 ntdb_bool_err ntdb_needs_recovery(struct ntdb_context *ntdb);
561
562 struct ntdb_context {
563         /* Single list of all TDBs, to detect multiple opens. */
564         struct ntdb_context *next;
565
566         /* Filename of the database. */
567         const char *name;
568
569         /* Logging function */
570         void (*log_fn)(struct ntdb_context *ntdb,
571                        enum ntdb_log_level level,
572                        enum NTDB_ERROR ecode,
573                        const char *message,
574                        void *data);
575         void *log_data;
576
577         /* Open flags passed to ntdb_open. */
578         int open_flags;
579
580         /* low level (fnctl) lock functions. */
581         int (*lock_fn)(int fd, int rw, off_t off, off_t len, bool w, void *);
582         int (*unlock_fn)(int fd, int rw, off_t off, off_t len, void *);
583         void *lock_data;
584
585         /* the ntdb flags passed to ntdb_open. */
586         uint32_t flags;
587
588         /* Our statistics. */
589         struct ntdb_attribute_stats stats;
590
591         /* The actual file information */
592         struct ntdb_file *file;
593
594         /* Hash function. */
595         uint64_t (*hash_fn)(const void *key, size_t len, uint64_t seed, void *);
596         void *hash_data;
597         uint64_t hash_seed;
598
599         /* Our open hook, if any. */
600         enum NTDB_ERROR (*openhook)(int fd, void *data);
601         void *openhook_data;
602
603         /* Are we accessing directly? (debugging check). */
604         int direct_access;
605
606         /* Set if we are in a transaction. */
607         struct ntdb_transaction *transaction;
608
609         /* What free table are we using? */
610         ntdb_off_t ftable_off;
611         unsigned int ftable;
612
613         /* IO methods: changes for transactions. */
614         const struct ntdb_methods *io;
615
616         /* Direct access information */
617         struct ntdb_access_hdr *access;
618 };
619
620 /* ntdb.c: */
621 enum NTDB_ERROR COLD PRINTF_FMT(4, 5)
622         ntdb_logerr(struct ntdb_context *ntdb,
623                     enum NTDB_ERROR ecode,
624                     enum ntdb_log_level level,
625                     const char *fmt, ...);
626
627 #ifdef NTDB_TRACE
628 void ntdb_trace(struct ntdb_context *ntdb, const char *op);
629 void ntdb_trace_seqnum(struct ntdb_context *ntdb, uint32_t seqnum, const char *op);
630 void ntdb_trace_open(struct ntdb_context *ntdb, const char *op,
631                      unsigned hash_size, unsigned ntdb_flags, unsigned open_flags);
632 void ntdb_trace_ret(struct ntdb_context *ntdb, const char *op, int ret);
633 void ntdb_trace_retrec(struct ntdb_context *ntdb, const char *op, NTDB_DATA ret);
634 void ntdb_trace_1rec(struct ntdb_context *ntdb, const char *op,
635                      NTDB_DATA rec);
636 void ntdb_trace_1rec_ret(struct ntdb_context *ntdb, const char *op,
637                          NTDB_DATA rec, int ret);
638 void ntdb_trace_1rec_retrec(struct ntdb_context *ntdb, const char *op,
639                             NTDB_DATA rec, NTDB_DATA ret);
640 void ntdb_trace_2rec_flag_ret(struct ntdb_context *ntdb, const char *op,
641                               NTDB_DATA rec1, NTDB_DATA rec2, unsigned flag,
642                               int ret);
643 void ntdb_trace_2rec_retrec(struct ntdb_context *ntdb, const char *op,
644                             NTDB_DATA rec1, NTDB_DATA rec2, NTDB_DATA ret);
645 #else
646 #define ntdb_trace(ntdb, op)
647 #define ntdb_trace_seqnum(ntdb, seqnum, op)
648 #define ntdb_trace_open(ntdb, op, hash_size, ntdb_flags, open_flags)
649 #define ntdb_trace_ret(ntdb, op, ret)
650 #define ntdb_trace_retrec(ntdb, op, ret)
651 #define ntdb_trace_1rec(ntdb, op, rec)
652 #define ntdb_trace_1rec_ret(ntdb, op, rec, ret)
653 #define ntdb_trace_1rec_retrec(ntdb, op, rec, ret)
654 #define ntdb_trace_2rec_flag_ret(ntdb, op, rec1, rec2, flag, ret)
655 #define ntdb_trace_2rec_retrec(ntdb, op, rec1, rec2, ret)
656 #endif /* !NTDB_TRACE */
657
658 #endif