r4790: added type checking helper macros in talloc. These take advantage of
[samba.git] / source / lib / talloc / talloc_guide.txt
1 Using talloc in Samba4
2 ----------------------
3
4 Andrew Tridgell
5 September 2004
6
7 The most current version of this document is available at
8    http://samba.org/ftp/unpacked/samba4/source/lib/talloc/talloc_guide.txt
9
10 If you are used to talloc from Samba3 then please read this carefully,
11 as talloc has changed a lot.
12
13 The new talloc is a hierarchical, reference counted memory pool system
14 with destructors. Quite a mounthful really, but not too bad once you
15 get used to it.
16
17 Perhaps the biggest change from Samba3 is that there is no distinction
18 between a "talloc context" and a "talloc pointer". Any pointer
19 returned from talloc() is itself a valid talloc context. This means
20 you can do this:
21
22   struct foo *X = talloc(mem_ctx, struct foo);
23   X->name = talloc_strdup(X, "foo");
24
25 and the pointer X->name would be a "child" of the talloc context "X"
26 which is itself a child of mem_ctx. So if you do talloc_free(mem_ctx)
27 then it is all destroyed, whereas if you do talloc_free(X) then just X
28 and X->name are destroyed, and if you do talloc_free(X->name) then
29 just the name element of X is destroyed.
30
31 If you think about this, then what this effectively gives you is an
32 n-ary tree, where you can free any part of the tree with
33 talloc_free().
34
35 If you find this confusing, then I suggest you run the LOCAL-TALLOC
36 smbtorture test to watch talloc in action. You may also like to add
37 your own tests to source/lib/talloc/testsuite.c to clarify how some
38 particular situation is handled.
39
40
41 Performance
42 -----------
43
44 All the additional features of talloc() over malloc() do come at a
45 price. We have a simple performance test in Samba4 that measures
46 talloc() versus malloc() performance, and it seems that talloc() is
47 about 10% slower than malloc() on my x86 Debian Linux box. For Samba,
48 the great reduction in code complexity that we get by using talloc
49 makes this worthwhile, especially as the total overhead of
50 talloc/malloc in Samba is already quite small.
51
52
53 talloc API
54 ----------
55
56 The following is a complete guide to the talloc API. Read it all at
57 least twice.
58
59
60 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
61 (type *)talloc(const void *context, type);
62
63 The talloc() macro is the core of the talloc library. It takes a
64 memory context and a type, and returns a pointer to a new area of
65 memory of the given type.
66
67 The returned pointer is itself a talloc context, so you can use it as
68 the context argument to more calls to talloc if you wish.
69
70 The returned pointer is a "child" of the supplied context. This means
71 that if you talloc_free() the context then the new child disappears as
72 well. Alternatively you can free just the child.
73
74 The context argument to talloc() can be NULL, in which case a new top
75 level context is created. 
76
77 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
78 void *talloc_size(const void *context, size_t size);
79
80 The function talloc_size() should be used when you don't have a
81 convenient type to pass to talloc(). Unlike talloc(), it is not type
82 safe (as it returns a void *), so you are on your own for type checking.
83
84 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
85 void *talloc_p(const void *context, type);
86
87 talloc_p() is a alias for talloc(). It only exists as a backwards
88 compatibity macro for code from the bad old days when talloc() was not
89 type safe.
90
91 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
92 int talloc_free(void *ptr);
93
94 The talloc_free() function frees a piece of talloc memory, and all its
95 children. You can call talloc_free() on any pointer returned by
96 talloc().
97
98 The return value of talloc_free() indicates success or failure, with 0
99 returned for success and -1 for failure. The only possible failure
100 condition is if the pointer had a destructor attached to it and the
101 destructor returned -1. See talloc_set_destructor() for details on
102 destructors.
103
104 If this pointer has an additional parent when talloc_free() is called
105 then the memory is not actually released, but instead the most
106 recently established parent is destroyed. See talloc_reference() for
107 details on establishing additional parents.
108
109 For more control on which parent is removed, see talloc_unlink()
110
111 talloc_free() operates recursively on its children.
112
113
114 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
115 void *talloc_reference(const void *context, const void *ptr);
116
117 The talloc_reference() function makes "context" an additional parent
118 of "ptr".
119
120 The return value of talloc_reference() is always the original pointer
121 "ptr", unless talloc ran out of memory in creating the reference in
122 which case it will return NULL (each additional reference consumes
123 around 48 bytes of memory on intel x86 platforms).
124
125 If "ptr" is NULL, then the function is a no-op, and simply returns NULL.
126
127 After creating a reference you can free it in one of the following
128 ways:
129
130   - you can talloc_free() any parent of the original pointer. That
131     will reduce the number of parents of this pointer by 1, and will
132     cause this pointer to be freed if it runs out of parents.
133
134   - you can talloc_free() the pointer itself. That will destroy the
135     most recently established parent to the pointer and leave the
136     pointer as a child of its current parent.
137
138 For more control on which parent to remove, see talloc_unlink()
139
140
141 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
142 int talloc_unlink(const void *context, const void *ptr);
143
144 The talloc_unlink() function removes a specific parent from ptr. The
145 context passed must either be a context used in talloc_reference()
146 with this pointer, or must be a direct parent of ptr. 
147
148 Note that if the parent has already been removed using talloc_free()
149 then this function will fail and will return -1.  Likewise, if "ptr"
150 is NULL, then the function will make no modifications and return -1.
151
152 Usually you can just use talloc_free() instead of talloc_unlink(), but
153 sometimes it is useful to have the additional control on which parent
154 is removed.
155
156
157 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
158 void talloc_set_destructor(const void *ptr, int (*destructor)(void *));
159
160 The function talloc_set_destructor() sets the "destructor" for the
161 pointer "ptr". A destructor is a function that is called when the
162 memory used by a pointer is about to be released. The destructor
163 receives the pointer as an argument, and should return 0 for success
164 and -1 for failure.
165
166 The destructor can do anything it wants to, including freeing other
167 pieces of memory. A common use for destructors is to clean up
168 operating system resources (such as open file descriptors) contained
169 in the structure the destructor is placed on.
170
171 You can only place one destructor on a pointer. If you need more than
172 one destructor then you can create a zero-length child of the pointer
173 and place an additional destructor on that.
174
175 To remove a destructor call talloc_set_destructor() with NULL for the
176 destructor.
177
178 If your destructor attempts to talloc_free() the pointer that it is
179 the destructor for then talloc_free() will return -1 and the free will
180 be ignored. This would be a pointless operation anyway, as the
181 destructor is only called when the memory is just about to go away.
182
183
184 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
185 void talloc_increase_ref_count(const void *ptr);
186
187 The talloc_increase_ref_count(ptr) function is exactly equivalent to:
188
189   talloc_reference(NULL, ptr);
190
191 You can use either syntax, depending on which you think is clearer in
192 your code.
193
194
195 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
196 void talloc_set_name(const void *ptr, const char *fmt, ...);
197
198 Each talloc pointer has a "name". The name is used principally for
199 debugging purposes, although it is also possible to set and get the
200 name on a pointer in as a way of "marking" pointers in your code.
201
202 The main use for names on pointer is for "talloc reports". See
203 talloc_report() and talloc_report_full() for details. Also see
204 talloc_enable_leak_report() and talloc_enable_leak_report_full().
205
206 The talloc_set_name() function allocates memory as a child of the
207 pointer. It is logically equivalent to:
208   talloc_set_name_const(ptr, talloc_asprintf(ptr, fmt, ...));
209
210 Note that multiple calls to talloc_set_name() will allocate more
211 memory without releasing the name. All of the memory is released when
212 the ptr is freed using talloc_free().
213
214
215 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
216 void talloc_set_name_const(const void *ptr, const char *name);
217
218 The function talloc_set_name_const() is just like talloc_set_name(),
219 but it takes a string constant, and is much faster. It is extensively
220 used by the "auto naming" macros, such as talloc_p().
221
222 This function does not allocate any memory. It just copies the
223 supplied pointer into the internal representation of the talloc
224 ptr. This means you must not pass a name pointer to memory that will
225 disappear before the ptr is freed with talloc_free().
226
227
228 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
229 void *talloc_named(const void *context, size_t size, const char *fmt, ...);
230
231 The talloc_named() function creates a named talloc pointer. It is
232 equivalent to:
233
234    ptr = talloc_size(context, size);
235    talloc_set_name(ptr, fmt, ....);
236
237
238 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
239 void *talloc_named_const(const void *context, size_t size, const char *name);
240
241 This is equivalent to:
242
243    ptr = talloc_size(context, size);
244    talloc_set_name_const(ptr, name);
245
246
247 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
248 const char *talloc_get_name(const void *ptr);
249
250 This returns the current name for the given talloc pointer. See
251 talloc_set_name() for details.
252
253
254 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
255 void *talloc_init(const char *fmt, ...);
256
257 This function creates a zero length named talloc context as a top
258 level context. It is equivalent to:
259
260   talloc_named(NULL, 0, fmt, ...);
261
262
263 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
264 void *talloc_new(void *ctx);
265
266 This is a utility macro that creates a new memory context hanging
267 off an exiting context, automatically naming it "talloc_new: __location__"
268 where __location__ is the source line it is called from. It is
269 particularly useful for creating a new temporary working context.
270
271
272 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
273 (type *)talloc_realloc(const void *context, void *ptr, type, count);
274
275 The talloc_realloc() macro changes the size of a talloc
276 pointer. It has the following equivalences:
277
278   talloc_realloc(context, NULL, type, 1) ==> talloc(context, type);
279   talloc_realloc(context, ptr, type, 0)  ==> talloc_free(ptr);
280
281 The "context" argument is only used if "ptr" is not NULL, otherwise it
282 is ignored.
283
284 talloc_realloc() returns the new pointer, or NULL on failure. The call
285 will fail either due to a lack of memory, or because the pointer has
286 more than one parent (see talloc_reference()).
287
288
289 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
290 void *talloc_realloc_size(const void *context, void *ptr, size_t size);
291
292 the talloc_realloc_size() function is useful when the type is not 
293 known so the typesafe talloc_realloc() cannot be used.
294
295
296 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
297 void *talloc_steal(const void *new_ctx, const void *ptr);
298
299 The talloc_steal() function changes the parent context of a talloc
300 pointer. It is typically used when the context that the pointer is
301 currently a child of is going to be freed and you wish to keep the
302 memory for a longer time. 
303
304 The talloc_steal() function returns the pointer that you pass it. It
305 does not have any failure modes.
306
307 NOTE: It is possible to produce loops in the parent/child relationship
308 if you are not careful with talloc_steal(). No guarantees are provided
309 as to your sanity or the safety of your data if you do this.
310
311
312 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
313 off_t talloc_total_size(const void *ptr);
314
315 The talloc_total_size() function returns the total size in bytes used
316 by this pointer and all child pointers. Mostly useful for debugging.
317
318 Passing NULL is allowed, but it will only give a meaningful result if
319 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
320 been called.
321
322
323 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
324 off_t talloc_total_blocks(const void *ptr);
325
326 The talloc_total_blocks() function returns the total memory block
327 count used by this pointer and all child pointers. Mostly useful for
328 debugging.
329
330 Passing NULL is allowed, but it will only give a meaningful result if
331 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
332 been called.
333
334
335 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
336 void talloc_report(const void *ptr, FILE *f);
337
338 The talloc_report() function prints a summary report of all memory
339 used by ptr. One line of report is printed for each immediate child of
340 ptr, showing the total memory and number of blocks used by that child.
341
342 You can pass NULL for the pointer, in which case a report is printed
343 for the top level memory context, but only if
344 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
345 been called.
346
347
348 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
349 void talloc_report_full(const void *ptr, FILE *f);
350
351 This provides a more detailed report than talloc_report(). It will
352 recursively print the ensire tree of memory referenced by the
353 pointer. References in the tree are shown by giving the name of the
354 pointer that is referenced.
355
356 You can pass NULL for the pointer, in which case a report is printed
357 for the top level memory context, but only if
358 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
359 been called.
360
361
362 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
363 void talloc_enable_leak_report(void);
364
365 This enables calling of talloc_report(NULL, stderr) when the program
366 exits. In Samba4 this is enabled by using the --leak-report command
367 line option.
368
369 For it to be useful, this function must be called before any other
370 talloc function as it establishes a "null context" that acts as the
371 top of the tree. If you don't call this function first then passing
372 NULL to talloc_report() or talloc_report_full() won't give you the
373 full tree printout.
374
375 Here is a typical talloc report:
376
377 talloc report on 'null_context' (total 267 bytes in 15 blocks)
378         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
379         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
380         iconv(UTF8,CP850)              contains     42 bytes in   2 blocks
381         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
382         iconv(CP850,UTF8)              contains     42 bytes in   2 blocks
383         iconv(UTF8,UTF-16LE)           contains     45 bytes in   2 blocks
384         iconv(UTF-16LE,UTF8)           contains     45 bytes in   2 blocks
385
386
387 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
388 void talloc_enable_leak_report_full(void);
389
390 This enables calling of talloc_report_full(NULL, stderr) when the
391 program exits. In Samba4 this is enabled by using the
392 --leak-report-full command line option.
393
394 For it to be useful, this function must be called before any other
395 talloc function as it establishes a "null context" that acts as the
396 top of the tree. If you don't call this function first then passing
397 NULL to talloc_report() or talloc_report_full() won't give you the
398 full tree printout.
399
400 Here is a typical full report:
401
402 full talloc report on 'root' (total 18 bytes in 8 blocks)
403     p1                             contains     18 bytes in   7 blocks (ref 0)
404         r1                             contains     13 bytes in   2 blocks (ref 0)
405             reference to: p2
406         p2                             contains      1 bytes in   1 blocks (ref 1)
407         x3                             contains      1 bytes in   1 blocks (ref 0)
408         x2                             contains      1 bytes in   1 blocks (ref 0)
409         x1                             contains      1 bytes in   1 blocks (ref 0)
410
411
412 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
413 (type *)talloc_zero(const void *ctx, type);
414
415 The talloc_zero() macro is equivalent to:
416
417   ptr = talloc(ctx, type);
418   if (ptr) memset(ptr, 0, sizeof(type));
419
420
421 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
422 void *talloc_zero_size(const void *ctx, size_t size)
423
424 The talloc_zero_size() function is useful when you don't have a known type
425
426
427 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
428 void *talloc_memdup(const void *ctx, const void *p, size_t size);
429
430 The talloc_memdup() function is equivalent to:
431
432   ptr = talloc_size(ctx, size);
433   if (ptr) memcpy(ptr, p, size);
434
435
436 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
437 char *talloc_strdup(const void *ctx, const char *p);
438
439 The talloc_strdup() function is equivalent to:
440
441   ptr = talloc_size(ctx, strlen(p)+1);
442   if (ptr) memcpy(ptr, p, strlen(p)+1);
443
444 This functions sets the name of the new pointer to the passed
445 string. This is equivalent to:
446    talloc_set_name_const(ptr, ptr)
447
448 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
449 char *talloc_strndup(const void *t, const char *p, size_t n);
450
451 The talloc_strndup() function is the talloc equivalent of the C
452 library function strndup()
453
454 This functions sets the name of the new pointer to the passed
455 string. This is equivalent to:
456    talloc_set_name_const(ptr, ptr)
457
458
459 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
460 char *talloc_vasprintf(const void *t, const char *fmt, va_list ap);
461
462 The talloc_vasprintf() function is the talloc equivalent of the C
463 library function vasprintf()
464
465
466 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
467 char *talloc_asprintf(const void *t, const char *fmt, ...);
468
469 The talloc_asprintf() function is the talloc equivalent of the C
470 library function asprintf()
471
472 This functions sets the name of the new pointer to the passed
473 string. This is equivalent to:
474    talloc_set_name_const(ptr, ptr)
475
476
477 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
478 char *talloc_asprintf_append(char *s, const char *fmt, ...);
479
480 The talloc_asprintf_append() function appends the given formatted 
481 string to the given string. 
482
483
484 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
485 (type *)talloc_array(const void *ctx, type, uint_t count);
486
487 The talloc_array() macro is equivalent to:
488
489   (type *)talloc_size(ctx, sizeof(type) * count);
490
491 except that it provides integer overflow protection for the multiply,
492 returning NULL if the multiply overflows.
493
494 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
495 void *talloc_array_size(const void *ctx, size_t size, uint_t count);
496
497 The talloc_array_size() function is useful when the type is not known
498
499
500 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
501 void *talloc_realloc_fn(const void *ctx, void *ptr, size_t size);
502
503 This is a non-macro version of talloc_realloc(), which is useful 
504 as libraries sometimes want a ralloc function pointer. A realloc()
505 implementation encapsulates the functionality of malloc(), free() and
506 realloc() in one call, which is why it is useful to be able to pass
507 around a single function pointer.
508
509 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
510 void *talloc_autofree_context(void);
511
512 This is a handy utility function that returns a talloc context
513 which will be automatically freed on program exit. This can be used
514 to reduce the noise in memory leak reports.
515
516
517 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
518 void *talloc_check_name(const void *ptr, const char *name);
519
520 This function checks if a pointer has the specified name. If it does
521 then the pointer is returned. It it doesn't then NULL is returned.
522
523
524 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
525 (type *)talloc_get_type(const void *ptr, type);
526
527 This macro allows you to do type checking on talloc pointers. It is
528 particularly useful for void* private pointers. It is equivalent to
529 this:
530
531    (type *)talloc_check_name(ptr, #type)
532
533
534 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
535 talloc_set_type(const void *ptr, type);
536
537 This macro allows you to force the name of a pointer to be a
538 particular type. This can be used in conjunction with
539 talloc_get_type() to do type checking on void* pointers.
540
541 It is equivalent to this:
542    talloc_set_name_const(ptr, #type)
543
544
545
546