r2733: added a note on performance
[bbaumbach/samba-autobuild/.git] / talloc_guide.txt
1 Using talloc in Samba4
2 ----------------------
3
4 Andrew Tridgell
5 September 2004
6
7 The most current version of this document is available at
8    http://samba.org/ftp/unpacked/samba4/talloc_guide.txt
9
10 If you are used to talloc from Samba3 then please read this carefully,
11 as talloc has changed a lot.
12
13 The new talloc is a hierarchical, reference counted memory pool system
14 with destructors. Quite a mounthful really, but not too bad once you
15 get used to it.
16
17 Perhaps the biggest change from Samba3 is that there is no distinction
18 between a "talloc context" and a "talloc pointer". Any pointer
19 returned from talloc() is itself a valid talloc context. This means
20 you can do this:
21
22   struct foo *X = talloc_p(mem_ctx, struct foo);
23   X->name = talloc_strdup(X, "foo");
24
25 and the pointer X->name would be a "child" of the talloc context "X"
26 which is itself a child of mem_ctx. So if you do talloc_free(mem_ctx)
27 then it is all destroyed, whereas if you do talloc_free(X) then just X
28 and X->name are destroyed, and if you do talloc_free(X->name) then
29 just the name element of X is destroyed.
30
31 If you think about this, then what this effectively gives you is an
32 n-ary tree, where you can free any part of the tree with
33 talloc_free().
34
35 If you find this confusing, then I suggest you run the LOCAL-TALLOC
36 smbtorture test with the --leak-report-full option to watch talloc in
37 action. You may also like to add your own tests to
38 source/torture/local/talloc.c to clarify how some particular situation
39 is handled.
40
41
42 Performance
43 -----------
44
45 All the additional features of talloc() over malloc() do come at a
46 price. We have a simple performance test in Samba4 that measures
47 talloc() versus malloc() performance, and it seems that talloc() is
48 about 10% slower than malloc() on my x86 Debian Linux box. For Samba,
49 the great reduction in code complexity that we get by using talloc
50 makes this worthwhile, especially as the total overhead of
51 talloc/malloc in Samba is already quite small.
52
53
54 talloc API
55 ----------
56
57 The following is a complete guide to the talloc API. Read it all at
58 least twice.
59
60
61 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
62 void *talloc(const void *context, size_t size);
63
64 The talloc() function is the core of the talloc library. It takes a
65 memory context, and returns a pointer to a new area of memory of the
66 given size.
67
68 The returned pointer is itself a talloc context, so you can use it as
69 the context argument to more calls to talloc if you wish.
70
71 The returned pointer is a "child" of the supplied context. This means
72 that if you talloc_free() the context then the new child disappears as
73 well. Alternatively you can free just the child.
74
75 The context argument to talloc() can be NULL, in which case a new top
76 level context is created. 
77
78
79 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
80 void *talloc_p(const void *context, type);
81
82 The talloc_p() macro is the equivalent of 
83
84   (type *)talloc(ctx, sizeof(type))
85
86 You should use it in preference to talloc() whenever possible, as it
87 provides additional type safety. It also automatically calls the
88 talloc_set_name_const() function with the name being a string holding
89 the name of the type.
90
91
92 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
93 int talloc_free(void *ptr);
94
95 The talloc_free() function frees a piece of talloc memory, and all its
96 children. You can call talloc_free() on any pointer returned by
97 talloc().
98
99 The return value of talloc_free() indicates success or failure, with 0
100 returned for success and -1 for failure. The only possible failure
101 condition is if the pointer had a destructor attached to it and the
102 destructor returned -1. See talloc_set_destructor() for details on
103 destructors.
104
105 If this pointer has an additional reference when talloc_free() is
106 called then the memory is not actually released, but instead the
107 reference is destroyed and the memory becomes a child of the
108 referrer. See talloc_reference() for details on establishing
109 additional references.
110
111 talloc_free() operates recursively on its children.
112
113
114 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
115 void *talloc_reference(const void *context, const void *ptr);
116
117 The talloc_reference() function returns an additional reference to
118 "ptr", and makes this additional reference a child of "context".
119
120 The return value of talloc_reference() is always the original pointer
121 "ptr", unless talloc ran out of memory in creating the reference in
122 which case it will return NULL (each additional reference consumes
123 around 48 bytes of memory on intel x86 platforms).
124
125 After creating a reference you can free it in one of the following
126 ways:
127
128   - you can talloc_free() a parent of the original pointer. That will
129     destroy the reference and make the pointer a child of "context".
130
131   - you can talloc_free() the pointer itself. That will destroy the
132     reference and make the pointer a child of "context".
133
134   - you can talloc_free() the context where you placed the
135     reference. That will destroy the reference, and leave the pointer
136     where it is.
137
138
139 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
140 void *talloc_unreference(const void *context, const void *ptr);
141
142 The talloc_unreference() function removes a reference added by
143 talloc_reference(). It must be called with exactly the same arguments
144 as talloc_reference().
145
146 Note that if the reference has already been removed using
147 talloc_free() then this function will fail and will return NULL.
148
149 Usually you can just use talloc_free() instead of
150 talloc_unreference(), but sometimes it is useful to have the
151 additional control on who becomes the parent of the pointer given by
152 talloc_unreference().
153
154
155 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
156 void talloc_set_destructor(const void *ptr, int (*destructor)(void *));
157
158 The function talloc_set_destructor() sets the "destructor" for the
159 pointer "ptr". A destructor is a function that is called when the
160 memory used by a pointer is about to be released. The destructor
161 receives the pointer as an argument, and should return 0 for success
162 and -1 for failure.
163
164 The destructor can do anything it wants to, including freeing other
165 pieces of memory. A common use for destructors is to clean up
166 operating system resources (such as open file descriptors) contained
167 in the structure the destructor is placed on.
168
169 You can only place one destructor on a pointer. If you need more than
170 one destructor then you can create a zero-length child of the pointer
171 and place an additional destructor on that.
172
173 To remove a destructor call talloc_set_destructor() with NULL for the
174 destructor.
175
176 If your destructor attempts to talloc_free() the pointer that it is
177 the destructor for then talloc_free() will return -1 and the free will
178 be ignored. This would be a pointless operation anyway, as the
179 destructor is only called when the memory is just about to go away.
180
181
182 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
183 void talloc_increase_ref_count(const void *ptr);
184
185 The talloc_increase_ref_count(ptr) function is exactly equivalent to:
186
187   talloc_reference(NULL, ptr);
188
189 You can use either syntax, depending on which you think is clearer in
190 your code.
191
192
193 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
194 void talloc_set_name(const void *ptr, const char *fmt, ...);
195
196 Each talloc pointer has a "name". The name is used principally for
197 debugging purposes, although it is also possible to set and get the
198 name on a pointer in as a way of "marking" pointers in your code.
199
200 The main use for names on pointer is for "talloc reports". See
201 talloc_report() and talloc_report_full() for details. Also see
202 talloc_enable_leak_report() and talloc_enable_leak_report_full().
203
204
205 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
206 void talloc_set_name_const(const void *ptr, const char *name);
207
208 The function talloc_set_name_const() is just like talloc_set_name(),
209 but it takes a string constant, and is much faster. It is extensively
210 used by the "auto naming" macros, such as talloc_p().
211
212
213 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
214 void *talloc_named(const void *context, size_t size, const char *fmt, ...);
215
216 The talloc_named() function creates a named talloc pointer. It is
217 equivalent to:
218
219    ptr = talloc(context, size);
220    talloc_set_name(ptr, fmt, ....);
221
222
223 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
224 void *talloc_named_const(const void *context, size_t size, const char *name);
225
226 This is equivalent to:
227
228    ptr = talloc(context, size);
229    talloc_set_name_const(ptr, name);
230
231
232 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
233 const char *talloc_get_name(const void *ptr);
234
235 This returns the current name for the given talloc pointer. See
236 talloc_set_name() for details.
237
238
239 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
240 void *talloc_init(const char *fmt, ...);
241
242 This function creates a zero length named talloc context as a top
243 level context. It is equivalent to:
244
245   talloc_named(NULL, 0, fmt, ...);
246
247
248 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
249 void *talloc_realloc(const void *context, void *ptr, size_t size);
250
251 The talloc_realloc() function changes the size of a talloc
252 pointer. It has the following equivalences:
253
254   talloc_realloc(context, NULL, size) ==> talloc(context, size);
255   talloc_realloc(context, ptr, 0)     ==> talloc_free(ptr);
256
257 The "context" argument is only used if "ptr" is not NULL, otherwise it
258 is ignored.
259
260 talloc_realloc() returns the new pointer, or NULL on failure. The call
261 will fail either due to a lack of memory, or because the pointer has
262 an reference (see talloc_reference()).
263
264
265 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
266 void *talloc_steal(const void *new_ctx, const void *ptr);
267
268 The talloc_steal() function changes the parent context of a talloc
269 pointer. It is typically used when the context that the pointer is
270 currently a child of is going to be freed and you wish to keep the
271 memory for a longer time. 
272
273 The talloc_steal() function returns the pointer that you pass it. It
274 does not have any failure modes.
275
276 NOTE: It is possible to produce loops in the parent/child relationship
277 if you are not careful with talloc_steal(). No guarantees are provided
278 as to your sanity or the safety of your data if you do this.
279
280
281 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
282 off_t talloc_total_size(const void *ptr);
283
284 The talloc_total_size() function returns the total size in bytes used
285 by this pointer and all child pointers. Mostly useful for debugging.
286
287
288 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
289 void talloc_report(const void *ptr, FILE *f);
290
291 The talloc_report() function prints a summary report of all memory
292 used by ptr. One line of report is printed for each immediate child of
293 ptr, showing the total memory and number of blocks used by that child.
294
295 You can pass NULL for the pointer, in which case a report is printed
296 for the top level memory context.
297
298
299 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
300 void talloc_report_full(const void *ptr, FILE *f);
301
302 This provides a more detailed report than talloc_report(). It will
303 recursively print the ensire tree of memory referenced by the
304 pointer. References in the tree are shown by giving the name of the
305 pointer that is referenced.
306
307 You can pass NULL for the pointer, in which case a report is printed
308 for the top level memory context.
309
310
311 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
312 void talloc_enable_leak_report(void);
313
314 This enables calling of talloc_report(NULL, stderr) when the program
315 exits. In Samba4 this is enabled by using the --leak-report command
316 line option.
317
318
319 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
320 void talloc_enable_leak_report_full(void);
321
322 This enables calling of talloc_report_full(NULL, stderr) when the
323 program exits. In Samba4 this is enabled by using the
324 --leak-report-full command line option.
325
326
327 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
328 void *talloc_zero(const void *ctx, size_t size);
329
330 The talloc_zero() function is equivalent to:
331
332   ptr = talloc(ctx, size);
333   if (ptr) memset(ptr, 0, size);
334
335
336 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
337 void *talloc_memdup(const void *ctx, const void *p, size_t size);
338
339 The talloc_memdup() function is equivalent to:
340
341   ptr = talloc(ctx, size);
342   if (ptr) memcpy(ptr, p, size);
343
344
345 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
346 char *talloc_strdup(const void *ctx, const char *p);
347
348 The talloc_strdup() function is equivalent to:
349
350   ptr = talloc(ctx, strlen(p)+1);
351   if (ptr) memcpy(ptr, p, strlen(p)+1);
352
353
354 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
355 char *talloc_strndup(const void *t, const char *p, size_t n);
356
357 The talloc_strndup() function is the talloc equivalent of the C
358 library function strndup()
359
360
361 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
362 char *talloc_vasprintf(const void *t, const char *fmt, va_list ap);
363
364 The talloc_vasprintf() function is the talloc equivalent of the C
365 library function vasprintf()
366
367
368 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
369 char *talloc_asprintf(const void *t, const char *fmt, ...);
370
371 The talloc_asprintf() function is the talloc equivalent of the C
372 library function asprintf()
373
374
375 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
376 char *talloc_asprintf_append(char *s, const char *fmt, ...);
377
378 The talloc_asprintf_append() function appends the given formatted 
379 string to the given string. 
380
381
382 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
383 void *talloc_array_p(const void *ctx, type, uint_t count);
384
385 The talloc_array_p() macro is equivalent to:
386
387   (type *)talloc(ctx, sizeof(type) * count);
388
389 except that it provides integer overflow protection for the multiply,
390 returning NULL if the multiply overflows.
391
392
393 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
394 void *talloc_realloc_p(const void *ctx, void *ptr, type, uint_t count);
395
396 The talloc_realloc_p() macro is equivalent to:
397
398   (type *)talloc_realloc(ctx, ptr, sizeof(type) * count);
399
400 except that it provides integer overflow protection for the multiply,
401 returning NULL if the multiply overflows.
402