r2719: an additional note on talloc_unreference()
[bbaumbach/samba-autobuild/.git] / talloc_guide.txt
1 Using talloc in Samba4
2 ----------------------
3
4 Andrew Tridgell
5 September 2004
6
7 The most current version of this document is available at
8    http://samba.org/ftp/unpacked/samba4/talloc_guide.txt
9
10 If you are used to talloc from Samba3 then please read this carefully,
11 as talloc has changed a lot.
12
13 The new talloc is a hierarchical, reference counted memory pool system
14 with destructors. Quite a mounthful really, but not too bad once you
15 get used to it.
16
17 Perhaps the biggest change from Samba3 is that there is no distinction
18 between a "talloc context" and a "talloc pointer". Any pointer
19 returned from talloc() is itself a valid talloc context. This means
20 you can do this:
21
22   struct foo *X = talloc_p(mem_ctx, struct foo);
23   X->name = talloc_strdup(X, "foo");
24
25 and the pointer X->name would be a "child" of the talloc context "X"
26 which is itself a child of mem_ctx. So if you do talloc_free(mem_ctx)
27 then it is all destroyed, whereas if you do talloc_free(X) then just X
28 and X->name are destroyed, and if you do talloc_free(X->name) then
29 just the name element of X is destroyed.
30
31 If you think about this, then what this effectively gives you is an
32 n-ary tree, where you can free any part of the tree with
33 talloc_free().
34
35 If you find this confusing, then I suggest you run the LOCAL-TALLOC
36 smbtorture test with the --leak-report-full option to watch talloc in
37 action. You may also like to add your own tests to
38 source/torture/local/talloc.c to clarify how some particular situation
39 is handled.
40
41
42 talloc API
43 ----------
44
45 The following is a complete guide to the talloc API. Read it all at
46 least twice.
47
48
49 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
50 void *talloc(const void *context, size_t size);
51
52 The talloc() function is the core of the talloc library. It takes a
53 memory context, and returns a pointer to a new area of memory of the
54 given size.
55
56 The returned pointer is itself a talloc context, so you can use it as
57 the context argument to more calls to talloc if you wish.
58
59 The returned pointer is a "child" of the supplied context. This means
60 that if you talloc_free() the context then the new child disappears as
61 well. Alternatively you can free just the child.
62
63 The context argument to talloc() can be NULL, in which case a new top
64 level context is created. 
65
66
67 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
68 void *talloc_p(const void *context, type);
69
70 The talloc_p() macro is the equivalent of 
71
72   (type *)talloc(ctx, sizeof(type))
73
74 You should use it in preference to talloc() whenever possible, as it
75 provides additional type safety. It also automatically calls the
76 talloc_set_name_const() function with the name being a string holding
77 the name of the type.
78
79
80 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
81 int talloc_free(void *ptr);
82
83 The talloc_free() function frees a piece of talloc memory, and all its
84 children. You can call talloc_free() on any pointer returned by
85 talloc().
86
87 The return value of talloc_free() indicates success or failure, with 0
88 returned for success and -1 for failure. The only possible failure
89 condition is if the pointer had a destructor attached to it and the
90 destructor returned -1. See talloc_set_destructor() for details on
91 destructors.
92
93 If this pointer has an additional reference when talloc_free() is
94 called then the memory is not actually released, but instead the
95 reference is destroyed and the memory becomes a child of the
96 referrer. See talloc_reference() for details on establishing
97 additional references.
98
99 talloc_free() operates recursively on its children.
100
101
102 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
103 void *talloc_reference(const void *context, const void *ptr);
104
105 The talloc_reference() function returns an additional reference to
106 "ptr", and makes this additional reference a child of "context".
107
108 The return value of talloc_reference() is always the original pointer
109 "ptr", unless talloc ran out of memory in creating the reference in
110 which case it will return NULL (each additional reference consumes
111 around 48 bytes of memory on intel x86 platforms).
112
113 After creating a reference you can free it in one of the following
114 ways:
115
116   - you can talloc_free() a parent of the original pointer. That will
117     destroy the reference and make the pointer a child of "context".
118
119   - you can talloc_free() the pointer itself. That will destroy the
120     reference and make the pointer a child of "context".
121
122   - you can talloc_free() the context where you placed the
123     reference. That will destroy the reference, and leave the pointer
124     where it is.
125
126
127 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
128 void *talloc_unreference(const void *context, const void *ptr);
129
130 The talloc_unreference() function removes a reference added by
131 talloc_reference(). It must be called with exactly the same arguments
132 as talloc_reference().
133
134 Note that if the reference has already been removed using
135 talloc_free() then this function will fail and will return NULL.
136
137 Usually you can just use talloc_free() instead of
138 talloc_unreference(), but sometimes it is useful to have the
139 additional control on who becomes the parent of the pointer given by
140 talloc_unreference().
141
142
143 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
144 void talloc_set_destructor(const void *ptr, int (*destructor)(void *));
145
146 The function talloc_set_destructor() sets the "destructor" for the
147 pointer "ptr". A destructor is a function that is called when the
148 memory used by a pointer is about to be released. The destructor
149 receives the pointer as an argument, and should return 0 for success
150 and -1 for failure.
151
152 The destructor can do anything it wants to, including freeing other
153 pieces of memory. A common use for destructors is to clean up
154 operating system resources (such as open file descriptors) contained
155 in the structure the destructor is placed on.
156
157 You can only place one destructor on a pointer. If you need more than
158 one destructor then you can create a zero-length child of the pointer
159 and place an additional destructor on that.
160
161 To remove a destructor call talloc_set_destructor() with NULL for the
162 destructor.
163
164 If your destructor attempts to talloc_free() the pointer that it is
165 the destructor for then talloc_free() will return -1 and the free will
166 be ignored. This would be a pointless operation anyway, as the
167 destructor is only called when the memory is just about to go away.
168
169
170 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
171 void talloc_increase_ref_count(const void *ptr);
172
173 The talloc_increase_ref_count(ptr) function is exactly equivalent to:
174
175   talloc_reference(NULL, ptr);
176
177 You can use either syntax, depending on which you think is clearer in
178 your code.
179
180
181 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
182 void talloc_set_name(const void *ptr, const char *fmt, ...);
183
184 Each talloc pointer has a "name". The name is used principally for
185 debugging purposes, although it is also possible to set and get the
186 name on a pointer in as a way of "marking" pointers in your code.
187
188 The main use for names on pointer is for "talloc reports". See
189 talloc_report() and talloc_report_full() for details. Also see
190 talloc_enable_leak_report() and talloc_enable_leak_report_full().
191
192
193 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
194 void talloc_set_name_const(const void *ptr, const char *name);
195
196 The function talloc_set_name_const() is just like talloc_set_name(),
197 but it takes a string constant, and is much faster. It is extensively
198 used by the "auto naming" macros, such as talloc_p().
199
200
201 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
202 void *talloc_named(const void *context, size_t size, const char *fmt, ...);
203
204 The talloc_named() function creates a named talloc pointer. It is
205 equivalent to:
206
207    ptr = talloc(context, size);
208    talloc_set_name(ptr, fmt, ....);
209
210
211 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
212 void *talloc_named_const(const void *context, size_t size, const char *name);
213
214 This is equivalent to:
215
216    ptr = talloc(context, size);
217    talloc_set_name_const(ptr, name);
218
219
220 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
221 const char *talloc_get_name(const void *ptr);
222
223 This returns the current name for the given talloc pointer. See
224 talloc_set_name() for details.
225
226
227 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
228 void *talloc_init(const char *fmt, ...);
229
230 This function creates a zero length named talloc context as a top
231 level context. It is equivalent to:
232
233   talloc_named(NULL, 0, fmt, ...);
234
235
236 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
237 void *talloc_realloc(const void *context, void *ptr, size_t size);
238
239 The talloc_realloc() function changes the size of a talloc
240 pointer. It has the following equivalences:
241
242   talloc_realloc(context, NULL, size) ==> talloc(context, size);
243   talloc_realloc(context, ptr, 0)     ==> talloc_free(ptr);
244
245 The "context" argument is only used if "ptr" is not NULL, otherwise it
246 is ignored.
247
248 talloc_realloc() returns the new pointer, or NULL on failure. The call
249 will fail either due to a lack of memory, or because the pointer has
250 an reference (see talloc_reference()).
251
252
253 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
254 void *talloc_steal(const void *new_ctx, const void *ptr);
255
256 The talloc_steal() function changes the parent context of a talloc
257 pointer. It is typically used when the context that the pointer is
258 currently a child of is going to be freed and you wish to keep the
259 memory for a longer time. 
260
261 The talloc_steal() function returns the pointer that you pass it. It
262 does not have any failure modes.
263
264 NOTE: It is possible to produce loops in the parent/child relationship
265 if you are not careful with talloc_steal(). No guarantees are provided
266 as to your sanity or the safety of your data if you do this.
267
268
269 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
270 off_t talloc_total_size(const void *ptr);
271
272 The talloc_total_size() function returns the total size in bytes used
273 by this pointer and all child pointers. Mostly useful for debugging.
274
275
276 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
277 void talloc_report(const void *ptr, FILE *f);
278
279 The talloc_report() function prints a summary report of all memory
280 used by ptr. One line of report is printed for each immediate child of
281 ptr, showing the total memory and number of blocks used by that child.
282
283 You can pass NULL for the pointer, in which case a report is printed
284 for the top level memory context.
285
286
287 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
288 void talloc_report_full(const void *ptr, FILE *f);
289
290 This provides a more detailed report than talloc_report(). It will
291 recursively print the ensire tree of memory referenced by the
292 pointer. References in the tree are shown by giving the name of the
293 pointer that is referenced.
294
295 You can pass NULL for the pointer, in which case a report is printed
296 for the top level memory context.
297
298
299 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
300 void talloc_enable_leak_report(void);
301
302 This enables calling of talloc_report(NULL, stderr) when the program
303 exits. In Samba4 this is enabled by using the --leak-report command
304 line option.
305
306
307 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
308 void talloc_enable_leak_report_full(void);
309
310 This enables calling of talloc_report_full(NULL, stderr) when the
311 program exits. In Samba4 this is enabled by using the
312 --leak-report-full command line option.
313
314
315 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
316 void *talloc_zero(const void *ctx, size_t size);
317
318 The talloc_zero() function is equivalent to:
319
320   ptr = talloc(ctx, size);
321   if (ptr) memset(ptr, 0, size);
322
323
324 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
325 void *talloc_memdup(const void *ctx, const void *p, size_t size);
326
327 The talloc_memdup() function is equivalent to:
328
329   ptr = talloc(ctx, size);
330   if (ptr) memcpy(ptr, p, size);
331
332
333 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
334 char *talloc_strdup(const void *ctx, const char *p);
335
336 The talloc_strdup() function is equivalent to:
337
338   ptr = talloc(ctx, strlen(p)+1);
339   if (ptr) memcpy(ptr, p, strlen(p)+1);
340
341
342 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
343 char *talloc_strndup(const void *t, const char *p, size_t n);
344
345 The talloc_strndup() function is the talloc equivalent of the C
346 library function strndup()
347
348
349 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
350 char *talloc_vasprintf(const void *t, const char *fmt, va_list ap);
351
352 The talloc_vasprintf() function is the talloc equivalent of the C
353 library function vasprintf()
354
355
356 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
357 char *talloc_asprintf(const void *t, const char *fmt, ...);
358
359 The talloc_asprintf() function is the talloc equivalent of the C
360 library function asprintf()
361
362
363 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
364 char *talloc_asprintf_append(char *s, const char *fmt, ...);
365
366 The talloc_asprintf_append() function appends the given formatted 
367 string to the given string. 
368
369
370 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
371 void *talloc_array_p(const void *ctx, type, uint_t count);
372
373 The talloc_array_p() macro is equivalent to:
374
375   (type *)talloc(ctx, sizeof(type) * count);
376
377 except that it provides integer overflow protection for the multiply,
378 returning NULL if the multiply overflows.
379
380
381 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
382 void *talloc_realloc_p(const void *ctx, void *ptr, type, uint_t count);
383
384 The talloc_realloc_p() macro is equivalent to:
385
386   (type *)talloc_realloc(ctx, ptr, sizeof(type) * count);
387
388 except that it provides integer overflow protection for the multiply,
389 returning NULL if the multiply overflows.
390