talloc_guide.txt

   1 Using talloc in Samba4
   2 ----------------------
   3
   4 Andrew Tridgell
   5 September 2004
   6
   7 The most current version of this document is available at
   8    http://samba.org/ftp/unpacked/samba4/talloc_guide.txt
   9
  10 If you are used to talloc from Samba3 then please read this carefully,
  11 as talloc has changed a lot.
  12
  13 The new talloc is a hierarchical, reference counted memory pool system
  14 with destructors. Quite a mounthful really, but not too bad once you
  15 get used to it.
  16
  17 Perhaps the biggest change from Samba3 is that there is no distinction
  18 between a "talloc context" and a "talloc pointer". Any pointer
  19 returned from talloc() is itself a valid talloc context. This means
  20 you can do this:
  21
  22   struct foo *X = talloc_p(mem_ctx, struct foo);
  23   X->name = talloc_strdup(X, "foo");
  24
  25 and the pointer X->name would be a "child" of the talloc context "X"
  26 which is itself a child of mem_ctx. So if you do talloc_free(mem_ctx)
  27 then it is all destroyed, whereas if you do talloc_free(X) then just X
  28 and X->name are destroyed, and if you do talloc_free(X->name) then
  29 just the name element of X is destroyed.
  30
  31 If you think about this, then what this effectively gives you is an
  32 n-ary tree, where you can free any part of the tree with
  33 talloc_free().
  34
  35 If you find this confusing, then I suggest you run the LOCAL-TALLOC
  36 smbtorture test to watch talloc in action. You may also like to add
  37 your own tests to source/torture/local/talloc.c to clarify how some
  38 particular situation is handled.
  39
  40
  41 Performance
  42 -----------
  43
  44 All the additional features of talloc() over malloc() do come at a
  45 price. We have a simple performance test in Samba4 that measures
  46 talloc() versus malloc() performance, and it seems that talloc() is
  47 about 10% slower than malloc() on my x86 Debian Linux box. For Samba,
  48 the great reduction in code complexity that we get by using talloc
  49 makes this worthwhile, especially as the total overhead of
  50 talloc/malloc in Samba is already quite small.
  51
  52
  53 talloc API
  54 ----------
  55
  56 The following is a complete guide to the talloc API. Read it all at
  57 least twice.
  58
  59
  60 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  61 void *talloc(const void *context, size_t size);
  62
  63 The talloc() function is the core of the talloc library. It takes a
  64 memory context, and returns a pointer to a new area of memory of the
  65 given size.
  66
  67 The returned pointer is itself a talloc context, so you can use it as
  68 the context argument to more calls to talloc if you wish.
  69
  70 The returned pointer is a "child" of the supplied context. This means
  71 that if you talloc_free() the context then the new child disappears as
  72 well. Alternatively you can free just the child.
  73
  74 The context argument to talloc() can be NULL, in which case a new top
  75 level context is created.
  76
  77
  78 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  79 void *talloc_p(const void *context, type);
  80
  81 The talloc_p() macro is the equivalent of
  82
  83   (type *)talloc(ctx, sizeof(type))
  84
  85 You should use it in preference to talloc() whenever possible, as it
  86 provides additional type safety. It also automatically calls the
  87 talloc_set_name_const() function with the name being a string holding
  88 the name of the type.
  89
  90
  91 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  92 int talloc_free(void *ptr);
  93
  94 The talloc_free() function frees a piece of talloc memory, and all its
  95 children. You can call talloc_free() on any pointer returned by
  96 talloc().
  97
  98 The return value of talloc_free() indicates success or failure, with 0
  99 returned for success and -1 for failure. The only possible failure
 100 condition is if the pointer had a destructor attached to it and the
 101 destructor returned -1. See talloc_set_destructor() for details on
 102 destructors.
 103
 104 If this pointer has an additional reference when talloc_free() is
 105 called then the memory is not actually released, but instead the most
 106 recently established reference is destroyed. See talloc_reference()
 107 for details on establishing additional references.
 108
 109 For more control on which parent is removed, see talloc_unlink()
 110
 111 talloc_free() operates recursively on its children.
 112
 113
 114 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 115 void *talloc_reference(const void *context, const void *ptr);
 116
 117 The talloc_reference() function returns an additional reference to
 118 "ptr", and makes this additional reference a child of "context".
 119
 120 The return value of talloc_reference() is always the original pointer
 121 "ptr", unless talloc ran out of memory in creating the reference in
 122 which case it will return NULL (each additional reference consumes
 123 around 48 bytes of memory on intel x86 platforms).
 124
 125 After creating a reference you can free it in one of the following
 126 ways:
 127
 128   - you can talloc_free() a parent of the original pointer. That will
 129     destroy the reference and make the pointer a child of the
 130     "context" argument from the most recently called
 131     talloc_reference() on the pointer.
 132
 133   - you can talloc_free() the pointer itself. That will destroy the
 134     most recently established reference to the pointer and leave the
 135     pointer as a child of its current parent.
 136
 137   - you can talloc_free() the context where you placed the
 138     reference. That will destroy the reference, and leave the pointer
 139     where it is.
 140
 141 For more control on which parent to remove, see talloc_unlink()
 142
 143
 144 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 145 int talloc_unlink(const void *context, const void *ptr);
 146
 147 The talloc_unlink() function removes a specific parent from ptr. The
 148 context passed must either be a context used in talloc_reference()
 149 with this pointer, or must be a direct parent of ptr.
 150
 151 Note that if the parent has already been removed using talloc_free()
 152 then this function will fail and will return -1.
 153
 154 Usually you can just use talloc_free() instead of talloc_unlink(), but
 155 sometimes it is useful to have the additional control on which parent
 156 is removed.
 157
 158
 159 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 160 void talloc_set_destructor(const void *ptr, int (*destructor)(void *));
 161
 162 The function talloc_set_destructor() sets the "destructor" for the
 163 pointer "ptr". A destructor is a function that is called when the
 164 memory used by a pointer is about to be released. The destructor
 165 receives the pointer as an argument, and should return 0 for success
 166 and -1 for failure.
 167
 168 The destructor can do anything it wants to, including freeing other
 169 pieces of memory. A common use for destructors is to clean up
 170 operating system resources (such as open file descriptors) contained
 171 in the structure the destructor is placed on.
 172
 173 You can only place one destructor on a pointer. If you need more than
 174 one destructor then you can create a zero-length child of the pointer
 175 and place an additional destructor on that.
 176
 177 To remove a destructor call talloc_set_destructor() with NULL for the
 178 destructor.
 179
 180 If your destructor attempts to talloc_free() the pointer that it is
 181 the destructor for then talloc_free() will return -1 and the free will
 182 be ignored. This would be a pointless operation anyway, as the
 183 destructor is only called when the memory is just about to go away.
 184
 185
 186 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 187 void talloc_increase_ref_count(const void *ptr);
 188
 189 The talloc_increase_ref_count(ptr) function is exactly equivalent to:
 190
 191   talloc_reference(NULL, ptr);
 192
 193 You can use either syntax, depending on which you think is clearer in
 194 your code.
 195
 196
 197 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 198 void talloc_set_name(const void *ptr, const char *fmt, ...);
 199
 200 Each talloc pointer has a "name". The name is used principally for
 201 debugging purposes, although it is also possible to set and get the
 202 name on a pointer in as a way of "marking" pointers in your code.
 203
 204 The main use for names on pointer is for "talloc reports". See
 205 talloc_report() and talloc_report_full() for details. Also see
 206 talloc_enable_leak_report() and talloc_enable_leak_report_full().
 207
 208
 209 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 210 void talloc_set_name_const(const void *ptr, const char *name);
 211
 212 The function talloc_set_name_const() is just like talloc_set_name(),
 213 but it takes a string constant, and is much faster. It is extensively
 214 used by the "auto naming" macros, such as talloc_p().
 215
 216
 217 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 218 void *talloc_named(const void *context, size_t size, const char *fmt, ...);
 219
 220 The talloc_named() function creates a named talloc pointer. It is
 221 equivalent to:
 222
 223    ptr = talloc(context, size);
 224    talloc_set_name(ptr, fmt, ....);
 225
 226
 227 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 228 void *talloc_named_const(const void *context, size_t size, const char *name);
 229
 230 This is equivalent to:
 231
 232    ptr = talloc(context, size);
 233    talloc_set_name_const(ptr, name);
 234
 235
 236 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 237 const char *talloc_get_name(const void *ptr);
 238
 239 This returns the current name for the given talloc pointer. See
 240 talloc_set_name() for details.
 241
 242
 243 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 244 void *talloc_init(const char *fmt, ...);
 245
 246 This function creates a zero length named talloc context as a top
 247 level context. It is equivalent to:
 248
 249   talloc_named(NULL, 0, fmt, ...);
 250
 251
 252 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 253 void *talloc_realloc(const void *context, void *ptr, size_t size);
 254
 255 The talloc_realloc() function changes the size of a talloc
 256 pointer. It has the following equivalences:
 257
 258   talloc_realloc(context, NULL, size) ==> talloc(context, size);
 259   talloc_realloc(context, ptr, 0)     ==> talloc_free(ptr);
 260
 261 The "context" argument is only used if "ptr" is not NULL, otherwise it
 262 is ignored.
 263
 264 talloc_realloc() returns the new pointer, or NULL on failure. The call
 265 will fail either due to a lack of memory, or because the pointer has
 266 an reference (see talloc_reference()).
 267
 268
 269 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 270 void *talloc_steal(const void *new_ctx, const void *ptr);
 271
 272 The talloc_steal() function changes the parent context of a talloc
 273 pointer. It is typically used when the context that the pointer is
 274 currently a child of is going to be freed and you wish to keep the
 275 memory for a longer time.
 276
 277 The talloc_steal() function returns the pointer that you pass it. It
 278 does not have any failure modes.
 279
 280 NOTE: It is possible to produce loops in the parent/child relationship
 281 if you are not careful with talloc_steal(). No guarantees are provided
 282 as to your sanity or the safety of your data if you do this.
 283
 284
 285 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 286 off_t talloc_total_size(const void *ptr);
 287
 288 The talloc_total_size() function returns the total size in bytes used
 289 by this pointer and all child pointers. Mostly useful for debugging.
 290
 291 Passing NULL is allowed, but it will only give a meaningful result if
 292 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 293 been called.
 294
 295
 296 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 297 off_t talloc_total_blocks(const void *ptr);
 298
 299 The talloc_total_blocks() function returns the total memory block
 300 count used by this pointer and all child pointers. Mostly useful for
 301 debugging.
 302
 303 Passing NULL is allowed, but it will only give a meaningful result if
 304 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 305 been called.
 306
 307
 308 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 309 void talloc_report(const void *ptr, FILE *f);
 310
 311 The talloc_report() function prints a summary report of all memory
 312 used by ptr. One line of report is printed for each immediate child of
 313 ptr, showing the total memory and number of blocks used by that child.
 314
 315 You can pass NULL for the pointer, in which case a report is printed
 316 for the top level memory context, but only if
 317 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 318 been called.
 319
 320
 321 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 322 void talloc_report_full(const void *ptr, FILE *f);
 323
 324 This provides a more detailed report than talloc_report(). It will
 325 recursively print the ensire tree of memory referenced by the
 326 pointer. References in the tree are shown by giving the name of the
 327 pointer that is referenced.
 328
 329 You can pass NULL for the pointer, in which case a report is printed
 330 for the top level memory context, but only if
 331 talloc_enable_leak_report() or talloc_enable_leak_report_full() has
 332 been called.
 333
 334
 335 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 336 void talloc_enable_leak_report(void);
 337
 338 This enables calling of talloc_report(NULL, stderr) when the program
 339 exits. In Samba4 this is enabled by using the --leak-report command
 340 line option.
 341
 342 For it to be useful, this function must be called before any other
 343 talloc function as it establishes a "null context" that acts as the
 344 top of the tree. If you don't call this function first then passing
 345 NULL to talloc_report() or talloc_report_full() won't give you the
 346 full tree printout.
 347
 348 Here is a typical talloc report:
 349
 350 talloc report on 'null_context' (total 267 bytes in 15 blocks)
 351         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
 352         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
 353         iconv(UTF8,CP850)              contains     42 bytes in   2 blocks
 354         libcli/auth/spnego_parse.c:55  contains     31 bytes in   2 blocks
 355         iconv(CP850,UTF8)              contains     42 bytes in   2 blocks
 356         iconv(UTF8,UTF-16LE)           contains     45 bytes in   2 blocks
 357         iconv(UTF-16LE,UTF8)           contains     45 bytes in   2 blocks
 358
 359
 360 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 361 void talloc_enable_leak_report_full(void);
 362
 363 This enables calling of talloc_report_full(NULL, stderr) when the
 364 program exits. In Samba4 this is enabled by using the
 365 --leak-report-full command line option.
 366
 367 For it to be useful, this function must be called before any other
 368 talloc function as it establishes a "null context" that acts as the
 369 top of the tree. If you don't call this function first then passing
 370 NULL to talloc_report() or talloc_report_full() won't give you the
 371 full tree printout.
 372
 373 Here is a typical full report:
 374
 375 full talloc report on 'root' (total 18 bytes in 8 blocks)
 376     p1                             contains     18 bytes in   7 blocks (ref 0)
 377         r1                             contains     13 bytes in   2 blocks (ref 0)
 378             reference to: p2
 379         p2                             contains      1 bytes in   1 blocks (ref 1)
 380         x3                             contains      1 bytes in   1 blocks (ref 0)
 381         x2                             contains      1 bytes in   1 blocks (ref 0)
 382         x1                             contains      1 bytes in   1 blocks (ref 0)
 383
 384
 385 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 386 void *talloc_zero(const void *ctx, size_t size);
 387
 388 The talloc_zero() function is equivalent to:
 389
 390   ptr = talloc(ctx, size);
 391   if (ptr) memset(ptr, 0, size);
 392
 393
 394 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 395 void *talloc_memdup(const void *ctx, const void *p, size_t size);
 396
 397 The talloc_memdup() function is equivalent to:
 398
 399   ptr = talloc(ctx, size);
 400   if (ptr) memcpy(ptr, p, size);
 401
 402
 403 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 404 char *talloc_strdup(const void *ctx, const char *p);
 405
 406 The talloc_strdup() function is equivalent to:
 407
 408   ptr = talloc(ctx, strlen(p)+1);
 409   if (ptr) memcpy(ptr, p, strlen(p)+1);
 410
 411
 412 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 413 char *talloc_strndup(const void *t, const char *p, size_t n);
 414
 415 The talloc_strndup() function is the talloc equivalent of the C
 416 library function strndup()
 417
 418
 419 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 420 char *talloc_vasprintf(const void *t, const char *fmt, va_list ap);
 421
 422 The talloc_vasprintf() function is the talloc equivalent of the C
 423 library function vasprintf()
 424
 425
 426 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 427 char *talloc_asprintf(const void *t, const char *fmt, ...);
 428
 429 The talloc_asprintf() function is the talloc equivalent of the C
 430 library function asprintf()
 431
 432
 433 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 434 char *talloc_asprintf_append(char *s, const char *fmt, ...);
 435
 436 The talloc_asprintf_append() function appends the given formatted
 437 string to the given string.
 438
 439
 440 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 441 void *talloc_array_p(const void *ctx, type, uint_t count);
 442
 443 The talloc_array_p() macro is equivalent to:
 444
 445   (type *)talloc(ctx, sizeof(type) * count);
 446
 447 except that it provides integer overflow protection for the multiply,
 448 returning NULL if the multiply overflows.
 449
 450
 451 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 452 void *talloc_realloc_p(const void *ctx, void *ptr, type, uint_t count);
 453
 454 The talloc_realloc_p() macro is equivalent to:
 455
 456   (type *)talloc_realloc(ctx, ptr, sizeof(type) * count);
 457
 458 except that it provides integer overflow protection for the multiply,
 459 returning NULL if the multiply overflows.
 460
 461
 462 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 463 void *talloc_realloc_fn(const void *ctx, void *ptr, size_t size);
 464
 465 This is a non-macro version of talloc_realloc(), which is useful
 466 as libraries sometimes want a ralloc function pointer. A realloc()
 467 implementation encapsulates the functionality of malloc(), free() and
 468 realloc() in one call, which is why it is useful to be able to pass
 469 around a single function pointer.
 470