talloc_guide.txt

   1 Using talloc in Samba4
   2 ----------------------
   3
   4 Andrew Tridgell
   5 September 2004
   6
   7 The most current version of this document is available at
   8    http://samba.org/ftp/unpacked/samba4/talloc_guide.txt
   9
  10 If you are used to talloc from Samba3 then please read this carefully,
  11 as talloc has changed a lot.
  12
  13 The new talloc is a hierarchical, reference counted memory pool system
  14 with destructors. Quite a mounthful really, but not too bad once you
  15 get used to it.
  16
  17 Perhaps the biggest change from Samba3 is that there is no distinction
  18 between a "talloc context" and a "talloc pointer". Any pointer
  19 returned from talloc() is itself a valid talloc context. This means
  20 you can do this:
  21
  22   struct foo *X = talloc_p(mem_ctx, struct foo);
  23   X->name = talloc_strdup(X, "foo");
  24
  25 and the pointer X->name would be a "child" of the talloc context "X"
  26 which is itself a child of mem_ctx. So if you do talloc_free(mem_ctx)
  27 then it is all destroyed, whereas if you do talloc_free(X) then just X
  28 and X->name are destroyed, and if you do talloc_free(X->name) then
  29 just the name element of X is destroyed.
  30
  31 If you think about this, then what this effectively gives you is an
  32 n-ary tree, where you can free any part of the tree with
  33 talloc_free().
  34
  35 If you find this confusing, then I suggest you run the LOCAL-TALLOC
  36 smbtorture test with the --leak-report-full option to watch talloc in
  37 action. You may also like to add your own tests to
  38 source/torture/local/talloc.c to clarify how some particular situation
  39 is handled.
  40
  41
  42 talloc API
  43 ----------
  44
  45 The following is a complete guide to the talloc API. Read it all at
  46 least twice.
  47
  48
  49 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  50 void *talloc(const void *context, size_t size);
  51
  52 The talloc() function is the core of the talloc library. It takes a
  53 memory context, and returns a pointer to a new area of memory of the
  54 given size.
  55
  56 The returned pointer is itself a talloc context, so you can use it as
  57 the context argument to more calls to talloc if you wish.
  58
  59 The returned pointer is a "child" of the supplied context. This means
  60 that if you talloc_free() the context then the new child disappears as
  61 well. Alternatively you can free just the child.
  62
  63 The context argument to talloc() can be NULL, in which case a new top
  64 level context is created.
  65
  66
  67 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  68 void *talloc_p(const void *context, type);
  69
  70 The talloc_p() macro is the equivalent of
  71
  72   (type *)talloc(ctx, sizeof(type))
  73
  74 You should use it in preference to talloc() whenever possible, as it
  75 provides additional type safety. It also automatically calls the
  76 talloc_set_name_const() function with the name being a string holding
  77 the name of the type.
  78
  79
  80 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  81 int talloc_free(void *ptr);
  82
  83 The talloc_free() function frees a piece of talloc memory, and all its
  84 children. You can call talloc_free() on any pointer returned by
  85 talloc().
  86
  87 The return value of talloc_free() indicates success or failure, with 0
  88 returned for success and -1 for failure. The only possible failure
  89 condition is if the pointer had a destructor attached to it and the
  90 destructor returned -1. See talloc_set_destructor() for details on
  91 destructors.
  92
  93 If this pointer has an additional reference when talloc_free() is
  94 called then the memory is not actually released, but instead the
  95 reference is destroyed and the memory becomes a child of the
  96 referrer. See talloc_reference() for details on establishing
  97 additional references.
  98
  99 talloc_free() operates recursively on its children.
 100
 101
 102 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 103 void *talloc_reference(const void *context, const void *ptr);
 104
 105 The talloc_reference() function returns an additional reference to
 106 "ptr", and makes this additional reference a child of "context".
 107
 108 The return value of talloc_reference() is always the original pointer
 109 "ptr", unless talloc ran out of memory in creating the reference in
 110 which case it will return NULL (each additional reference consumes
 111 around 48 bytes of memory on intel x86 platforms).
 112
 113 After creating a reference you can free it in one of the following
 114 ways:
 115
 116   - you can talloc_free() a parent of the original pointer. That will
 117     destroy the reference and make the pointer a child of "context".
 118
 119   - you can talloc_free() the pointer itself. That will destroy the
 120     reference and make the pointer a child of "context".
 121
 122   - you can talloc_free() the context where you placed the
 123     reference. That will destroy the reference, and leave the pointer
 124     where it is.
 125
 126
 127 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 128 void *talloc_unreference(const void *context, const void *ptr);
 129
 130 The talloc_unreference() function removes a reference added by
 131 talloc_reference(). It must be called with exactly the same arguments
 132 as talloc_reference().
 133
 134 Note that if the reference has already been removed using
 135 talloc_free() then this function will fail and will return NULL.
 136
 137
 138 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 139 void talloc_set_destructor(const void *ptr, int (*destructor)(void *));
 140
 141 The function talloc_set_destructor() sets the "destructor" for the
 142 pointer "ptr". A destructor is a function that is called when the
 143 memory used by a pointer is about to be released. The destructor
 144 receives the pointer as an argument, and should return 0 for success
 145 and -1 for failure.
 146
 147 The destructor can do anything it wants to, including freeing other
 148 pieces of memory. A common use for destructors is to clean up
 149 operating system resources (such as open file descriptors) contained
 150 in the structure the destructor is placed on.
 151
 152 You can only place one destructor on a pointer. If you need more than
 153 one destructor then you can create a zero-length child of the pointer
 154 and place an additional destructor on that.
 155
 156 To remove a destructor call talloc_set_destructor() with NULL for the
 157 destructor.
 158
 159 If your destructor attempts to talloc_free() the pointer that it is
 160 the destructor for then talloc_free() will return -1 and the free will
 161 be ignored. This would be a pointless operation anyway, as the
 162 destructor is only called when the memory is just about to go away.
 163
 164
 165 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 166 void talloc_increase_ref_count(const void *ptr);
 167
 168 The talloc_increase_ref_count(ptr) function is exactly equivalent to:
 169
 170   talloc_reference(NULL, ptr);
 171
 172 You can use either syntax, depending on which you think is clearer in
 173 your code.
 174
 175
 176 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 177 void talloc_set_name(const void *ptr, const char *fmt, ...);
 178
 179 Each talloc pointer has a "name". The name is used principally for
 180 debugging purposes, although it is also possible to set and get the
 181 name on a pointer in as a way of "marking" pointers in your code.
 182
 183 The main use for names on pointer is for "talloc reports". See
 184 talloc_report() and talloc_report_full() for details. Also see
 185 talloc_enable_leak_report() and talloc_enable_leak_report_full().
 186
 187
 188 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 189 void talloc_set_name_const(const void *ptr, const char *name);
 190
 191 The function talloc_set_name_const() is just like talloc_set_name(),
 192 but it takes a string constant, and is much faster. It is extensively
 193 used by the "auto naming" macros, such as talloc_p().
 194
 195
 196 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 197 void *talloc_named(const void *context, size_t size, const char *fmt, ...);
 198
 199 The talloc_named() function creates a named talloc pointer. It is
 200 equivalent to:
 201
 202    ptr = talloc(context, size);
 203    talloc_set_name(ptr, fmt, ....);
 204
 205
 206 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 207 void *talloc_named_const(const void *context, size_t size, const char *name);
 208
 209 This is equivalent to:
 210
 211    ptr = talloc(context, size);
 212    talloc_set_name_const(ptr, name);
 213
 214
 215 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 216 const char *talloc_get_name(const void *ptr);
 217
 218 This returns the current name for the given talloc pointer. See
 219 talloc_set_name() for details.
 220
 221
 222 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 223 void *talloc_init(const char *fmt, ...);
 224
 225 This function creates a zero length named talloc context as a top
 226 level context. It is equivalent to:
 227
 228   talloc_named(NULL, 0, fmt, ...);
 229
 230
 231 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 232 void *talloc_realloc(const void *context, void *ptr, size_t size);
 233
 234 The talloc_realloc() function changes the size of a talloc
 235 pointer. It has the following equivalences:
 236
 237   talloc_realloc(context, NULL, size) ==> talloc(context, size);
 238   talloc_realloc(context, ptr, 0)     ==> talloc_free(ptr);
 239
 240 The "context" argument is only used if "ptr" is not NULL, otherwise it
 241 is ignored.
 242
 243 talloc_realloc() returns the new pointer, or NULL on failure. The call
 244 will fail either due to a lack of memory, or because the pointer has
 245 an reference (see talloc_reference()).
 246
 247
 248 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 249 void *talloc_steal(const void *new_ctx, const void *ptr);
 250
 251 The talloc_steal() function changes the parent context of a talloc
 252 pointer. It is typically used when the context that the pointer is
 253 currently a child of is going to be freed and you wish to keep the
 254 memory for a longer time.
 255
 256 The talloc_steal() function returns the pointer that you pass it. It
 257 does not have any failure modes.
 258
 259 NOTE: It is possible to produce loops in the parent/child relationship
 260 if you are not careful with talloc_steal(). No guarantees are provided
 261 as to your sanity or the safety of your data if you do this.
 262
 263
 264 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 265 off_t talloc_total_size(const void *ptr);
 266
 267 The talloc_total_size() function returns the total size in bytes used
 268 by this pointer and all child pointers. Mostly useful for debugging.
 269
 270
 271 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 272 void talloc_report(const void *ptr, FILE *f);
 273
 274 The talloc_report() function prints a summary report of all memory
 275 used by ptr. One line of report is printed for each immediate child of
 276 ptr, showing the total memory and number of blocks used by that child.
 277
 278 You can pass NULL for the pointer, in which case a report is printed
 279 for the top level memory context.
 280
 281
 282 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 283 void talloc_report_full(const void *ptr, FILE *f);
 284
 285 This provides a more detailed report than talloc_report(). It will
 286 recursively print the ensire tree of memory referenced by the
 287 pointer. References in the tree are shown by giving the name of the
 288 pointer that is referenced.
 289
 290 You can pass NULL for the pointer, in which case a report is printed
 291 for the top level memory context.
 292
 293
 294 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 295 void talloc_enable_leak_report(void);
 296
 297 This enables calling of talloc_report(NULL, stderr) when the program
 298 exits. In Samba4 this is enabled by using the --leak-report command
 299 line option.
 300
 301
 302 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 303 void talloc_enable_leak_report_full(void);
 304
 305 This enables calling of talloc_report_full(NULL, stderr) when the
 306 program exits. In Samba4 this is enabled by using the
 307 --leak-report-full command line option.
 308
 309
 310 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 311 void *talloc_zero(const void *ctx, size_t size);
 312
 313 The talloc_zero() function is equivalent to:
 314
 315   ptr = talloc(ctx, size);
 316   if (ptr) memset(ptr, 0, size);
 317
 318
 319 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 320 void *talloc_memdup(const void *ctx, const void *p, size_t size);
 321
 322 The talloc_memdup() function is equivalent to:
 323
 324   ptr = talloc(ctx, size);
 325   if (ptr) memcpy(ptr, p, size);
 326
 327
 328 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 329 char *talloc_strdup(const void *ctx, const char *p);
 330
 331 The talloc_strdup() function is equivalent to:
 332
 333   ptr = talloc(ctx, strlen(p)+1);
 334   if (ptr) memcpy(ptr, p, strlen(p)+1);
 335
 336
 337 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 338 char *talloc_strndup(const void *t, const char *p, size_t n);
 339
 340 The talloc_strndup() function is the talloc equivalent of the C
 341 library function strndup()
 342
 343
 344 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 345 char *talloc_vasprintf(const void *t, const char *fmt, va_list ap);
 346
 347 The talloc_vasprintf() function is the talloc equivalent of the C
 348 library function vasprintf()
 349
 350
 351 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 352 char *talloc_asprintf(const void *t, const char *fmt, ...);
 353
 354 The talloc_asprintf() function is the talloc equivalent of the C
 355 library function asprintf()
 356
 357
 358 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 359 char *talloc_asprintf_append(char *s, const char *fmt, ...);
 360
 361 The talloc_asprintf_append() function appends the given formatted
 362 string to the given string.
 363
 364
 365 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 366 void *talloc_array_p(const void *ctx, type, uint_t count);
 367
 368 The talloc_array_p() macro is equivalent to:
 369
 370   (type *)talloc(ctx, sizeof(type) * count);
 371
 372 except that it provides integer overflow protection for the multiply,
 373 returning NULL if the multiply overflows.
 374
 375
 376 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 377 void *talloc_realloc_p(const void *ctx, void *ptr, type, uint_t count);
 378
 379 The talloc_realloc_p() macro is equivalent to:
 380
 381   (type *)talloc_realloc(ctx, ptr, sizeof(type) * count);
 382
 383 except that it provides integer overflow protection for the multiply,
 384 returning NULL if the multiply overflows.
 385