talloc_guide.txt

   1 Using talloc in Samba4
   2 ----------------------
   3
   4 Andrew Tridgell
   5 September 2004
   6
   7 The most current version of this document is available at
   8    http://samba.org/ftp/unpacked/samba4/talloc_guide.txt
   9
  10 If you are used to talloc from Samba3 then please read this carefully,
  11 as talloc has changed a lot.
  12
  13 The new talloc is a hierarchical, reference counted memory pool system
  14 with destructors. Quite a mounthful really, but not too bad once you
  15 get used to it.
  16
  17 Perhaps the biggest change from Samba3 is that there is no distinction
  18 between a "talloc context" and a "talloc pointer". Any pointer
  19 returned from talloc() is itself a valid talloc context. This means
  20 you can do this:
  21
  22   struct foo *X = talloc_p(mem_ctx, struct foo);
  23   X->name = talloc_strdup(X, "foo");
  24
  25 and the pointer X->name would be a "child" of the talloc context "X"
  26 which is itself a child of mem_ctx. So if you do talloc_free(mem_ctx)
  27 then it is all destroyed, whereas if you do talloc_free(X) then just X
  28 and X->name are destroyed, and if you do talloc_free(X->name) then
  29 just the name element of X is destroyed.
  30
  31 If you think about this, then what this effectively gives you is an
  32 n-ary tree, where you can free any part of the tree with
  33 talloc_free().
  34
  35 If you find this confusing, then I suggest you run the LOCAL-TALLOC
  36 smbtorture test with the --leak-report-full option to watch talloc in
  37 action. You may also like to add your own tests to
  38 source/torture/local/talloc.c to clarify how some particular situation
  39 is handled.
  40
  41
  42 talloc API
  43 ----------
  44
  45 The following is a complete guide to the talloc API. Read it all at
  46 least twice.
  47
  48
  49 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  50 void *talloc(const void *context, size_t size);
  51
  52 The talloc() function is the core of the talloc library. It takes a
  53 memory context, and returns a pointer to a new area of memory of the
  54 given size.
  55
  56 The returned pointer is itself a talloc context, so you can use it as
  57 the context argument to more calls to talloc if you wish.
  58
  59 The returned pointer is a "child" of the supplied context. This means
  60 that if you talloc_free() the context then the new child disappears as
  61 well. Alternatively you can free just the child.
  62
  63 The context argument to talloc() can be NULL, in which case a new top
  64 level context is created.
  65
  66
  67 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  68 int talloc_free(void *ptr);
  69
  70 The talloc_free() function frees a piece of talloc memory, and all its
  71 children. You can call talloc_free() on any pointer returned by
  72 talloc().
  73
  74 The return value of talloc_free() indicates success or failure, with 0
  75 returned for success and -1 for failure. The only possible failure
  76 condition is if the pointer had a destructor attached to it and the
  77 destructor returned -1. See talloc_set_destructor() for details on
  78 destructors.
  79
  80 If this pointer has an additional reference when talloc_free() is
  81 called then the memory is not actually released, but instead the
  82 reference is destroyed and the memory becomes a child of the
  83 referrer. See talloc_reference() for details on establishing
  84 additional references.
  85
  86 talloc_free() operates recursively on its children.
  87
  88
  89 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
  90 void *talloc_reference(const void *context, const void *ptr);
  91
  92 The talloc_reference() function returns an additional reference to
  93 "ptr", and makes this additional reference a child of "context".
  94
  95 The return value of talloc_reference() is always the original pointer
  96 "ptr", unless talloc ran out of memory in creating the reference in
  97 which case it will return NULL (each additional reference consumes
  98 around 48 bytes of memory on intel x86 platforms).
  99
 100 After creating a reference you can free it in one of the following
 101 ways:
 102
 103   - you can talloc_free() a parent of the original pointer. That will
 104     destroy the reference and make the pointer a child of "context".
 105
 106   - you can talloc_free() the pointer itself. That will destroy the
 107     reference and make the pointer a child of "context".
 108
 109   - you can talloc_free() the context where you placed the
 110     reference. That will destroy the reference, and leave the pointer
 111     where it is.
 112
 113
 114 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 115 void talloc_set_destructor(const void *ptr, int (*destructor)(void *));
 116
 117 The function talloc_set_destructor() sets the "destructor" for the
 118 pointer "ptr". A destructor is a function that is called when the
 119 memory used by a pointer is about to be released. The destructor
 120 receives the pointer as an argument, and should return 0 for success
 121 and -1 for failure.
 122
 123 The destructor can do anything it wants to, including freeing other
 124 pieces of memory. A common use for destructors is to clean up
 125 operating system resources (such as open file descriptors) contained
 126 in the structure the destructor is placed on.
 127
 128 You can only place one destructor on a pointer. If you need more than
 129 one destructor then you can create a zero-length child of the pointer
 130 and place an additional destructor on that.
 131
 132 To remove a destructor call talloc_set_destructor() with NULL for the
 133 destructor.
 134
 135 If your destructor attempts to talloc_free() the pointer that it is
 136 the destructor for then talloc_free() will return -1 and the free will
 137 be ignored. This would be a pointless operation anyway, as the
 138 destructor is only called when the memory is just about to go away.
 139
 140
 141 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 142 void talloc_increase_ref_count(const void *ptr);
 143
 144 The talloc_increase_ref_count(ptr) function is exactly equivalent to:
 145
 146   talloc_reference(NULL, ptr);
 147
 148 You can use either syntax, depending on which you think is clearer in
 149 your code.
 150
 151
 152 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 153 void talloc_set_name(const void *ptr, const char *fmt, ...);
 154
 155 Each talloc pointer has a "name". The name is used principally for
 156 debugging purposes, although it is also possible to set and get the
 157 name on a pointer in as a way of "marking" pointers in your code.
 158
 159 The main use for names on pointer is for "talloc reports". See
 160 talloc_report() and talloc_report_full() for details. Also see
 161 talloc_enable_leak_report() and talloc_enable_leak_report_full().
 162
 163
 164 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 165 void talloc_set_name_const(const void *ptr, const char *name);
 166
 167 The function talloc_set_name_const() is just like talloc_set_name(),
 168 but it takes a string constant, and is much faster. It is extensively
 169 used by the "auto naming" macros, such as talloc_p().
 170
 171
 172 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 173 void *talloc_named(const void *context, size_t size, const char *fmt, ...);
 174
 175 The talloc_named() function creates a named talloc pointer. It is
 176 equivalent to:
 177
 178    ptr = talloc(context, size);
 179    talloc_set_name(ptr, fmt, ....);
 180
 181
 182 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 183 void *talloc_named_const(const void *context, size_t size, const char *name);
 184
 185 This is equivalent to:
 186
 187    ptr = talloc(context, size);
 188    talloc_set_name_const(ptr, name);
 189
 190
 191 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 192 const char *talloc_get_name(const void *ptr);
 193
 194 This returns the current name for the given talloc pointer. See
 195 talloc_set_name() for details.
 196
 197
 198 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 199 void *talloc_init(const char *fmt, ...);
 200
 201 This function creates a zero length named talloc context as a top
 202 level context. It is equivalent to:
 203
 204   talloc_named(NULL, 0, fmt, ...);
 205
 206
 207 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 208 void *talloc_realloc(const void *context, void *ptr, size_t size);
 209
 210 The talloc_realloc() function changes the size of a talloc
 211 pointer. It has the following equivalences:
 212
 213   talloc_realloc(context, NULL, size) ==> talloc(context, size);
 214   talloc_realloc(context, ptr, 0)     ==> talloc_free(ptr);
 215
 216 The "context" argument is only used if "ptr" is not NULL, otherwise it
 217 is ignored.
 218
 219 talloc_realloc() returns the new pointer, or NULL on failure. The call
 220 will fail either due to a lack of memory, or because the pointer has
 221 an reference (see talloc_reference()).
 222
 223
 224 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 225 void *talloc_steal(const void *new_ctx, const void *ptr);
 226
 227 The talloc_steal() function changes the parent context of a talloc
 228 pointer. It is typically used when the context that the pointer is
 229 currently a child of is going to be freed and you wish to keep the
 230 memory for a longer time.
 231
 232 The talloc_steal() function returns the pointer that you pass it. It
 233 does not have any failure modes.
 234
 235 NOTE: It is possible to produce loops in the parent/child relationship
 236 if you are not careful with talloc_steal(). No guarantees are provided
 237 as to your sanity or the safety of your data if you do this.
 238
 239
 240 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 241 off_t talloc_total_size(const void *ptr);
 242
 243 The talloc_total_size() function returns the total size in bytes used
 244 by this pointer and all child pointers. Mostly useful for debugging.
 245
 246
 247 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 248 void talloc_report(const void *ptr, FILE *f);
 249
 250 The talloc_report() function prints a summary report of all memory
 251 used by ptr. One line of report is printed for each immediate child of
 252 ptr, showing the total memory and number of blocks used by that child.
 253
 254 You can pass NULL for the pointer, in which case a report is printed
 255 for the top level memory context.
 256
 257
 258 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 259 void talloc_report_full(const void *ptr, FILE *f);
 260
 261 This provides a more detailed report than talloc_report(). It will
 262 recursively print the ensire tree of memory referenced by the
 263 pointer. References in the tree are shown by giving the name of the
 264 pointer that is referenced.
 265
 266 You can pass NULL for the pointer, in which case a report is printed
 267 for the top level memory context.
 268
 269
 270 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 271 void talloc_enable_leak_report(void);
 272
 273 This enables calling of talloc_report(NULL, stderr) when the program
 274 exits. In Samba4 this is enabled by using the --leak-report command
 275 line option.
 276
 277
 278 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 279 void talloc_enable_leak_report_full(void);
 280
 281 This enables calling of talloc_report_full(NULL, stderr) when the
 282 program exits. In Samba4 this is enabled by using the
 283 --leak-report-full command line option.
 284
 285
 286 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 287 void *talloc_zero(const void *ctx, size_t size);
 288
 289 The talloc_zero() function is equivalent to:
 290
 291   ptr = talloc(ctx, size);
 292   if (ptr) memset(ptr, 0, size);
 293
 294
 295 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 296 void *talloc_memdup(const void *ctx, const void *p, size_t size);
 297
 298 The talloc_memdup() function is equivalent to:
 299
 300   ptr = talloc(ctx, size);
 301   if (ptr) memcpy(ptr, p, size);
 302
 303
 304 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 305 char *talloc_strdup(const void *ctx, const char *p);
 306
 307 The talloc_strdup() function is equivalent to:
 308
 309   ptr = talloc(ctx, strlen(p)+1);
 310   if (ptr) memcpy(ptr, p, strlen(p)+1);
 311
 312
 313 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 314 char *talloc_strndup(const void *t, const char *p, size_t n);
 315
 316 The talloc_strndup() function is the talloc equivalent of the C
 317 library function strndup()
 318
 319
 320 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 321 char *talloc_vasprintf(const void *t, const char *fmt, va_list ap);
 322
 323 The talloc_vasprintf() function is the talloc equivalent of the C
 324 library function vasprintf()
 325
 326
 327 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 328 char *talloc_asprintf(const void *t, const char *fmt, ...);
 329
 330 The talloc_asprintf() function is the talloc equivalent of the C
 331 library function asprintf()
 332
 333
 334 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 335 char *talloc_asprintf_append(char *s, const char *fmt, ...);
 336
 337 The talloc_asprintf_append() function appends the given formatted
 338 string to the given string.
 339
 340
 341 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 342 void *talloc_array_p(const void *ctx, type, uint_t count);
 343
 344 The talloc_array_p() macro is equivalent to:
 345
 346   (type *)talloc(ctx, sizeof(type) * count);
 347
 348 except that it provides integer overflow protection for the multiply,
 349 returning NULL if the multiply overflows.
 350
 351
 352 =-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
 353 void *talloc_realloc_p(const void *ctx, void *ptr, type, uint_t count);
 354
 355 The talloc_realloc_p() macro is equivalent to:
 356
 357   (type *)talloc_realloc(ctx, ptr, sizeof(type) * count);
 358
 359 except that it provides integer overflow protection for the multiply,
 360 returning NULL if the multiply overflows.
 361