r4627: - simplified the dcerpc auth code using a common function
[samba.git] / source4 / librpc / ndr / ndr.c
index bce4759d8abc316bb247531c2da7858e4d9b9dcb..7cc832c68e30ccb442d353457be759523281eae0 100644 (file)
 */
 
 #include "includes.h"
+#include "dlinklist.h"
 
 #define NDR_BASE_MARSHALL_SIZE 1024
 
-
 /*
   work out the number of bytes needed to align on a n byte boundary
 */
-size_t ndr_align_size(uint32 offset, size_t n)
+size_t ndr_align_size(uint32_t offset, size_t n)
 {
        if ((offset & (n-1)) == 0) return 0;
        return n - (offset & (n-1));
@@ -44,18 +44,15 @@ size_t ndr_align_size(uint32 offset, size_t n)
 /*
   initialise a ndr parse structure from a data blob
 */
-struct ndr_pull *ndr_pull_init_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx)
+struct ndr_pull *ndr_pull_init_blob(const DATA_BLOB *blob, TALLOC_CTX *mem_ctx)
 {
        struct ndr_pull *ndr;
 
-       ndr = talloc(mem_ctx, sizeof(*ndr));
+       ndr = talloc_zero_p(mem_ctx, struct ndr_pull);
        if (!ndr) return NULL;
 
-       ndr->flags = 0;
        ndr->data = blob->data;
        ndr->data_size = blob->length;
-       ndr->offset = 0;
-       ndr->mem_ctx = mem_ctx;
 
        return ndr;
 }
@@ -64,7 +61,7 @@ struct ndr_pull *ndr_pull_init_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx)
   create an ndr sub-context based on an existing context. The new context starts
   at the current offset, with the given size limit
 */
-NTSTATUS ndr_pull_subcontext(struct ndr_pull *ndr, struct ndr_pull *ndr2, uint32 size)
+NTSTATUS ndr_pull_subcontext(struct ndr_pull *ndr, struct ndr_pull *ndr2, uint32_t size)
 {
        NDR_PULL_NEED_BYTES(ndr, size);
        *ndr2 = *ndr;
@@ -76,35 +73,10 @@ NTSTATUS ndr_pull_subcontext(struct ndr_pull *ndr, struct ndr_pull *ndr2, uint32
 }
 
 
-/* limit the remaining size of the current ndr parse structure to the
-   given size, starting at the given offset 
-
-   this is used when a ndr packet has an explicit size on the wire, and we
-   need to make sure that we don't use more data than is indicated
-
-   the 'ofs' parameter indicates how many bytes back from the current
-   offset in the buffer the 'size' number of bytes starts
-*/
-NTSTATUS ndr_pull_limit_size(struct ndr_pull *ndr, uint32 size, uint32 ofs)
-{
-       uint32 new_size;
-       new_size = ndr->offset + size - ofs;
-
-       if (new_size > ndr->data_size) {
-               return ndr_pull_error(ndr, NDR_ERR_BUFSIZE, 
-                                     "ndr_pull_limit_size %s %u failed",
-                                     size, ofs);
-       }
-       ndr->data_size = new_size;
-
-       return NT_STATUS_OK;
-}
-
-
 /*
   advance by 'size' bytes
 */
-NTSTATUS ndr_pull_advance(struct ndr_pull *ndr, uint32 size)
+NTSTATUS ndr_pull_advance(struct ndr_pull *ndr, uint32_t size)
 {
        ndr->offset += size;
        if (ndr->offset > ndr->data_size) {
@@ -118,7 +90,7 @@ NTSTATUS ndr_pull_advance(struct ndr_pull *ndr, uint32 size)
 /*
   set the parse offset to 'ofs'
 */
-NTSTATUS ndr_pull_set_offset(struct ndr_pull *ndr, uint32 ofs)
+NTSTATUS ndr_pull_set_offset(struct ndr_pull *ndr, uint32_t ofs)
 {
        ndr->offset = ofs;
        if (ndr->offset > ndr->data_size) {
@@ -149,23 +121,18 @@ struct ndr_push *ndr_push_init_ctx(TALLOC_CTX *mem_ctx)
 {
        struct ndr_push *ndr;
 
-       ndr = talloc(mem_ctx, sizeof(*ndr));
+       ndr = talloc_zero_p(mem_ctx, struct ndr_push);
        if (!ndr) {
                return NULL;
        }
 
-       ndr->mem_ctx = mem_ctx;
        ndr->flags = 0;
        ndr->alloc_size = NDR_BASE_MARSHALL_SIZE;
-       ndr->data = talloc(ndr->mem_ctx, ndr->alloc_size);
+       ndr->data = talloc_array_p(ndr, uint8_t, ndr->alloc_size);
        if (!ndr->data) {
                return NULL;
        }
-       ndr->offset = 0;
-       ndr->ptr_count = 0;
-       ndr->relative_list = NULL;
-       ndr->relative_list_end = NULL;
-       
+
        return ndr;
 }
 
@@ -173,20 +140,13 @@ struct ndr_push *ndr_push_init_ctx(TALLOC_CTX *mem_ctx)
 /* create a ndr_push structure, ready for some marshalling */
 struct ndr_push *ndr_push_init(void)
 {
-       struct ndr_push *ndr;
-       TALLOC_CTX *mem_ctx = talloc_init("ndr_push_init");
-       if (!mem_ctx) return NULL;
-       ndr = ndr_push_init_ctx(mem_ctx);
-       if (!ndr) {
-               talloc_destroy(mem_ctx);
-       }
-       return ndr;
+       return ndr_push_init_ctx(NULL);
 }
 
 /* free a ndr_push structure */
 void ndr_push_free(struct ndr_push *ndr)
 {
-       talloc_destroy(ndr->mem_ctx);
+       talloc_free(ndr);
 }
 
 
@@ -203,7 +163,7 @@ DATA_BLOB ndr_push_blob(struct ndr_push *ndr)
 /*
   expand the available space in the buffer to 'size'
 */
-NTSTATUS ndr_push_expand(struct ndr_push *ndr, uint32 size)
+NTSTATUS ndr_push_expand(struct ndr_push *ndr, uint32_t size)
 {
        if (ndr->alloc_size >= size) {
                return NT_STATUS_OK;
@@ -213,7 +173,7 @@ NTSTATUS ndr_push_expand(struct ndr_push *ndr, uint32 size)
        if (size > ndr->alloc_size) {
                ndr->alloc_size = size;
        }
-       ndr->data = talloc_realloc(ndr->mem_ctx, ndr->data, ndr->alloc_size);
+       ndr->data = talloc_realloc(ndr, ndr->data, uint8_t, ndr->alloc_size);
        if (!ndr->data) {
                return ndr_push_error(ndr, NDR_ERR_ALLOC, "Failed to push_expand to %u",
                                      ndr->alloc_size);
@@ -225,7 +185,7 @@ NTSTATUS ndr_push_expand(struct ndr_push *ndr, uint32 size)
 /*
   set the push offset to 'ofs'
 */
-NTSTATUS ndr_push_set_offset(struct ndr_push *ndr, uint32 ofs)
+NTSTATUS ndr_push_set_offset(struct ndr_push *ndr, uint32_t ofs)
 {
        NDR_CHECK(ndr_push_expand(ndr, ofs));
        ndr->offset = ofs;
@@ -236,7 +196,7 @@ NTSTATUS ndr_push_set_offset(struct ndr_push *ndr, uint32 ofs)
   push a generic array
 */
 NTSTATUS ndr_push_array(struct ndr_push *ndr, int ndr_flags, void *base, 
-                       size_t elsize, uint32 count, 
+                       size_t elsize, uint32_t count, 
                        NTSTATUS (*push_fn)(struct ndr_push *, int, void *))
 {
        int i;
@@ -261,7 +221,7 @@ done:
   pull a constant sized array
 */
 NTSTATUS ndr_pull_array(struct ndr_pull *ndr, int ndr_flags, void *base, 
-                       size_t elsize, uint32 count, 
+                       size_t elsize, uint32_t count, 
                        NTSTATUS (*pull_fn)(struct ndr_pull *, int, void *))
 {
        int i;
@@ -283,12 +243,33 @@ done:
        return NT_STATUS_OK;
 }
 
+/*
+  pull a constant size array of structures
+*/
+NTSTATUS ndr_pull_struct_array(struct ndr_pull *ndr, uint32_t count,
+                              size_t elsize, void **info,
+                              NTSTATUS (*pull_fn)(struct ndr_pull *, int, void *))
+{
+       int i;
+       char *base;
+
+       NDR_ALLOC_N_SIZE(ndr, *info, count, elsize);
+       base = (char *)*info;
+
+       for (i = 0; i < count; i++) {
+               ndr->data += ndr->offset;
+               ndr->offset = 0;
+               NDR_CHECK(pull_fn(ndr, NDR_SCALARS|NDR_BUFFERS, &base[count * elsize]));
+       }
+
+       return NT_STATUS_OK;
+}
 
 /*
   print a generic array
 */
 void ndr_print_array(struct ndr_print *ndr, const char *name, void *base, 
-                    size_t elsize, uint32 count, 
+                    size_t elsize, uint32_t count, 
                     void (*print_fn)(struct ndr_print *, const char *, void *))
 {
        int i;
@@ -309,7 +290,7 @@ void ndr_print_array(struct ndr_print *ndr, const char *name, void *base,
 
 
 
-static void ndr_print_debug_helper(struct ndr_print *ndr, const char *format, ...)
+void ndr_print_debug_helper(struct ndr_print *ndr, const char *format, ...) _PRINTF_ATTRIBUTE(2,3)
 {
        va_list ap;
        char *s = NULL;
@@ -330,69 +311,77 @@ static void ndr_print_debug_helper(struct ndr_print *ndr, const char *format, ..
 /*
   a useful helper function for printing idl structures via DEBUG()
 */
-void ndr_print_debug(void (*fn)(struct ndr_print *, const char *, void *),
-                    const char *name,
-                    void *ptr)
+void ndr_print_debug(ndr_print_fn_t fn, const char *name, void *ptr)
 {
-       struct ndr_print ndr;
+       struct ndr_print *ndr;
 
-       ndr.mem_ctx = talloc_init("ndr_print_debug");
-       if (!ndr.mem_ctx) return;
-       ndr.print = ndr_print_debug_helper;
-       ndr.depth = 1;
-       fn(&ndr, name, ptr);
-       talloc_destroy(ndr.mem_ctx);
+       ndr = talloc_p(NULL, struct ndr_print);
+       if (!ndr) return;
+       ndr->print = ndr_print_debug_helper;
+       ndr->depth = 1;
+       ndr->flags = 0;
+       fn(ndr, name, ptr);
+       talloc_free(ndr);
 }
 
 
 /*
   a useful helper function for printing idl unions via DEBUG()
 */
-void ndr_print_union_debug(void (*fn)(struct ndr_print *, const char *, uint32, void *),
-                          const char *name,
-                          uint32 level,
-                          void *ptr)
+void ndr_print_union_debug(ndr_print_union_fn_t fn, const char *name, uint32_t level, void *ptr)
 {
-       struct ndr_print ndr;
+       struct ndr_print *ndr;
 
-       ndr.mem_ctx = talloc_init("ndr_print_union");
-       if (!ndr.mem_ctx) return;
-       ndr.print = ndr_print_debug_helper;
-       ndr.depth = 1;
-       fn(&ndr, name, level, ptr);
-       talloc_destroy(ndr.mem_ctx);
+       ndr = talloc_p(NULL, struct ndr_print);
+       if (!ndr) return;
+       ndr->print = ndr_print_debug_helper;
+       ndr->depth = 1;
+       ndr->flags = 0;
+       fn(ndr, name, level, ptr);
+       talloc_free(ndr);
 }
 
 /*
   a useful helper function for printing idl function calls via DEBUG()
 */
-void ndr_print_function_debug(void (*fn)(struct ndr_print *, const char *, int , void *),
-                             const char *name,
-                             int flags,
-                             void *ptr)
+void ndr_print_function_debug(ndr_print_function_t fn, const char *name, int flags, void *ptr)
 {
-       struct ndr_print ndr;
+       struct ndr_print *ndr;
 
-       if (!DEBUGLVL(2)) {
-               return;
-       }
-
-       ndr.mem_ctx = talloc_init("ndr_print_function");
-       if (!ndr.mem_ctx) return;
-       ndr.print = ndr_print_debug_helper;
-       ndr.depth = 1;
-       fn(&ndr, name, flags, ptr);
-       talloc_destroy(ndr.mem_ctx);
+       ndr = talloc_p(NULL, struct ndr_print);
+       if (!ndr) return;
+       ndr->print = ndr_print_debug_helper;
+       ndr->depth = 1;
+       ndr->flags = 0;
+       fn(ndr, name, flags, ptr);
+       talloc_free(ndr);
 }
 
+void ndr_set_flags(uint32_t *pflags, uint32_t new_flags)
+{
+       /* the big/little endian flags are inter-dependent */
+       if (new_flags & LIBNDR_FLAG_LITTLE_ENDIAN) {
+               (*pflags) &= ~LIBNDR_FLAG_BIGENDIAN;
+       }
+       if (new_flags & LIBNDR_FLAG_BIGENDIAN) {
+               (*pflags) &= ~LIBNDR_FLAG_LITTLE_ENDIAN;
+       }
+       (*pflags) |= new_flags;
+}
 
 static NTSTATUS ndr_map_error(enum ndr_err_code err)
 {
        switch (err) {
        case NDR_ERR_BUFSIZE:
                return NT_STATUS_BUFFER_TOO_SMALL;
+       case NDR_ERR_TOKEN:
+               return NT_STATUS_INTERNAL_ERROR;
        case NDR_ERR_ALLOC:
                return NT_STATUS_NO_MEMORY;
+       case NDR_ERR_ARRAY_SIZE:
+               return NT_STATUS_ARRAY_BOUNDS_EXCEEDED;
+       default:
+               break;
        }
 
        /* we should all error codes to different status codes */
@@ -402,7 +391,8 @@ static NTSTATUS ndr_map_error(enum ndr_err_code err)
 /*
   return and possibly log an NDR error
 */
-NTSTATUS ndr_pull_error(struct ndr_pull *ndr, enum ndr_err_code err, const char *format, ...)
+NTSTATUS ndr_pull_error(struct ndr_pull *ndr, 
+                       enum ndr_err_code err, const char *format, ...) _PRINTF_ATTRIBUTE(3,4)
 {
        char *s=NULL;
        va_list ap;
@@ -421,7 +411,7 @@ NTSTATUS ndr_pull_error(struct ndr_pull *ndr, enum ndr_err_code err, const char
 /*
   return and possibly log an NDR error
 */
-NTSTATUS ndr_push_error(struct ndr_push *ndr, enum ndr_err_code err, const char *format, ...)
+NTSTATUS ndr_push_error(struct ndr_push *ndr, enum ndr_err_code err, const char *format, ...)  _PRINTF_ATTRIBUTE(3,4)
 {
        char *s=NULL;
        va_list ap;
@@ -448,14 +438,14 @@ static NTSTATUS ndr_pull_subcontext_header(struct ndr_pull *ndr,
 {
        switch (sub_size) {
        case 0: {
-               uint32 size = ndr->data_size - ndr->offset;
+               uint32_t size = ndr->data_size - ndr->offset;
                if (size == 0) return NT_STATUS_OK;
                NDR_CHECK(ndr_pull_subcontext(ndr, ndr2, size));
                break;
        }
 
        case 2: {
-               uint16 size;
+               uint16_t size;
                NDR_CHECK(ndr_pull_uint16(ndr, &size));
                if (size == 0) return NT_STATUS_OK;
                NDR_CHECK(ndr_pull_subcontext(ndr, ndr2, size));
@@ -463,7 +453,7 @@ static NTSTATUS ndr_pull_subcontext_header(struct ndr_pull *ndr,
        }
 
        case 4: {
-               uint32 size;
+               uint32_t size;
                NDR_CHECK(ndr_pull_uint32(ndr, &size));
                if (size == 0) return NT_STATUS_OK;
                NDR_CHECK(ndr_pull_subcontext(ndr, ndr2, size));
@@ -480,55 +470,49 @@ static NTSTATUS ndr_pull_subcontext_header(struct ndr_pull *ndr,
   handle subcontext buffers, which in midl land are user-marshalled, but
   we use magic in pidl to make them easier to cope with
 */
-NTSTATUS ndr_pull_subcontext_fn(struct ndr_pull *ndr, 
-                               size_t sub_size,
-                               void *base,
-                               NTSTATUS (*fn)(struct ndr_pull *, void *))
+NTSTATUS ndr_pull_subcontext_fn(struct ndr_pull *ndr, size_t sub_size, 
+                               void *base, ndr_pull_fn_t fn)
 {
-       struct ndr_pull ndr2;
-
-       NDR_CHECK(ndr_pull_subcontext_header(ndr, sub_size, &ndr2));
-       NDR_CHECK(fn(&ndr2, base));
+       struct ndr_pull *ndr2;
+       NDR_ALLOC(ndr, ndr2);
+       NDR_CHECK(ndr_pull_subcontext_header(ndr, sub_size, ndr2));
+       NDR_CHECK(fn(ndr2, base));
        if (sub_size) {
-               NDR_CHECK(ndr_pull_advance(ndr, ndr2.data_size));
+               NDR_CHECK(ndr_pull_advance(ndr, ndr2->data_size));
        } else {
-               NDR_CHECK(ndr_pull_advance(ndr, ndr2.offset));
+               NDR_CHECK(ndr_pull_advance(ndr, ndr2->offset));
        }
        return NT_STATUS_OK;
 }
 
 
-NTSTATUS ndr_pull_subcontext_flags_fn(struct ndr_pull *ndr, 
-                                     size_t sub_size,
-                                     void *base,
-                                     NTSTATUS (*fn)(struct ndr_pull *, int , void *))
+NTSTATUS ndr_pull_subcontext_flags_fn(struct ndr_pull *ndr, size_t sub_size,
+                                     void *base, ndr_pull_flags_fn_t fn)
 {
-       struct ndr_pull ndr2;
-
-       NDR_CHECK(ndr_pull_subcontext_header(ndr, sub_size, &ndr2));
-       NDR_CHECK(fn(&ndr2, NDR_SCALARS|NDR_BUFFERS, base));
+       struct ndr_pull *ndr2;
+       NDR_ALLOC(ndr, ndr2);
+       NDR_CHECK(ndr_pull_subcontext_header(ndr, sub_size, ndr2));
+       NDR_CHECK(fn(ndr2, NDR_SCALARS|NDR_BUFFERS, base));
        if (sub_size) {
-               NDR_CHECK(ndr_pull_advance(ndr, ndr2.data_size));
+               NDR_CHECK(ndr_pull_advance(ndr, ndr2->data_size));
        } else {
-               NDR_CHECK(ndr_pull_advance(ndr, ndr2.offset));
+               NDR_CHECK(ndr_pull_advance(ndr, ndr2->offset));
        }
        return NT_STATUS_OK;
 }
 
-NTSTATUS ndr_pull_subcontext_union_fn(struct ndr_pull *ndr, 
-                                     size_t sub_size,
-                                     uint32 level,
-                                     void *base,
-                                     NTSTATUS (*fn)(struct ndr_pull *, int , uint32 , void *))
+NTSTATUS ndr_pull_subcontext_union_fn(struct ndr_pull *ndr, size_t sub_size,
+                                     uint32_t level, void *base, ndr_pull_union_fn_t fn)
 {
-       struct ndr_pull ndr2;
+       struct ndr_pull *ndr2;
 
-       NDR_CHECK(ndr_pull_subcontext_header(ndr, sub_size, &ndr2));
-       NDR_CHECK(fn(&ndr2, NDR_SCALARS|NDR_BUFFERS, level, base));
+       NDR_ALLOC(ndr, ndr2);
+       NDR_CHECK(ndr_pull_subcontext_header(ndr, sub_size, ndr2));
+       NDR_CHECK(fn(ndr2, NDR_SCALARS|NDR_BUFFERS, level, base));
        if (sub_size) {
-               NDR_CHECK(ndr_pull_advance(ndr, ndr2.data_size));
+               NDR_CHECK(ndr_pull_advance(ndr, ndr2->data_size));
        } else {
-               NDR_CHECK(ndr_pull_advance(ndr, ndr2.offset));
+               NDR_CHECK(ndr_pull_advance(ndr, ndr2->offset));
        }
        return NT_STATUS_OK;
 }
@@ -564,14 +548,12 @@ static NTSTATUS ndr_push_subcontext_header(struct ndr_push *ndr,
   handle subcontext buffers, which in midl land are user-marshalled, but
   we use magic in pidl to make them easier to cope with
 */
-NTSTATUS ndr_push_subcontext_fn(struct ndr_push *ndr, 
-                               size_t sub_size,
-                               void *base,
-                               NTSTATUS (*fn)(struct ndr_push *, void *))
+NTSTATUS ndr_push_subcontext_fn(struct ndr_push *ndr, size_t sub_size, 
+                               void *base, ndr_push_fn_t fn)
 {
        struct ndr_push *ndr2;
 
-       ndr2 = ndr_push_init_ctx(ndr->mem_ctx);
+       ndr2 = ndr_push_init_ctx(ndr);
        if (!ndr2) return NT_STATUS_NO_MEMORY;
 
        ndr2->flags = ndr->flags;
@@ -584,14 +566,12 @@ NTSTATUS ndr_push_subcontext_fn(struct ndr_push *ndr,
 /*
   handle subcontext buffers for function that take a flags arg
 */
-NTSTATUS ndr_push_subcontext_flags_fn(struct ndr_push *ndr, 
-                                     size_t sub_size,
-                                     void *base,
-                                     NTSTATUS (*fn)(struct ndr_push *, int, void *))
+NTSTATUS ndr_push_subcontext_flags_fn(struct ndr_push *ndr, size_t sub_size,
+                                     void *base, ndr_push_flags_fn_t fn)
 {
        struct ndr_push *ndr2;
 
-       ndr2 = ndr_push_init_ctx(ndr->mem_ctx);
+       ndr2 = ndr_push_init_ctx(ndr);
        if (!ndr2) return NT_STATUS_NO_MEMORY;
 
        ndr2->flags = ndr->flags;
@@ -604,15 +584,12 @@ NTSTATUS ndr_push_subcontext_flags_fn(struct ndr_push *ndr,
 /*
   handle subcontext buffers for function that take a union
 */
-NTSTATUS ndr_push_subcontext_union_fn(struct ndr_push *ndr, 
-                                     size_t sub_size,
-                                     uint32 level,
-                                     void *base,
-                                     NTSTATUS (*fn)(struct ndr_push *, int, uint32, void *))
+NTSTATUS ndr_push_subcontext_union_fn(struct ndr_push *ndr, size_t sub_size,
+                                     uint32_t level, void *base, ndr_push_union_fn_t fn)
 {
        struct ndr_push *ndr2;
 
-       ndr2 = ndr_push_init_ctx(ndr->mem_ctx);
+       ndr2 = ndr_push_init_ctx(ndr);
        if (!ndr2) return NT_STATUS_NO_MEMORY;
 
        ndr2->flags = ndr->flags;
@@ -628,11 +605,6 @@ NTSTATUS ndr_push_subcontext_union_fn(struct ndr_push *ndr,
 */
 NTSTATUS ndr_pull_struct_start(struct ndr_pull *ndr)
 {
-       struct ndr_ofs_list *ofs;
-       NDR_ALLOC(ndr, ofs);
-       ofs->offset = ndr->offset;
-       ofs->next = ndr->ofs_list;
-       ndr->ofs_list = ofs;
        return NT_STATUS_OK;
 }
 
@@ -641,7 +613,6 @@ NTSTATUS ndr_pull_struct_start(struct ndr_pull *ndr)
 */
 void ndr_pull_struct_end(struct ndr_pull *ndr)
 {
-       ndr->ofs_list = ndr->ofs_list->next;
 }
 
 /*
@@ -649,11 +620,6 @@ void ndr_pull_struct_end(struct ndr_pull *ndr)
 */
 NTSTATUS ndr_push_struct_start(struct ndr_push *ndr)
 {
-       struct ndr_ofs_list *ofs;
-       NDR_PUSH_ALLOC(ndr, ofs);
-       ofs->offset = ndr->offset;
-       ofs->next = ndr->ofs_list;
-       ndr->ofs_list = ofs;
        return NT_STATUS_OK;
 }
 
@@ -662,85 +628,187 @@ NTSTATUS ndr_push_struct_start(struct ndr_push *ndr)
 */
 void ndr_push_struct_end(struct ndr_push *ndr)
 {
-       ndr->ofs_list = ndr->ofs_list->next;
 }
 
-
 /*
-  pull a relative structure
+  store a token in the ndr context, for later retrieval
 */
-NTSTATUS ndr_pull_relative(struct ndr_pull *ndr, const void **buf, size_t size, 
-                          NTSTATUS (*fn)(struct ndr_pull *, int ndr_flags, void *))
+static NTSTATUS ndr_token_store(TALLOC_CTX *mem_ctx, 
+                               struct ndr_token_list **list, 
+                               const void *key, 
+                               uint32_t value)
 {
-       struct ndr_pull ndr2;
-       uint32 ofs;
-       struct ndr_pull_save save;
-       void *p;
-
-       NDR_CHECK(ndr_pull_uint32(ndr, &ofs));
-       if (ofs == 0) {
-               (*buf) = NULL;
-               return NT_STATUS_OK;
-       }
-       ndr_pull_save(ndr, &save);
-       NDR_CHECK(ndr_pull_set_offset(ndr, ofs + ndr->ofs_list->offset));
-       NDR_CHECK(ndr_pull_subcontext(ndr, &ndr2, ndr->data_size - ndr->offset));
-       /* strings must be allocated by the backend functions */
-       if (ndr->flags & LIBNDR_STRING_FLAGS) {
-               NDR_CHECK(fn(&ndr2, NDR_SCALARS|NDR_BUFFERS, &p));
-       } else {
-               NDR_ALLOC_SIZE(ndr, p, size);
-               NDR_CHECK(fn(&ndr2, NDR_SCALARS|NDR_BUFFERS, p));
+       struct ndr_token_list *tok;
+       tok = talloc_p(mem_ctx, struct ndr_token_list);
+       if (tok == NULL) {
+               return NT_STATUS_NO_MEMORY;
        }
-       (*buf) = p;
-       ndr_pull_restore(ndr, &save);
+       tok->key = key;
+       tok->value = value;
+       DLIST_ADD((*list), tok);
        return NT_STATUS_OK;
 }
 
 /*
-  push a relative structure
+  retrieve a token from a ndr context
 */
-NTSTATUS ndr_push_relative(struct ndr_push *ndr, int ndr_flags, const void *p, 
-                          NTSTATUS (*fn)(struct ndr_push *, int , const void *))
+static NTSTATUS ndr_token_retrieve(struct ndr_token_list **list, const void *key, uint32_t *v)
 {
-       struct ndr_ofs_list *ofs;
-       if (ndr_flags & NDR_SCALARS) {
-               if (!p) {
-                       NDR_CHECK(ndr_push_uint32(ndr, 0));
+       struct ndr_token_list *tok;
+       for (tok=*list;tok;tok=tok->next) {
+               if (tok->key == key) {
+                       DLIST_REMOVE((*list), tok);
+                       *v = tok->value;
                        return NT_STATUS_OK;
                }
-               NDR_PUSH_ALLOC(ndr, ofs);
-               NDR_CHECK(ndr_push_align(ndr, 4));
-               ofs->offset = ndr->offset;
-               NDR_CHECK(ndr_push_uint32(ndr, 0xFFFFFFFF));
-               ofs->next = NULL;
-               if (ndr->relative_list_end) {
-                       ndr->relative_list_end->next = ofs;
-               } else {
-                       ndr->relative_list = ofs;
-               }
-               ndr->relative_list_end = ofs;
        }
-       if (ndr_flags & NDR_BUFFERS) {
-               struct ndr_push_save save;
-               if (!p) {
-                       return NT_STATUS_OK;
-               }
-               ofs = ndr->relative_list;
-               if (!ofs) {
-                       return ndr_push_error(ndr, NDR_ERR_RELATIVE, "Empty relative stack");
-               }
-               ndr->relative_list = ndr->relative_list->next;
-               if (ndr->relative_list == NULL) {
-                       ndr->relative_list_end = NULL;
+       return ndr_map_error(NDR_ERR_TOKEN);
+}
+
+/*
+  peek at but don't removed a token from a ndr context
+*/
+static uint32_t ndr_token_peek(struct ndr_token_list **list, const void *key)
+{
+       struct ndr_token_list *tok;
+       for (tok=*list;tok;tok=tok->next) {
+               if (tok->key == key) {
+                       return tok->value;
                }
-               NDR_CHECK(ndr_push_align(ndr, 8));
-               ndr_push_save(ndr, &save);
-               ndr->offset = ofs->offset;
-               NDR_CHECK(ndr_push_uint32(ndr, save.offset - ndr->ofs_list->offset));
-               ndr_push_restore(ndr, &save);
-               NDR_CHECK(fn(ndr, NDR_SCALARS|NDR_BUFFERS, p));
        }
+       return 0;
+}
+
+/*
+  pull an array size field and add it to the array_size_list token list
+*/
+NTSTATUS ndr_pull_array_size(struct ndr_pull *ndr, const void *p)
+{
+       uint32_t size;
+       NDR_CHECK(ndr_pull_uint32(ndr, &size));
+       return ndr_token_store(ndr, &ndr->array_size_list, p, size);
+}
+
+/*
+  get the stored array size field
+*/
+uint32_t ndr_get_array_size(struct ndr_pull *ndr, const void *p)
+{
+       return ndr_token_peek(&ndr->array_size_list, p);
+}
+
+/*
+  check the stored array size field
+*/
+NTSTATUS ndr_check_array_size(struct ndr_pull *ndr, void *p, uint32_t size)
+{
+       uint32_t stored;
+       NDR_CHECK(ndr_token_retrieve(&ndr->array_size_list, p, &stored));
+       if (stored != size) {
+               return ndr_pull_error(ndr, NDR_ERR_ARRAY_SIZE, 
+                                     "Bad array size - got %u expected %u\n",
+                                     stored, size);
+       }
+       return NT_STATUS_OK;
+}
+
+/*
+  pull an array length field and add it to the array_length_list token list
+*/
+NTSTATUS ndr_pull_array_length(struct ndr_pull *ndr, const void *p)
+{
+       uint32_t length, offset;
+       NDR_CHECK(ndr_pull_uint32(ndr, &offset));
+       if (offset != 0) {
+               return ndr_pull_error(ndr, NDR_ERR_ARRAY_SIZE, 
+                                     "non-zero array offset %u\n", offset);
+       }
+       NDR_CHECK(ndr_pull_uint32(ndr, &length));
+       return ndr_token_store(ndr, &ndr->array_length_list, p, length);
+}
+
+/*
+  get the stored array length field
+*/
+uint32_t ndr_get_array_length(struct ndr_pull *ndr, const void *p)
+{
+       return ndr_token_peek(&ndr->array_length_list, p);
+}
+
+/*
+  check the stored array length field
+*/
+NTSTATUS ndr_check_array_length(struct ndr_pull *ndr, void *p, uint32_t length)
+{
+       uint32_t stored;
+       NDR_CHECK(ndr_token_retrieve(&ndr->array_length_list, p, &stored));
+       if (stored != length) {
+               return ndr_pull_error(ndr, NDR_ERR_ARRAY_SIZE, 
+                                     "Bad array length - got %u expected %u\n",
+                                     stored, length);
+       }
+       return NT_STATUS_OK;
+}
+
+/*
+  pull a relative object - stage1
+  called during SCALARS processing
+*/
+NTSTATUS ndr_pull_relative1(struct ndr_pull *ndr, const void *p, uint32_t rel_offset)
+{
+       if (ndr->flags & LIBNDR_FLAG_RELATIVE_CURRENT) {
+               return ndr_token_store(ndr, &ndr->relative_list, p, 
+                                      rel_offset + ndr->offset - 4);
+       } else {
+               return ndr_token_store(ndr, &ndr->relative_list, p, rel_offset);
+       }
+}
+
+/*
+  pull a relative object - stage2
+  called during BUFFERS processing
+*/
+NTSTATUS ndr_pull_relative2(struct ndr_pull *ndr, const void *p)
+{
+       uint32_t rel_offset;
+       NDR_CHECK(ndr_token_retrieve(&ndr->relative_list, p, &rel_offset));
+       return ndr_pull_set_offset(ndr, rel_offset);
+}
+
+/*
+  push a relative object - stage1
+  this is called during SCALARS processing
+*/
+NTSTATUS ndr_push_relative1(struct ndr_push *ndr, const void *p)
+{
+       if (p == NULL) {
+               NDR_CHECK(ndr_push_uint32(ndr, 0));
+               return NT_STATUS_OK;
+       }
+       NDR_CHECK(ndr_push_align(ndr, 4));
+       NDR_CHECK(ndr_token_store(ndr, &ndr->relative_list, p, ndr->offset));
+       return ndr_push_uint32(ndr, 0xFFFFFFFF);
+}
+
+/*
+  push a relative object - stage2
+  this is called during buffers processing
+*/
+NTSTATUS ndr_push_relative2(struct ndr_push *ndr, const void *p)
+{
+       struct ndr_push_save save;
+       if (p == NULL) {
+               return NT_STATUS_OK;
+       }
+       NDR_CHECK(ndr_push_align(ndr, 4));
+       ndr_push_save(ndr, &save);
+       NDR_CHECK(ndr_token_retrieve(&ndr->relative_list, p, &ndr->offset));
+       if (ndr->flags & LIBNDR_FLAG_RELATIVE_CURRENT) {
+               NDR_CHECK(ndr_push_uint32(ndr, save.offset - ndr->offset));
+       } else {
+               NDR_CHECK(ndr_push_uint32(ndr, save.offset));
+       }
+       ndr_push_restore(ndr, &save);
        return NT_STATUS_OK;
 }
 
@@ -748,8 +816,8 @@ NTSTATUS ndr_push_relative(struct ndr_push *ndr, int ndr_flags, const void *p,
 /*
   pull a union from a blob using NDR
 */
-NTSTATUS ndr_pull_union_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx, uint32 level, void *p,
-                            NTSTATUS (*fn)(struct ndr_pull *, int ndr_flags, uint32, void *))
+NTSTATUS ndr_pull_union_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx, uint32_t level, void *p,
+                            ndr_pull_union_fn_t fn)
 {
        struct ndr_pull *ndr;
        ndr = ndr_pull_init_blob(blob, mem_ctx);
@@ -762,8 +830,8 @@ NTSTATUS ndr_pull_union_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx, uint32 level,
 /*
   pull a struct from a blob using NDR
 */
-NTSTATUS ndr_pull_struct_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx, void *p,
-                             NTSTATUS (*fn)(struct ndr_pull *, int ndr_flags, void *))
+NTSTATUS ndr_pull_struct_blob(const DATA_BLOB *blob, TALLOC_CTX *mem_ctx, void *p,
+                             ndr_pull_flags_fn_t fn)
 {
        struct ndr_pull *ndr;
        ndr = ndr_pull_init_blob(blob, mem_ctx);
@@ -772,3 +840,46 @@ NTSTATUS ndr_pull_struct_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx, void *p,
        }
        return fn(ndr, NDR_SCALARS|NDR_BUFFERS, p);
 }
+
+/*
+  push a struct to a blob using NDR
+*/
+NTSTATUS ndr_push_struct_blob(DATA_BLOB *blob, TALLOC_CTX *mem_ctx, void *p,
+                             ndr_push_flags_fn_t fn)
+{
+       NTSTATUS status;
+       struct ndr_push *ndr;
+       ndr = ndr_push_init_ctx(mem_ctx);
+       if (!ndr) {
+               return NT_STATUS_NO_MEMORY;
+       }
+       status = fn(ndr, NDR_SCALARS|NDR_BUFFERS, p);
+       if (!NT_STATUS_IS_OK(status)) {
+               return status;
+       }
+
+       *blob = ndr_push_blob(ndr);
+
+       return NT_STATUS_OK;
+}
+
+/*
+  generic ndr_size_*() handler for structures
+*/
+size_t ndr_size_struct(const void *p, int flags, ndr_push_flags_fn_t push)
+{
+       struct ndr_push *ndr;
+       NTSTATUS status;
+       size_t ret;
+
+       ndr = ndr_push_init_ctx(NULL);
+       if (!ndr) return 0;
+       ndr->flags |= flags;
+       status = push(ndr, NDR_SCALARS|NDR_BUFFERS, discard_const(p));
+       if (!NT_STATUS_IS_OK(status)) {
+               return 0;
+       }
+       ret = ndr->offset;
+       talloc_free(ndr);
+       return ret;
+}