Revert accidental reintroduction of void ** bug.
[ira/wip.git] / source3 / lib / charcnv.c
index 4a2e768d05a6071abf148005f9cd127f7a708802..c3b345142f528804a42c28a9744700e1da205526 100644 (file)
@@ -46,7 +46,8 @@ char lp_failed_convert_char(void)
 
 
 static smb_iconv_t conv_handles[NUM_CHARSETS][NUM_CHARSETS];
-static BOOL conv_silent; /* Should we do a debug if the conversion fails ? */
+static bool conv_silent; /* Should we do a debug if the conversion fails ? */
+static bool initialized;
 
 /**
  * Return the name of a charset to give to iconv().
@@ -92,12 +93,10 @@ static const char *charset_name(charset_t ch)
 
 void lazy_initialize_conv(void)
 {
-       static int initialized = False;
-
        if (!initialized) {
-               initialized = True;
                load_case_tables();
                init_iconv();
+               initialized = true;
        }
 }
 
@@ -116,6 +115,7 @@ void gfree_charcnv(void)
                        }
                }
        }
+       initialized = false;
 }
 
 /**
@@ -128,7 +128,7 @@ void gfree_charcnv(void)
 void init_iconv(void)
 {
        int c1, c2;
-       BOOL did_reload = False;
+       bool did_reload = False;
 
        /* so that charset_name() works we need to get the UNIX<->UCS2 going
           first */
@@ -178,7 +178,6 @@ void init_iconv(void)
                 * codepage changes? */
                /* XXX: Is the did_reload test too strict? */
                conv_silent = True;
-               init_doschar_table();
                init_valid_table();
                conv_silent = False;
        }
@@ -201,7 +200,7 @@ void init_iconv(void)
 
 static size_t convert_string_internal(charset_t from, charset_t to,
                      void const *src, size_t srclen, 
-                     void *dest, size_t destlen, BOOL allow_bad_conv)
+                     void *dest, size_t destlen, bool allow_bad_conv)
 {
        size_t i_len, o_len;
        size_t retval;
@@ -375,7 +374,7 @@ static size_t convert_string_internal(charset_t from, charset_t to,
 
 size_t convert_string(charset_t from, charset_t to,
                      void const *src, size_t srclen, 
-                     void *dest, size_t destlen, BOOL allow_bad_conv)
+                     void *dest, size_t destlen, bool allow_bad_conv)
 {
        /*
         * NB. We deliberately don't do a strlen here if srclen == -1.
@@ -512,9 +511,12 @@ size_t convert_string(charset_t from, charset_t to,
  * (this is a bad interface and needs fixing. JRA).
  * @param srclen length of source buffer.
  * @param dest always set at least to NULL
+ * @param converted_size set to the size of the allocated buffer on return
+ * true
  * @note -1 is not accepted for srclen.
  *
- * @returns Size in bytes of the converted string; or -1 in case of error.
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  *
  * Ensure the srclen contains the terminating zero.
  *
@@ -522,10 +524,11 @@ size_t convert_string(charset_t from, charset_t to,
  * There has to be a cleaner way to do this. JRA.
  **/
 
-size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
-                              void const *src, size_t srclen, void *dst, BOOL allow_bad_conv)
+bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
+                            void const *src, size_t srclen, void *dst,
+                            size_t *converted_size, bool allow_bad_conv)
 {
-       size_t i_len, o_len, destlen = MAX(srclen, 512);
+       size_t i_len, o_len, destlen = (srclen * 3) / 2;
        size_t retval;
        const char *inbuf = (const char *)src;
        char *outbuf = NULL, *ob = NULL;
@@ -534,10 +537,25 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
 
        *dest = NULL;
 
-       if (src == NULL || srclen == (size_t)-1)
-               return (size_t)-1;
-       if (srclen == 0)
-               return 0;
+       if (!converted_size) {
+               errno = EINVAL;
+               return false;
+       }
+
+       if (src == NULL || srclen == (size_t)-1) {
+               errno = EINVAL;
+               return false;
+       }
+       if (srclen == 0) {
+               ob = ((ctx != NULL) ? talloc_strdup(ctx, "") : SMB_STRDUP(""));
+               if (ob == NULL) {
+                       errno = ENOMEM;
+                       return false;
+               }
+               *dest = ob;
+               *converted_size = 0;
+               return true;
+       }
 
        lazy_initialize_conv();
 
@@ -546,31 +564,36 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
        if (descriptor == (smb_iconv_t)-1 || descriptor == (smb_iconv_t)0) {
                if (!conv_silent)
                        DEBUG(0,("convert_string_allocate: Conversion not supported.\n"));
-               return (size_t)-1;
+               errno = EOPNOTSUPP;
+               return false;
        }
 
   convert:
 
-       if ((destlen*2) < destlen) {
+       /* +2 is for ucs2 null termination. */
+       if ((destlen*2)+2 < destlen) {
                /* wrapped ! abort. */
                if (!conv_silent)
                        DEBUG(0, ("convert_string_allocate: destlen wrapped !\n"));
                if (!ctx)
                        SAFE_FREE(outbuf);
-               return (size_t)-1;
+               errno = EOPNOTSUPP;
+               return false;
        } else {
                destlen = destlen * 2;
        }
 
+       /* +2 is for ucs2 null termination. */
        if (ctx) {
-               ob = (char *)TALLOC_REALLOC(ctx, ob, destlen);
+               ob = (char *)TALLOC_REALLOC(ctx, ob, destlen + 2);
        } else {
-               ob = (char *)SMB_REALLOC(ob, destlen);
+               ob = (char *)SMB_REALLOC(ob, destlen + 2);
        }
 
        if (!ob) {
                DEBUG(0, ("convert_string_allocate: realloc failed!\n"));
-               return (size_t)-1;
+               errno = ENOMEM;
+               return false;
        }
        outbuf = ob;
        i_len = srclen;
@@ -592,7 +615,7 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                                        goto use_as_is;
                                break;
                        case E2BIG:
-                               goto convert;           
+                               goto convert;
                        case EILSEQ:
                                reason="Illegal multibyte sequence";
                                if (!conv_silent)
@@ -609,25 +632,39 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                } else {
                        SAFE_FREE(ob);
                }
-               return (size_t)-1;
+               return false;
        }
 
   out:
 
        destlen = destlen - o_len;
-       if (ctx) {
-               ob = (char *)TALLOC_REALLOC(ctx,ob,destlen);
-       } else {
-               ob = (char *)SMB_REALLOC(ob,destlen);
+       /* Don't shrink unless we're reclaiming a lot of
+        * space. This is in the hot codepath and these
+        * reallocs *cost*. JRA.
+        */
+       if (o_len > 1024) {
+               /* We're shrinking here so we know the +2 is safe from wrap. */
+               if (ctx) {
+                       ob = (char *)TALLOC_REALLOC(ctx,ob,destlen + 2);
+               } else {
+                       ob = (char *)SMB_REALLOC(ob,destlen + 2);
+               }
        }
 
        if (destlen && !ob) {
                DEBUG(0, ("convert_string_allocate: out of memory!\n"));
-               return (size_t)-1;
+               errno = ENOMEM;
+               return false;
        }
 
        *dest = ob;
-       return destlen;
+
+       /* Must ucs2 null terminate in the extra space we allocated. */
+       ob[destlen] = '\0';
+       ob[destlen+1] = '\0';
+
+       *converted_size = destlen;
+       return true;
 
  use_as_is:
 
@@ -718,24 +755,22 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
  *
  * @param srclen length of source buffer.
  * @param dest always set at least to NULL
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  * @note -1 is not accepted for srclen.
  *
- * @returns Size in bytes of the converted string; or -1 in case of error.
- **/
-size_t convert_string_talloc(TALLOC_CTX *ctx, charset_t from, charset_t to,
-                            void const *src, size_t srclen, void *dst,
-                            BOOL allow_bad_conv)
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
+ */
+bool convert_string_talloc(TALLOC_CTX *ctx, charset_t from, charset_t to,
+                          void const *src, size_t srclen, void *dst,
+                          size_t *converted_size, bool allow_bad_conv)
 {
        void **dest = (void **)dst;
-       size_t dest_len;
 
        *dest = NULL;
-       dest_len=convert_string_allocate(ctx, from, to, src, srclen, dest, allow_bad_conv);
-       if (dest_len == (size_t)-1)
-               return (size_t)-1;
-       if (*dest == NULL)
-               return (size_t)-1;
-       return dest_len;
+       return convert_string_allocate(ctx, from, to, src, srclen, dest,
+                                      converted_size, allow_bad_conv);
 }
 
 size_t unix_strupper(const char *src, size_t srclen, char *dest, size_t destlen)
@@ -743,10 +778,10 @@ size_t unix_strupper(const char *src, size_t srclen, char *dest, size_t destlen)
        size_t size;
        smb_ucs2_t *buffer;
 
-       size = push_ucs2_allocate(&buffer, src);
-       if (size == (size_t)-1) {
-               smb_panic("failed to create UCS2 buffer");
+       if (!push_ucs2_allocate(&buffer, src, &size)) {
+               return (size_t)-1;
        }
+
        if (!strupper_w(buffer) && (dest == src)) {
                free(buffer);
                return srclen;
@@ -759,49 +794,62 @@ size_t unix_strupper(const char *src, size_t srclen, char *dest, size_t destlen)
 
 /**
  strdup() a unix string to upper case.
- Max size is pstring.
 **/
 
 char *strdup_upper(const char *s)
 {
-       pstring out_buffer;
+       char *out_buffer = SMB_STRDUP(s);
        const unsigned char *p = (const unsigned char *)s;
        unsigned char *q = (unsigned char *)out_buffer;
 
+       if (!q) {
+               return NULL;
+       }
+
        /* this is quite a common operation, so we want it to be
           fast. We optimise for the ascii case, knowing that all our
           supported multi-byte character sets are ascii-compatible
           (ie. they match for the first 128 chars) */
 
-       while (1) {
+       while (*p) {
                if (*p & 0x80)
                        break;
-               *q++ = toupper_ascii(*p);
-               if (!*p)
-                       break;
+               *q++ = toupper_ascii_fast(*p);
                p++;
-               if (p - ( const unsigned char *)s >= sizeof(pstring))
-                       break;
        }
 
        if (*p) {
                /* MB case. */
-               size_t size;
-               wpstring buffer;
-               size = convert_string(CH_UNIX, CH_UTF16LE, s, -1, buffer, sizeof(buffer), True);
-               if (size == (size_t)-1) {
+               size_t converted_size, converted_size2;
+               smb_ucs2_t *buffer = NULL;
+
+               SAFE_FREE(out_buffer);
+               if (!convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, s,
+                                            strlen(s) + 1,
+                                            (void **)(void *)&buffer,
+                                            &converted_size, True))
+               {
                        return NULL;
                }
 
                strupper_w(buffer);
 
-               size = convert_string(CH_UTF16LE, CH_UNIX, buffer, -1, out_buffer, sizeof(out_buffer), True);
-               if (size == (size_t)-1) {
+               if (!convert_string_allocate(NULL, CH_UTF16LE, CH_UNIX, buffer,
+                                            converted_size,
+                                            (void **)(void *)&out_buffer,
+                                            &converted_size2, True))
+               {
+                       TALLOC_FREE(buffer);
                        return NULL;
                }
+
+               /* Don't need the intermediate buffer
+                * anymore.
+                */
+               TALLOC_FREE(buffer);
        }
 
-       return SMB_STRDUP(out_buffer);
+       return out_buffer;
 }
 
 /**
@@ -823,47 +871,42 @@ char *talloc_strdup_upper(TALLOC_CTX *ctx, const char *s)
           supported multi-byte character sets are ascii-compatible
           (ie. they match for the first 128 chars) */
 
-       while (1) {
+       while (*p) {
                if (*p & 0x80)
                        break;
-               *q++ = toupper_ascii(*p);
-               if (!*p)
-                       break;
+               *q++ = toupper_ascii_fast(*p);
                p++;
        }
 
        if (*p) {
                /* MB case. */
-               size_t size;
+               size_t converted_size, converted_size2;
                smb_ucs2_t *ubuf = NULL;
 
                /* We're not using the ascii buffer above. */
                TALLOC_FREE(out_buffer);
 
-               size = convert_string_talloc(ctx, CH_UNIX, CH_UTF16LE,
-                               s, strlen(s),
-                               (void *)&ubuf,
-                               True);
-               if (size == (size_t)-1) {
+               if (!convert_string_talloc(ctx, CH_UNIX, CH_UTF16LE, s,
+                                          strlen(s)+1, (void *)&ubuf,
+                                          &converted_size, True))
+               {
                        return NULL;
                }
 
                strupper_w(ubuf);
 
-               size = convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX,
-                               ubuf, size,
-                               (void *)&out_buffer,
-                               True);
+               if (!convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, ubuf,
+                                          converted_size, (void *)&out_buffer,
+                                          &converted_size2, True))
+               {
+                       TALLOC_FREE(ubuf);
+                       return NULL;
+               }
 
                /* Don't need the intermediate buffer
                 * anymore.
                 */
-
                TALLOC_FREE(ubuf);
-
-               if (size == (size_t)-1) {
-                       return NULL;
-               }
        }
 
        return out_buffer;
@@ -874,9 +917,10 @@ size_t unix_strlower(const char *src, size_t srclen, char *dest, size_t destlen)
        size_t size;
        smb_ucs2_t *buffer = NULL;
 
-       size = convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, src, srclen,
-                                      (void **)(void *)&buffer, True);
-       if (size == (size_t)-1 || !buffer) {
+       if (!convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, src, srclen,
+                                    (void **)(void *)&buffer, &size,
+                                    True))
+       {
                smb_panic("failed to create UCS2 buffer");
        }
        if (!strlower_w(buffer) && (dest == src)) {
@@ -894,28 +938,50 @@ size_t unix_strlower(const char *src, size_t srclen, char *dest, size_t destlen)
 
 char *strdup_lower(const char *s)
 {
-       size_t size;
+       size_t converted_size;
        smb_ucs2_t *buffer = NULL;
        char *out_buffer;
 
-       size = push_ucs2_allocate(&buffer, s);
-       if (size == -1 || !buffer) {
+       if (!push_ucs2_allocate(&buffer, s, &converted_size)) {
                return NULL;
        }
 
        strlower_w(buffer);
 
-       size = pull_ucs2_allocate(&out_buffer, buffer);
+       if (!pull_ucs2_allocate(&out_buffer, buffer, &converted_size)) {
+               SAFE_FREE(buffer);
+               return NULL;
+       }
+
        SAFE_FREE(buffer);
 
-       if (size == (size_t)-1) {
+       return out_buffer;
+}
+
+char *talloc_strdup_lower(TALLOC_CTX *ctx, const char *s)
+{
+       size_t converted_size;
+       smb_ucs2_t *buffer = NULL;
+       char *out_buffer;
+
+       if (!push_ucs2_talloc(ctx, &buffer, s, &converted_size)) {
+               return NULL;
+       }
+
+       strlower_w(buffer);
+
+       if (!pull_ucs2_talloc(ctx, &out_buffer, buffer, &converted_size)) {
+               TALLOC_FREE(buffer);
                return NULL;
        }
 
+       TALLOC_FREE(buffer);
+
        return out_buffer;
 }
 
-static size_t ucs2_align(const void *base_ptr, const void *p, int flags)
+
+size_t ucs2_align(const void *base_ptr, const void *p, int flags)
 {
        if (flags & (STR_NOALIGN|STR_ASCII))
                return 0;
@@ -935,27 +1001,40 @@ static size_t ucs2_align(const void *base_ptr, const void *p, int flags)
  * </dl>
  *
  * @param dest_len the maximum length in bytes allowed in the
- * destination.  If @p dest_len is -1 then no maximum is used.
+ * destination.
  **/
 size_t push_ascii(void *dest, const char *src, size_t dest_len, int flags)
 {
        size_t src_len = strlen(src);
-       pstring tmpbuf;
+       char *tmpbuf = NULL;
+       size_t ret;
 
-       /* treat a pstring as "unlimited" length */
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       /* No longer allow a length of -1. */
+       if (dest_len == (size_t)-1) {
+               smb_panic("push_ascii - dest_len == -1");
+       }
 
        if (flags & STR_UPPER) {
-               pstrcpy(tmpbuf, src);
+               tmpbuf = SMB_STRDUP(src);
+               if (!tmpbuf) {
+                       smb_panic("malloc fail");
+               }
                strupper_m(tmpbuf);
                src = tmpbuf;
        }
 
-       if (flags & (STR_TERMINATE | STR_TERMINATE_ASCII))
+       if (flags & (STR_TERMINATE | STR_TERMINATE_ASCII)) {
                src_len++;
+       }
 
-       return convert_string(CH_UNIX, CH_DOS, src, src_len, dest, dest_len, True);
+       ret = convert_string(CH_UNIX, CH_DOS, src, src_len, dest, dest_len, True);
+       if (ret == (size_t)-1 &&
+                       (flags & (STR_TERMINATE | STR_TERMINATE_ASCII))
+                       && dest_len > 0) {
+               ((char *)dest)[0] = '\0';
+       }
+       SAFE_FREE(tmpbuf);
+       return ret;
 }
 
 size_t push_ascii_fstring(void *dest, const char *src)
@@ -963,11 +1042,6 @@ size_t push_ascii_fstring(void *dest, const char *src)
        return push_ascii(dest, src, sizeof(fstring), STR_TERMINATE);
 }
 
-size_t push_ascii_pstring(void *dest, const char *src)
-{
-       return push_ascii(dest, src, sizeof(pstring), STR_TERMINATE);
-}
-
 /********************************************************************
  Push an nstring - ensure null terminated. Written by
  moriyama@miraclelinux.com (MORIYAMA Masayuki).
@@ -979,8 +1053,7 @@ size_t push_ascii_nstring(void *dest, const char *src)
        smb_ucs2_t *buffer;
 
        conv_silent = True;
-       buffer_len = push_ucs2_allocate(&buffer, src);
-       if (buffer_len == (size_t)-1) {
+       if (!push_ucs2_allocate(&buffer, src, &buffer_len)) {
                smb_panic("failed to create UCS2 buffer");
        }
 
@@ -1007,6 +1080,19 @@ size_t push_ascii_nstring(void *dest, const char *src)
        return dest_len;
 }
 
+/********************************************************************
+ Push and malloc an ascii string. src and dest null terminated.
+********************************************************************/
+
+bool push_ascii_allocate(char **dest, const char *src, size_t *converted_size)
+{
+       size_t src_len = strlen(src)+1;
+
+       *dest = NULL;
+       return convert_string_allocate(NULL, CH_UNIX, CH_DOS, src, src_len,
+                                      (void **)dest, converted_size, True);
+}
+
 /**
  * Copy a string from a dos codepage source to a unix char* destination.
  *
@@ -1026,8 +1112,10 @@ size_t pull_ascii(char *dest, const void *src, size_t dest_len, size_t src_len,
 {
        size_t ret;
 
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("pull_ascii - invalid dest_len of -1");
+       }
 
        if (flags & STR_TERMINATE) {
                if (src_len == (size_t)-1) {
@@ -1084,7 +1172,7 @@ static size_t pull_ascii_base_talloc(TALLOC_CTX *ctx,
                                        int flags)
 {
        char *dest = NULL;
-       size_t dest_len = 0;
+       size_t dest_len;
 
 #ifdef DEVELOPER
        /* Ensure we never use the braindead "malloc" varient. */
@@ -1095,6 +1183,10 @@ static size_t pull_ascii_base_talloc(TALLOC_CTX *ctx,
 
        *ppdest = NULL;
 
+       if (!src_len) {
+               return 0;
+       }
+
        if (flags & STR_TERMINATE) {
                if (src_len == (size_t)-1) {
                        src_len = strlen((const char *)src) + 1;
@@ -1112,24 +1204,41 @@ static size_t pull_ascii_base_talloc(TALLOC_CTX *ctx,
                                        (unsigned int)src_len);
                        smb_panic(msg);
                }
+       } else {
+               /* Can't have an unlimited length
+                * non STR_TERMINATE'd.
+                */
+               if (src_len == (size_t)-1) {
+                       errno = EINVAL;
+                       return 0;
+               }
        }
 
-       dest_len = convert_string_allocate(ctx,
-                               CH_DOS,
-                               CH_UNIX,
-                               src,
-                               src_len,
-                               &dest,
-                               True);
+       /* src_len != -1 here. */
 
-       if (dest_len == (size_t)-1) {
-               return 0;
+       if (!convert_string_allocate(ctx, CH_DOS, CH_UNIX, src, src_len, &dest,
+                                    &dest_len, True)) {
+               dest_len = 0;
        }
 
        if (dest_len && dest) {
                /* Did we already process the terminating zero ? */
                if (dest[dest_len-1] != 0) {
-                       dest[dest_len-1] = 0;
+                       size_t size = talloc_get_size(dest);
+                       /* Have we got space to append the '\0' ? */
+                       if (size <= dest_len) {
+                               /* No, realloc. */
+                               dest = TALLOC_REALLOC_ARRAY(ctx, dest, char,
+                                               dest_len+1);
+                               if (!dest) {
+                                       /* talloc fail. */
+                                       dest_len = (size_t)-1;
+                                       return 0;
+                               }
+                       }
+                       /* Yay - space ! */
+                       dest[dest_len] = '\0';
+                       dest_len++;
                }
        } else if (dest) {
                dest[0] = 0;
@@ -1139,12 +1248,6 @@ static size_t pull_ascii_base_talloc(TALLOC_CTX *ctx,
        return src_len;
 }
 
-
-size_t pull_ascii_pstring(char *dest, const void *src)
-{
-       return pull_ascii(dest, src, sizeof(pstring), -1, STR_TERMINATE);
-}
-
 size_t pull_ascii_fstring(char *dest, const void *src)
 {
        return pull_ascii(dest, src, sizeof(fstring), -1, STR_TERMINATE);
@@ -1171,7 +1274,7 @@ size_t pull_ascii_nstring(char *dest, size_t dest_len, const void *src)
  * </dl>
  *
  * @param dest_len is the maximum length allowed in the
- * destination. If dest_len is -1 then no maxiumum is used.
+ * destination.
  **/
 
 size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_len, int flags)
@@ -1180,9 +1283,10 @@ size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_
        size_t src_len;
        size_t ret;
 
-       /* treat a pstring as "unlimited" length */
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("push_ucs2 - invalid dest_len of -1");
+       }
 
        if (flags & STR_TERMINATE)
                src_len = (size_t)-1;
@@ -1202,7 +1306,12 @@ size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_
 
        ret =  convert_string(CH_UNIX, CH_UTF16LE, src, src_len, dest, dest_len, True);
        if (ret == (size_t)-1) {
-               return 0;
+               if ((flags & STR_TERMINATE) &&
+                               dest &&
+                               dest_len) {
+                       *(char *)dest = 0;
+               }
+               return len;
        }
 
        len += ret;
@@ -1231,16 +1340,20 @@ size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_
  * allocating a buffer using talloc().
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
- *         or -1 in case of error.
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
-size_t push_ucs2_talloc(TALLOC_CTX *ctx, smb_ucs2_t **dest, const char *src)
+bool push_ucs2_talloc(TALLOC_CTX *ctx, smb_ucs2_t **dest, const char *src,
+                     size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
 
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_UNIX, CH_UTF16LE, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_UNIX, CH_UTF16LE, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 
@@ -1248,17 +1361,21 @@ size_t push_ucs2_talloc(TALLOC_CTX *ctx, smb_ucs2_t **dest, const char *src)
  * Copy a string from a unix char* src to a UCS2 destination, allocating a buffer
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
- *         or -1 in case of error.
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t push_ucs2_allocate(smb_ucs2_t **dest, const char *src)
+bool push_ucs2_allocate(smb_ucs2_t **dest, const char *src,
+                       size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
 
        *dest = NULL;
-       return convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, src, src_len, (void **)dest, True);
+       return convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, src, src_len,
+                                      (void **)dest, converted_size, True);
 }
 
 /**
@@ -1273,23 +1390,32 @@ size_t push_ucs2_allocate(smb_ucs2_t **dest, const char *src)
 
 static size_t push_utf8(void *dest, const char *src, size_t dest_len, int flags)
 {
-       size_t src_len = strlen(src);
-       pstring tmpbuf;
+       size_t src_len = 0;
+       size_t ret;
+       char *tmpbuf = NULL;
 
-       /* treat a pstring as "unlimited" length */
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("push_utf8 - invalid dest_len of -1");
+       }
 
        if (flags & STR_UPPER) {
-               pstrcpy(tmpbuf, src);
-               strupper_m(tmpbuf);
+               tmpbuf = strdup_upper(src);
+               if (!tmpbuf) {
+                       return (size_t)-1;
+               }
                src = tmpbuf;
+               src_len = strlen(src);
        }
 
-       if (flags & STR_TERMINATE)
+       src_len = strlen(src);
+       if (flags & STR_TERMINATE) {
                src_len++;
+       }
 
-       return convert_string(CH_UNIX, CH_UTF8, src, src_len, dest, dest_len, True);
+       ret = convert_string(CH_UNIX, CH_UTF8, src, src_len, dest, dest_len, True);
+       SAFE_FREE(tmpbuf);
+       return ret;
 }
 
 size_t push_utf8_fstring(void *dest, const char *src)
@@ -1301,32 +1427,41 @@ size_t push_utf8_fstring(void *dest, const char *src)
  * Copy a string from a unix char* src to a UTF-8 destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t push_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src)
+bool push_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
+                     size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
 
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_UNIX, CH_UTF8, src, src_len, (void**)dest, True);
+       return convert_string_talloc(ctx, CH_UNIX, CH_UTF8, src, src_len,
+                                    (void**)dest, converted_size, True);
 }
 
 /**
  * Copy a string from a unix char* src to a UTF-8 destination, allocating a buffer
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t push_utf8_allocate(char **dest, const char *src)
+bool push_utf8_allocate(char **dest, const char *src, size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
 
        *dest = NULL;
-       return convert_string_allocate(NULL, CH_UNIX, CH_UTF8, src, src_len, (void **)dest, True);      
+       return convert_string_allocate(NULL, CH_UNIX, CH_UTF8, src, src_len,
+                                      (void **)dest, converted_size, True);
 }
 
 /**
@@ -1344,8 +1479,17 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
 {
        size_t ret;
 
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("pull_ucs2 - invalid dest_len of -1");
+       }
+
+       if (!src_len) {
+               if (dest && dest_len > 0) {
+                       dest[0] = '\0';
+               }
+               return 0;
+       }
 
        if (ucs2_align(base_ptr, src, flags)) {
                src = (const void *)((const char *)src + 1);
@@ -1370,7 +1514,8 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
 
        ret = convert_string(CH_UTF16LE, CH_UNIX, src, src_len, dest, dest_len, True);
        if (ret == (size_t)-1) {
-               return 0;
+               ret = 0;
+               dest_len = 0;
        }
 
        if (src_len == (size_t)-1)
@@ -1402,7 +1547,7 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
  The resulting string in "dest" is always null terminated.
 **/
 
-static size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
+size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
                        const void *base_ptr,
                        char **ppdest,
                        const void *src,
@@ -1421,6 +1566,10 @@ static size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
        }
 #endif
 
+       if (!src_len) {
+               return 0;
+       }
+
        if (ucs2_align(base_ptr, src, flags)) {
                src = (const void *)((const char *)src + 1);
                if (src_len != (size_t)-1)
@@ -1435,32 +1584,37 @@ static size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
                        if (len < src_len/2)
                                len++;
                        src_len = len*2;
+               } else {
+                       /*
+                        * src_len == -1 - alloc interface won't take this
+                        * so we must calculate.
+                        */
+                       src_len = (strlen_w((const smb_ucs2_t *)src)+1)*sizeof(smb_ucs2_t);
                }
                /* Ensure we don't use an insane length from the client. */
                if (src_len >= 1024*1024) {
                        smb_panic("Bad src length in pull_ucs2_base_talloc\n");
                }
+       } else {
+               /* Can't have an unlimited length
+                * non STR_TERMINATE'd.
+                */
+               if (src_len == (size_t)-1) {
+                       errno = EINVAL;
+                       return 0;
+               }
        }
 
+       /* src_len != -1 here. */
+
        /* ucs2 is always a multiple of 2 bytes */
-       if (src_len != (size_t)-1) {
-               src_len &= ~1;
-       }
+       src_len &= ~1;
 
-       dest_len = convert_string_talloc(ctx,
-                                       CH_UTF16LE,
-                                       CH_UNIX,
-                                       src,
-                                       src_len,
-                                       (void *)&dest,
-                                       True);
-       if (dest_len == (size_t)-1) {
-               return 0;
+       if (!convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, src, src_len,
+                                  (void *)&dest, &dest_len, True)) {
+               dest_len = 0;
        }
 
-       if (src_len == (size_t)-1)
-               src_len = dest_len*2;
-
        if (dest_len) {
                /* Did we already process the terminating zero ? */
                if (dest[dest_len-1] != 0) {
@@ -1468,7 +1622,7 @@ static size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
                        /* Have we got space to append the '\0' ? */
                        if (size <= dest_len) {
                                /* No, realloc. */
-                               dest = TALLOC_REALLOC(ctx, dest,
+                               dest = TALLOC_REALLOC_ARRAY(ctx, dest, char,
                                                dest_len+1);
                                if (!dest) {
                                        /* talloc fail. */
@@ -1488,11 +1642,6 @@ static size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
        return src_len;
 }
 
-size_t pull_ucs2_pstring(char *dest, const void *src)
-{
-       return pull_ucs2(NULL, dest, src, sizeof(pstring), -1, STR_TERMINATE);
-}
-
 size_t pull_ucs2_fstring(char *dest, const void *src)
 {
        return pull_ucs2(NULL, dest, src, sizeof(fstring), -1, STR_TERMINATE);
@@ -1502,75 +1651,103 @@ size_t pull_ucs2_fstring(char *dest, const void *src)
  * Copy a string from a UCS2 src to a unix char * destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_ucs2_talloc(TALLOC_CTX *ctx, char **dest, const smb_ucs2_t *src)
+bool pull_ucs2_talloc(TALLOC_CTX *ctx, char **dest, const smb_ucs2_t *src,
+                     size_t *converted_size)
 {
        size_t src_len = (strlen_w(src)+1) * sizeof(smb_ucs2_t);
+
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 /**
  * Copy a string from a UCS2 src to a unix char * destination, allocating a buffer
  *
  * @param dest always set at least to NULL 
- *
- * @returns The number of bytes occupied by the string in the destination
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_ucs2_allocate(char **dest, const smb_ucs2_t *src)
+bool pull_ucs2_allocate(char **dest, const smb_ucs2_t *src,
+                       size_t *converted_size)
 {
        size_t src_len = (strlen_w(src)+1) * sizeof(smb_ucs2_t);
+
        *dest = NULL;
-       return convert_string_allocate(NULL, CH_UTF16LE, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_allocate(NULL, CH_UTF16LE, CH_UNIX, src, src_len,
+                                      (void **)dest, converted_size, True);
 }
 
 /**
  * Copy a string from a UTF-8 src to a unix char * destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src)
+bool pull_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
+                     size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
+
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_UTF8, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_UTF8, CH_UNIX, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 /**
  * Copy a string from a UTF-8 src to a unix char * destination, allocating a buffer
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_utf8_allocate(char **dest, const char *src)
+bool pull_utf8_allocate(char **dest, const char *src, size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
+
        *dest = NULL;
-       return convert_string_allocate(NULL, CH_UTF8, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_allocate(NULL, CH_UTF8, CH_UNIX, src, src_len,
+                                      (void **)dest, converted_size, True);
 }
  
 /**
  * Copy a string from a DOS src to a unix char * destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_ascii_talloc(TALLOC_CTX *ctx, char **dest, const char *src)
+bool pull_ascii_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
+                      size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
+
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_DOS, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_DOS, CH_UNIX, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 /**
@@ -1600,11 +1777,9 @@ size_t push_string_fn(const char *function, unsigned int line,
         * JRA.
         */
 #if 0
-       if (dest_len != (size_t)-1)
-               clobber_region(function, line, dest, dest_len);
+       clobber_region(function, line, dest, dest_len);
 #else
-       if (dest_len != (size_t)-1)
-               memset(dest, '\0', dest_len);
+       memset(dest, '\0', dest_len);
 #endif
 #endif
 
@@ -1631,14 +1806,18 @@ size_t push_string_fn(const char *function, unsigned int line,
  The resulting string in "dest" is always null terminated.
 **/
 
-size_t pull_string_fn(const char *function, unsigned int line,
-                     const void *base_ptr, uint16 smb_flags2, char *dest,
-                     const void *src, size_t dest_len, size_t src_len,
-                     int flags)
+size_t pull_string_fn(const char *function,
+                       unsigned int line,
+                       const void *base_ptr,
+                       uint16 smb_flags2,
+                       char *dest,
+                       const void *src,
+                       size_t dest_len,
+                       size_t src_len,
+                       int flags)
 {
 #ifdef DEVELOPER
-       if (dest_len != (size_t)-1)
-               clobber_region(function, line, dest, dest_len);
+       clobber_region(function, line, dest, dest_len);
 #endif
 
        if ((base_ptr == NULL) && ((flags & (STR_ASCII|STR_UNICODE)) == 0)) {