Fix bug #8005 - smbtorture4 BASE-TCONDEV fails when tested on Samba
[samba.git] / source3 / lib / charcnv.c
index 485212b100f510523e7701aa074a6468e33da95d..5b2149b9c11e7598abb790a00d8b9e981db7d056 100644 (file)
@@ -45,56 +45,13 @@ char lp_failed_convert_char(void)
  */
 
 
-static smb_iconv_t conv_handles[NUM_CHARSETS][NUM_CHARSETS];
 static bool conv_silent; /* Should we do a debug if the conversion fails ? */
 static bool initialized;
 
-/**
- * Return the name of a charset to give to iconv().
- **/
-static const char *charset_name(charset_t ch)
-{
-       const char *ret = NULL;
-
-       if (ch == CH_UTF16LE) ret = "UTF-16LE";
-       else if (ch == CH_UTF16BE) ret = "UTF-16BE";
-       else if (ch == CH_UNIX) ret = lp_unix_charset();
-       else if (ch == CH_DOS) ret = lp_dos_charset();
-       else if (ch == CH_DISPLAY) ret = lp_display_charset();
-       else if (ch == CH_UTF8) ret = "UTF8";
-
-#if defined(HAVE_NL_LANGINFO) && defined(CODESET)
-       if (ret && !strcmp(ret, "LOCALE")) {
-               const char *ln = NULL;
-
-#ifdef HAVE_SETLOCALE
-               setlocale(LC_ALL, "");
-#endif
-               ln = nl_langinfo(CODESET);
-               if (ln) {
-                       /* Check whether the charset name is supported
-                          by iconv */
-                       smb_iconv_t handle = smb_iconv_open(ln,"UCS-2LE");
-                       if (handle == (smb_iconv_t) -1) {
-                               DEBUG(5,("Locale charset '%s' unsupported, using ASCII instead\n", ln));
-                               ln = NULL;
-                       } else {
-                               DEBUG(5,("Substituting charset '%s' for LOCALE\n", ln));
-                               smb_iconv_close(handle);
-                       }
-               }
-               ret = ln;
-       }
-#endif
-
-       if (!ret || !*ret) ret = "ASCII";
-       return ret;
-}
-
 void lazy_initialize_conv(void)
 {
        if (!initialized) {
-               load_case_tables();
+               load_case_tables_library();
                init_iconv();
                initialized = true;
        }
@@ -105,16 +62,7 @@ void lazy_initialize_conv(void)
  **/
 void gfree_charcnv(void)
 {
-       int c1, c2;
-
-       for (c1=0;c1<NUM_CHARSETS;c1++) {
-               for (c2=0;c2<NUM_CHARSETS;c2++) {
-                       if ( conv_handles[c1][c2] ) {
-                               smb_iconv_close( conv_handles[c1][c2] );
-                               conv_handles[c1][c2] = 0;
-                       }
-               }
-       }
+       TALLOC_FREE(global_iconv_convenience);
        initialized = false;
 }
 
@@ -127,60 +75,9 @@ void gfree_charcnv(void)
  **/
 void init_iconv(void)
 {
-       int c1, c2;
-       bool did_reload = False;
-
-       /* so that charset_name() works we need to get the UNIX<->UCS2 going
-          first */
-       if (!conv_handles[CH_UNIX][CH_UTF16LE])
-               conv_handles[CH_UNIX][CH_UTF16LE] = smb_iconv_open(charset_name(CH_UTF16LE), "ASCII");
-
-       if (!conv_handles[CH_UTF16LE][CH_UNIX])
-               conv_handles[CH_UTF16LE][CH_UNIX] = smb_iconv_open("ASCII", charset_name(CH_UTF16LE));
-
-       for (c1=0;c1<NUM_CHARSETS;c1++) {
-               for (c2=0;c2<NUM_CHARSETS;c2++) {
-                       const char *n1 = charset_name((charset_t)c1);
-                       const char *n2 = charset_name((charset_t)c2);
-                       if (conv_handles[c1][c2] &&
-                           strcmp(n1, conv_handles[c1][c2]->from_name) == 0 &&
-                           strcmp(n2, conv_handles[c1][c2]->to_name) == 0)
-                               continue;
-
-                       did_reload = True;
-
-                       if (conv_handles[c1][c2])
-                               smb_iconv_close(conv_handles[c1][c2]);
-
-                       conv_handles[c1][c2] = smb_iconv_open(n2,n1);
-                       if (conv_handles[c1][c2] == (smb_iconv_t)-1) {
-                               DEBUG(0,("init_iconv: Conversion from %s to %s not supported\n",
-                                        charset_name((charset_t)c1), charset_name((charset_t)c2)));
-                               if (c1 != CH_UTF16LE && c1 != CH_UTF16BE) {
-                                       n1 = "ASCII";
-                               }
-                               if (c2 != CH_UTF16LE && c2 != CH_UTF16BE) {
-                                       n2 = "ASCII";
-                               }
-                               DEBUG(0,("init_iconv: Attempting to replace with conversion from %s to %s\n",
-                                       n1, n2 ));
-                               conv_handles[c1][c2] = smb_iconv_open(n2,n1);
-                               if (!conv_handles[c1][c2]) {
-                                       DEBUG(0,("init_iconv: Conversion from %s to %s failed", n1, n2));
-                                       smb_panic("init_iconv: conv_handle initialization failed");
-                               }
-                       }
-               }
-       }
-
-       if (did_reload) {
-               /* XXX: Does this really get called every time the dos
-                * codepage changes? */
-               /* XXX: Is the did_reload test too strict? */
-               conv_silent = True;
-               init_valid_table();
-               conv_silent = False;
-       }
+       global_iconv_convenience = smb_iconv_convenience_reinit(NULL, lp_dos_charset(),
+                                                               lp_unix_charset(), lp_display_charset(),
+                                                               true, global_iconv_convenience);
 }
 
 /**
@@ -207,10 +104,11 @@ static size_t convert_string_internal(charset_t from, charset_t to,
        const char* inbuf = (const char*)src;
        char* outbuf = (char*)dest;
        smb_iconv_t descriptor;
+       struct smb_iconv_convenience *ic;
 
        lazy_initialize_conv();
-
-       descriptor = conv_handles[from][to];
+       ic = get_iconv_convenience();
+       descriptor = get_conv_handle(ic, from, to);
 
        if (srclen == (size_t)-1) {
                if (from == CH_UTF16LE || from == CH_UTF16BE) {
@@ -242,17 +140,17 @@ static size_t convert_string_internal(charset_t from, charset_t to,
                                        DEBUG(3,("convert_string_internal: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
-                               break;
+                               return (size_t)-1;
                        case E2BIG:
                                reason="No more room"; 
                                if (!conv_silent) {
                                        if (from == CH_UNIX) {
                                                DEBUG(3,("E2BIG: convert_string(%s,%s): srclen=%u destlen=%u - '%s'\n",
-                                                       charset_name(from), charset_name(to),
+                                                        charset_name(ic, from), charset_name(ic, to),
                                                        (unsigned int)srclen, (unsigned int)destlen, (const char *)src));
                                        } else {
                                                DEBUG(3,("E2BIG: convert_string(%s,%s): srclen=%u destlen=%u\n",
-                                                       charset_name(from), charset_name(to),
+                                                        charset_name(ic, from), charset_name(ic, to),
                                                        (unsigned int)srclen, (unsigned int)destlen));
                                        }
                                }
@@ -263,11 +161,12 @@ static size_t convert_string_internal(charset_t from, charset_t to,
                                        DEBUG(3,("convert_string_internal: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
-                               break;
+                               
+                               return (size_t)-1;
                        default:
                                if (!conv_silent)
                                        DEBUG(0,("convert_string_internal: Conversion error: %s(%s)\n",reason,inbuf));
-                               break;
+                               return (size_t)-1;
                }
                /* smb_panic(reason); */
        }
@@ -412,7 +311,11 @@ size_t convert_string(charset_t from, charset_t to,
 #ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
                                goto general_case;
 #else
-                               return retval + convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               size_t ret = convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               if (ret == (size_t)-1) {
+                                       return ret;
+                               }
+                               return retval + ret;
 #endif
                        }
                }
@@ -448,7 +351,11 @@ size_t convert_string(charset_t from, charset_t to,
 #ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
                                goto general_case;
 #else
-                               return retval + convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               size_t ret = convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               if (ret == (size_t)-1) {
+                                       return ret;
+                               }
+                               return retval + ret;
 #endif
                        }
                }
@@ -484,7 +391,11 @@ size_t convert_string(charset_t from, charset_t to,
 #ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
                                goto general_case;
 #else
-                               return retval + convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               size_t ret = convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               if (ret == (size_t)-1) {
+                                       return ret;
+                               }
+                               return retval + ret;
 #endif
                        }
                }
@@ -505,14 +416,12 @@ size_t convert_string(charset_t from, charset_t to,
 }
 
 /**
- * Convert between character sets, allocating a new buffer for the result.
+ * Convert between character sets, allocating a new buffer using talloc for the result.
  *
- * @param ctx TALLOC_CTX to use to allocate with. If NULL use malloc.
- * (this is a bad interface and needs fixing. JRA).
  * @param srclen length of source buffer.
  * @param dest always set at least to NULL
- * @param converted_size set to the size of the allocated buffer on return
- * true
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  * @note -1 is not accepted for srclen.
  *
  * @return true if new buffer was correctly allocated, and string was
@@ -522,11 +431,11 @@ size_t convert_string(charset_t from, charset_t to,
  *
  * I hate the goto's in this function. It's embarressing.....
  * There has to be a cleaner way to do this. JRA.
- **/
+ */
+bool convert_string_talloc(TALLOC_CTX *ctx, charset_t from, charset_t to,
+                          void const *src, size_t srclen, void *dst,
+                          size_t *converted_size, bool allow_bad_conv)
 
-bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
-                            void const *src, size_t srclen, void *dst,
-                            size_t *converted_size, bool allow_bad_conv)
 {
        size_t i_len, o_len, destlen = (srclen * 3) / 2;
        size_t retval;
@@ -534,6 +443,7 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
        char *outbuf = NULL, *ob = NULL;
        smb_iconv_t descriptor;
        void **dest = (void **)dst;
+       struct smb_iconv_convenience *ic;
 
        *dest = NULL;
 
@@ -547,17 +457,23 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                return false;
        }
        if (srclen == 0) {
+               ob = talloc_strdup(ctx, "");
+               if (ob == NULL) {
+                       errno = ENOMEM;
+                       return false;
+               }
+               *dest = ob;
                *converted_size = 0;
                return true;
        }
 
        lazy_initialize_conv();
-
-       descriptor = conv_handles[from][to];
+       ic = get_iconv_convenience();
+       descriptor = get_conv_handle(ic, from, to);
 
        if (descriptor == (smb_iconv_t)-1 || descriptor == (smb_iconv_t)0) {
                if (!conv_silent)
-                       DEBUG(0,("convert_string_allocate: Conversion not supported.\n"));
+                       DEBUG(0,("convert_string_talloc: Conversion not supported.\n"));
                errno = EOPNOTSUPP;
                return false;
        }
@@ -568,9 +484,8 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
        if ((destlen*2)+2 < destlen) {
                /* wrapped ! abort. */
                if (!conv_silent)
-                       DEBUG(0, ("convert_string_allocate: destlen wrapped !\n"));
-               if (!ctx)
-                       SAFE_FREE(outbuf);
+                       DEBUG(0, ("convert_string_talloc: destlen wrapped !\n"));
+               TALLOC_FREE(outbuf);
                errno = EOPNOTSUPP;
                return false;
        } else {
@@ -578,14 +493,10 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
        }
 
        /* +2 is for ucs2 null termination. */
-       if (ctx) {
-               ob = (char *)TALLOC_REALLOC(ctx, ob, destlen + 2);
-       } else {
-               ob = (char *)SMB_REALLOC(ob, destlen + 2);
-       }
+       ob = (char *)TALLOC_REALLOC(ctx, ob, destlen + 2);
 
        if (!ob) {
-               DEBUG(0, ("convert_string_allocate: realloc failed!\n"));
+               DEBUG(0, ("convert_string_talloc: realloc failed!\n"));
                errno = ENOMEM;
                return false;
        }
@@ -604,7 +515,7 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                        case EINVAL:
                                reason="Incomplete multibyte sequence";
                                if (!conv_silent)
-                                       DEBUG(3,("convert_string_allocate: Conversion error: %s(%s)\n",reason,inbuf));
+                                       DEBUG(3,("convert_string_talloc: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
                                break;
@@ -613,7 +524,7 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                        case EILSEQ:
                                reason="Illegal multibyte sequence";
                                if (!conv_silent)
-                                       DEBUG(3,("convert_string_allocate: Conversion error: %s(%s)\n",reason,inbuf));
+                                       DEBUG(3,("convert_string_talloc: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
                                break;
@@ -621,11 +532,7 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                if (!conv_silent)
                        DEBUG(0,("Conversion error: %s(%s)\n",reason,inbuf));
                /* smb_panic(reason); */
-               if (ctx) {
-                       TALLOC_FREE(ob);
-               } else {
-                       SAFE_FREE(ob);
-               }
+               TALLOC_FREE(ob);
                return false;
        }
 
@@ -638,15 +545,11 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
         */
        if (o_len > 1024) {
                /* We're shrinking here so we know the +2 is safe from wrap. */
-               if (ctx) {
-                       ob = (char *)TALLOC_REALLOC(ctx,ob,destlen + 2);
-               } else {
-                       ob = (char *)SMB_REALLOC(ob,destlen + 2);
-               }
+               ob = (char *)TALLOC_REALLOC(ctx,ob,destlen + 2);
        }
 
        if (destlen && !ob) {
-               DEBUG(0, ("convert_string_allocate: out of memory!\n"));
+               DEBUG(0, ("convert_string_talloc: out of memory!\n"));
                errno = ENOMEM;
                return false;
        }
@@ -744,108 +647,25 @@ bool convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
        }
 }
 
-/**
- * Convert between character sets, allocating a new buffer using talloc for the result.
- *
- * @param srclen length of source buffer.
- * @param dest always set at least to NULL
- * @parm converted_size set to the number of bytes occupied by the string in
- * the destination on success.
- * @note -1 is not accepted for srclen.
- *
- * @return true if new buffer was correctly allocated, and string was
- * converted.
- */
-bool convert_string_talloc(TALLOC_CTX *ctx, charset_t from, charset_t to,
-                          void const *src, size_t srclen, void *dst,
-                          size_t *converted_size, bool allow_bad_conv)
-{
-       void **dest = (void **)dst;
-
-       *dest = NULL;
-       return convert_string_allocate(ctx, from, to, src, srclen, dest,
-                                      converted_size, allow_bad_conv);
-}
-
 size_t unix_strupper(const char *src, size_t srclen, char *dest, size_t destlen)
 {
        size_t size;
        smb_ucs2_t *buffer;
 
-       if (!push_ucs2_allocate(&buffer, src, &size)) {
+       if (!push_ucs2_talloc(talloc_tos(), &buffer, src, &size)) {
                return (size_t)-1;
        }
 
        if (!strupper_w(buffer) && (dest == src)) {
-               free(buffer);
+               TALLOC_FREE(buffer);
                return srclen;
        }
 
        size = convert_string(CH_UTF16LE, CH_UNIX, buffer, size, dest, destlen, True);
-       free(buffer);
+       TALLOC_FREE(buffer);
        return size;
 }
 
-/**
- strdup() a unix string to upper case.
-**/
-
-char *strdup_upper(const char *s)
-{
-       char *out_buffer = SMB_STRDUP(s);
-       const unsigned char *p = (const unsigned char *)s;
-       unsigned char *q = (unsigned char *)out_buffer;
-
-       if (!q) {
-               return NULL;
-       }
-
-       /* this is quite a common operation, so we want it to be
-          fast. We optimise for the ascii case, knowing that all our
-          supported multi-byte character sets are ascii-compatible
-          (ie. they match for the first 128 chars) */
-
-       while (*p) {
-               if (*p & 0x80)
-                       break;
-               *q++ = toupper_ascii_fast(*p);
-               p++;
-       }
-
-       if (*p) {
-               /* MB case. */
-               size_t converted_size, converted_size2;
-               smb_ucs2_t *buffer = NULL;
-
-               SAFE_FREE(out_buffer);
-               if (!convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, s,
-                                            strlen(s) + 1,
-                                            (void **)(void *)&buffer,
-                                            &converted_size, True))
-               {
-                       return NULL;
-               }
-
-               strupper_w(buffer);
-
-               if (!convert_string_allocate(NULL, CH_UTF16LE, CH_UNIX, buffer,
-                                            converted_size,
-                                            (void **)(void *)&out_buffer,
-                                            &converted_size2, True))
-               {
-                       TALLOC_FREE(buffer);
-                       return NULL;
-               }
-
-               /* Don't need the intermediate buffer
-                * anymore.
-                */
-               TALLOC_FREE(buffer);
-       }
-
-       return out_buffer;
-}
-
 /**
  talloc_strdup() a unix string to upper case.
 **/
@@ -906,51 +726,31 @@ char *talloc_strdup_upper(TALLOC_CTX *ctx, const char *s)
        return out_buffer;
 }
 
+char *strupper_talloc(TALLOC_CTX *ctx, const char *s) {
+       return talloc_strdup_upper(ctx, s);
+}
+
+
 size_t unix_strlower(const char *src, size_t srclen, char *dest, size_t destlen)
 {
        size_t size;
        smb_ucs2_t *buffer = NULL;
 
-       if (!convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, src, srclen,
-                                    (void **)(void *)&buffer, &size,
-                                    True))
+       if (!convert_string_talloc(talloc_tos(), CH_UNIX, CH_UTF16LE, src, srclen,
+                                  (void **)(void *)&buffer, &size,
+                                  True))
        {
                smb_panic("failed to create UCS2 buffer");
        }
        if (!strlower_w(buffer) && (dest == src)) {
-               SAFE_FREE(buffer);
+               TALLOC_FREE(buffer);
                return srclen;
        }
        size = convert_string(CH_UTF16LE, CH_UNIX, buffer, size, dest, destlen, True);
-       SAFE_FREE(buffer);
+       TALLOC_FREE(buffer);
        return size;
 }
 
-/**
- strdup() a unix string to lower case.
-**/
-
-char *strdup_lower(const char *s)
-{
-       size_t converted_size;
-       smb_ucs2_t *buffer = NULL;
-       char *out_buffer;
-
-       if (!push_ucs2_allocate(&buffer, s, &converted_size)) {
-               return NULL;
-       }
-
-       strlower_w(buffer);
-
-       if (!pull_ucs2_allocate(&out_buffer, buffer, &converted_size)) {
-               SAFE_FREE(buffer);
-               return NULL;
-       }
-
-       SAFE_FREE(buffer);
-
-       return out_buffer;
-}
 
 char *talloc_strdup_lower(TALLOC_CTX *ctx, const char *s)
 {
@@ -974,6 +774,9 @@ char *talloc_strdup_lower(TALLOC_CTX *ctx, const char *s)
        return out_buffer;
 }
 
+char *strlower_talloc(TALLOC_CTX *ctx, const char *s) {
+       return talloc_strdup_lower(ctx, s);
+}
 
 size_t ucs2_align(const void *base_ptr, const void *p, int flags)
 {
@@ -1047,7 +850,7 @@ size_t push_ascii_nstring(void *dest, const char *src)
        smb_ucs2_t *buffer;
 
        conv_silent = True;
-       if (!push_ucs2_allocate(&buffer, src, &buffer_len)) {
+       if (!push_ucs2_talloc(talloc_tos(), &buffer, src, &buffer_len)) {
                smb_panic("failed to create UCS2 buffer");
        }
 
@@ -1069,8 +872,8 @@ size_t push_ascii_nstring(void *dest, const char *src)
        }
        ((char *)dest)[dest_len] = '\0';
 
-       SAFE_FREE(buffer);
        conv_silent = False;
+       TALLOC_FREE(buffer);
        return dest_len;
 }
 
@@ -1078,13 +881,13 @@ size_t push_ascii_nstring(void *dest, const char *src)
  Push and malloc an ascii string. src and dest null terminated.
 ********************************************************************/
 
-bool push_ascii_allocate(char **dest, const char *src, size_t *converted_size)
+bool push_ascii_talloc(TALLOC_CTX *mem_ctx, char **dest, const char *src, size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
 
        *dest = NULL;
-       return convert_string_allocate(NULL, CH_UNIX, CH_DOS, src, src_len,
-                                      (void **)dest, converted_size, True);
+       return convert_string_talloc(mem_ctx, CH_UNIX, CH_DOS, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 /**
@@ -1142,9 +945,7 @@ size_t pull_ascii(char *dest, const void *src, size_t dest_len, size_t src_len,
 
 /**
  * Copy a string from a dos codepage source to a unix char* destination.
- Talloc version.
- Uses malloc if TALLOC_CTX is NULL (this is a bad interface and
- needs fixing. JRA).
+ * Talloc version.
  *
  * The resulting string in "dest" is always null terminated.
  *
@@ -1160,23 +961,20 @@ size_t pull_ascii(char *dest, const void *src, size_t dest_len, size_t src_len,
  **/
 
 static size_t pull_ascii_base_talloc(TALLOC_CTX *ctx,
-                                       char **ppdest,
-                                       const void *src,
-                                       size_t src_len,
-                                       int flags)
+                                    char **ppdest,
+                                    const void *src,
+                                    size_t src_len,
+                                    int flags)
 {
        char *dest = NULL;
-       size_t converted_size;
-
-#ifdef DEVELOPER
-       /* Ensure we never use the braindead "malloc" varient. */
-       if (ctx == NULL) {
-               smb_panic("NULL talloc CTX in pull_ascii_base_talloc\n");
-       }
-#endif
+       size_t dest_len;
 
        *ppdest = NULL;
 
+       if (!src_len) {
+               return 0;
+       }
+
        if (flags & STR_TERMINATE) {
                if (src_len == (size_t)-1) {
                        src_len = strlen((const char *)src) + 1;
@@ -1194,18 +992,41 @@ static size_t pull_ascii_base_talloc(TALLOC_CTX *ctx,
                                        (unsigned int)src_len);
                        smb_panic(msg);
                }
+       } else {
+               /* Can't have an unlimited length
+                * non STR_TERMINATE'd.
+                */
+               if (src_len == (size_t)-1) {
+                       errno = EINVAL;
+                       return 0;
+               }
        }
 
-       if (!convert_string_allocate(ctx, CH_DOS, CH_UNIX, src, src_len, &dest,
-                                    &converted_size, True))
-       {
-               converted_size = 0;
+       /* src_len != -1 here. */
+
+       if (!convert_string_talloc(ctx, CH_DOS, CH_UNIX, src, src_len, &dest,
+                                    &dest_len, True)) {
+               dest_len = 0;
        }
 
-       if (converted_size && dest) {
+       if (dest_len && dest) {
                /* Did we already process the terminating zero ? */
-               if (dest[converted_size - 1] != 0) {
-                       dest[converted_size - 1] = 0;
+               if (dest[dest_len-1] != 0) {
+                       size_t size = talloc_get_size(dest);
+                       /* Have we got space to append the '\0' ? */
+                       if (size <= dest_len) {
+                               /* No, realloc. */
+                               dest = TALLOC_REALLOC_ARRAY(ctx, dest, char,
+                                               dest_len+1);
+                               if (!dest) {
+                                       /* talloc fail. */
+                                       dest_len = (size_t)-1;
+                                       return 0;
+                               }
+                       }
+                       /* Yay - space ! */
+                       dest[dest_len] = '\0';
+                       dest_len++;
                }
        } else if (dest) {
                dest[0] = 0;
@@ -1291,7 +1112,7 @@ size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_
                   terminated if STR_TERMINATE isn't set. */
 
                for (i = 0; i < (ret / 2) && i < (dest_len / 2) && dest_ucs2[i]; i++) {
-                       smb_ucs2_t v = toupper_w(dest_ucs2[i]);
+                       smb_ucs2_t v = toupper_m(dest_ucs2[i]);
                        if (v != dest_ucs2[i]) {
                                dest_ucs2[i] = v;
                        }
@@ -1324,27 +1145,6 @@ bool push_ucs2_talloc(TALLOC_CTX *ctx, smb_ucs2_t **dest, const char *src,
 }
 
 
-/**
- * Copy a string from a unix char* src to a UCS2 destination, allocating a buffer
- *
- * @param dest always set at least to NULL 
- * @parm converted_size set to the number of bytes occupied by the string in
- * the destination on success.
- *
- * @return true if new buffer was correctly allocated, and string was
- * converted.
- **/
-
-bool push_ucs2_allocate(smb_ucs2_t **dest, const char *src,
-                       size_t *converted_size)
-{
-       size_t src_len = strlen(src)+1;
-
-       *dest = NULL;
-       return convert_string_allocate(NULL, CH_UNIX, CH_UTF16LE, src, src_len,
-                                      (void **)dest, converted_size, True);
-}
-
 /**
  Copy a string from a char* src to a UTF-8 destination.
  Return the number of bytes occupied by the string in the destination
@@ -1367,7 +1167,7 @@ static size_t push_utf8(void *dest, const char *src, size_t dest_len, int flags)
        }
 
        if (flags & STR_UPPER) {
-               tmpbuf = strdup_upper(src);
+               tmpbuf = strupper_talloc(talloc_tos(), src);
                if (!tmpbuf) {
                        return (size_t)-1;
                }
@@ -1381,7 +1181,7 @@ static size_t push_utf8(void *dest, const char *src, size_t dest_len, int flags)
        }
 
        ret = convert_string(CH_UNIX, CH_UTF8, src, src_len, dest, dest_len, True);
-       SAFE_FREE(tmpbuf);
+       TALLOC_FREE(tmpbuf);
        return ret;
 }
 
@@ -1411,26 +1211,6 @@ bool push_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
                                     (void**)dest, converted_size, True);
 }
 
-/**
- * Copy a string from a unix char* src to a UTF-8 destination, allocating a buffer
- *
- * @param dest always set at least to NULL 
- * @parm converted_size set to the number of bytes occupied by the string in
- * the destination on success.
- *
- * @return true if new buffer was correctly allocated, and string was
- * converted.
- **/
-
-bool push_utf8_allocate(char **dest, const char *src, size_t *converted_size)
-{
-       size_t src_len = strlen(src)+1;
-
-       *dest = NULL;
-       return convert_string_allocate(NULL, CH_UNIX, CH_UTF8, src, src_len,
-                                      (void **)dest, converted_size, True);
-}
-
 /**
  Copy a string from a ucs2 source to a unix char* destination.
  Flags can have:
@@ -1445,6 +1225,7 @@ bool push_utf8_allocate(char **dest, const char *src, size_t *converted_size)
 size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_len, size_t src_len, int flags)
 {
        size_t ret;
+       size_t ucs2_align_len = 0;
 
        if (dest_len == (size_t)-1) {
                /* No longer allow dest_len of -1. */
@@ -1462,6 +1243,7 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
                src = (const void *)((const char *)src + 1);
                if (src_len != (size_t)-1)
                        src_len--;
+               ucs2_align_len = 1;
        }
 
        if (flags & STR_TERMINATE) {
@@ -1497,7 +1279,7 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
                dest[0] = 0;
        }
 
-       return src_len;
+       return src_len + ucs2_align_len;
 }
 
 /**
@@ -1523,6 +1305,7 @@ size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
 {
        char *dest;
        size_t dest_len;
+       size_t ucs2_align_len = 0;
 
        *ppdest = NULL;
 
@@ -1541,6 +1324,7 @@ size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
                src = (const void *)((const char *)src + 1);
                if (src_len != (size_t)-1)
                        src_len--;
+               ucs2_align_len = 1;
        }
 
        if (flags & STR_TERMINATE) {
@@ -1562,21 +1346,26 @@ size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
                if (src_len >= 1024*1024) {
                        smb_panic("Bad src length in pull_ucs2_base_talloc\n");
                }
+       } else {
+               /* Can't have an unlimited length
+                * non STR_TERMINATE'd.
+                */
+               if (src_len == (size_t)-1) {
+                       errno = EINVAL;
+                       return 0;
+               }
        }
 
+       /* src_len != -1 here. */
+
        /* ucs2 is always a multiple of 2 bytes */
-       if (src_len != (size_t)-1) {
-               src_len &= ~1;
-       }
+       src_len &= ~1;
 
        if (!convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, src, src_len,
                                   (void *)&dest, &dest_len, True)) {
                dest_len = 0;
        }
 
-       if (src_len == (size_t)-1)
-               src_len = dest_len*2;
-
        if (dest_len) {
                /* Did we already process the terminating zero ? */
                if (dest[dest_len-1] != 0) {
@@ -1601,7 +1390,7 @@ size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
        }
 
        *ppdest = dest;
-       return src_len;
+       return src_len + ucs2_align_len;
 }
 
 size_t pull_ucs2_fstring(char *dest, const void *src)
@@ -1630,26 +1419,6 @@ bool pull_ucs2_talloc(TALLOC_CTX *ctx, char **dest, const smb_ucs2_t *src,
                                     (void **)dest, converted_size, True);
 }
 
-/**
- * Copy a string from a UCS2 src to a unix char * destination, allocating a buffer
- *
- * @param dest always set at least to NULL 
- * @parm converted_size set to the number of bytes occupied by the string in
- * the destination on success.
- * @return true if new buffer was correctly allocated, and string was
- * converted.
- **/
-
-bool pull_ucs2_allocate(char **dest, const smb_ucs2_t *src,
-                       size_t *converted_size)
-{
-       size_t src_len = (strlen_w(src)+1) * sizeof(smb_ucs2_t);
-
-       *dest = NULL;
-       return convert_string_allocate(NULL, CH_UTF16LE, CH_UNIX, src, src_len,
-                                      (void **)dest, converted_size, True);
-}
-
 /**
  * Copy a string from a UTF-8 src to a unix char * destination, allocating a buffer using talloc
  *
@@ -1671,25 +1440,6 @@ bool pull_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
                                     (void **)dest, converted_size, True);
 }
 
-/**
- * Copy a string from a UTF-8 src to a unix char * destination, allocating a buffer
- *
- * @param dest always set at least to NULL 
- * @parm converted_size set to the number of bytes occupied by the string in
- * the destination on success.
- *
- * @return true if new buffer was correctly allocated, and string was
- * converted.
- **/
-
-bool pull_utf8_allocate(char **dest, const char *src, size_t *converted_size)
-{
-       size_t src_len = strlen(src)+1;
-
-       *dest = NULL;
-       return convert_string_allocate(NULL, CH_UTF8, CH_UNIX, src, src_len,
-                                      (void **)dest, converted_size, True);
-}
  
 /**
  * Copy a string from a DOS src to a unix char * destination, allocating a buffer using talloc
@@ -1712,6 +1462,45 @@ bool pull_ascii_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
                                     (void **)dest, converted_size, True);
 }
 
+/**
+ Copy a string from a char* src to a unicode or ascii
+ dos codepage destination choosing unicode or ascii based on the 
+ flags supplied
+ Return the number of bytes occupied by the string in the destination.
+ flags can have:
+  STR_TERMINATE means include the null termination.
+  STR_UPPER     means uppercase in the destination.
+  STR_ASCII     use ascii even with unicode packet.
+  STR_NOALIGN   means don't do alignment.
+ dest_len is the maximum length allowed in the destination. If dest_len
+ is -1 then no maxiumum is used.
+**/
+
+size_t push_string_check_fn(const char *function, unsigned int line,
+                           void *dest, const char *src,
+                           size_t dest_len, int flags)
+{
+#ifdef DEVELOPER
+       /* We really need to zero fill here, not clobber
+        * region, as we want to ensure that valgrind thinks
+        * all of the outgoing buffer has been written to
+        * so a send() or write() won't trap an error.
+        * JRA.
+        */
+#if 0
+       clobber_region(function, line, dest, dest_len);
+#else
+       memset(dest, '\0', dest_len);
+#endif
+#endif
+
+       if (!(flags & STR_ASCII) && (flags & STR_UNICODE)) {
+               return push_ucs2(NULL, dest, src, dest_len, flags);
+       }
+       return push_ascii(dest, src, dest_len, flags);
+}
+
+
 /**
  Copy a string from a char* src to a unicode or ascii
  dos codepage destination choosing unicode or ascii based on the 
@@ -1726,10 +1515,10 @@ bool pull_ascii_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
  is -1 then no maxiumum is used.
 **/
 
-size_t push_string_fn(const char *function, unsigned int line,
-                     const void *base_ptr, uint16 flags2,
-                     void *dest, const char *src,
-                     size_t dest_len, int flags)
+size_t push_string_base(const char *function, unsigned int line,
+                       const char *base, uint16 flags2, 
+                       void *dest, const char *src,
+                       size_t dest_len, int flags)
 {
 #ifdef DEVELOPER
        /* We really need to zero fill here, not clobber
@@ -1748,11 +1537,49 @@ size_t push_string_fn(const char *function, unsigned int line,
        if (!(flags & STR_ASCII) && \
            ((flags & STR_UNICODE || \
              (flags2 & FLAGS2_UNICODE_STRINGS)))) {
-               return push_ucs2(base_ptr, dest, src, dest_len, flags);
+               return push_ucs2(base, dest, src, dest_len, flags);
        }
        return push_ascii(dest, src, dest_len, flags);
 }
 
+/**
+ Copy a string from a char* src to a unicode or ascii
+ dos codepage destination choosing unicode or ascii based on the 
+ flags supplied
+ Return the number of bytes occupied by the string in the destination.
+ flags can have:
+  STR_TERMINATE means include the null termination.
+  STR_UPPER     means uppercase in the destination.
+  STR_ASCII     use ascii even with unicode packet.
+  STR_NOALIGN   means don't do alignment.
+ dest_len is the maximum length allowed in the destination. If dest_len
+ is -1 then no maxiumum is used.
+**/
+
+ssize_t push_string(void *dest, const char *src, size_t dest_len, int flags)
+{
+       size_t ret;
+#ifdef DEVELOPER
+       /* We really need to zero fill here, not clobber
+        * region, as we want to ensure that valgrind thinks
+        * all of the outgoing buffer has been written to
+        * so a send() or write() won't trap an error.
+        * JRA.
+        */
+       memset(dest, '\0', dest_len);
+#endif
+
+       if (!(flags & STR_ASCII) && \
+           (flags & STR_UNICODE)) {
+               ret = push_ucs2(NULL, dest, src, dest_len, flags);
+       } else {
+               ret = push_ascii(dest, src, dest_len, flags);
+       }
+       if (ret == (size_t)-1) {
+               return -1;
+       }
+       return ret;
+}
 
 /**
  Copy a string from a unicode or ascii source (depending on
@@ -1853,85 +1680,3 @@ size_t align_string(const void *base_ptr, const char *p, int flags)
        return 0;
 }
 
-/*
-  Return the unicode codepoint for the next multi-byte CH_UNIX character
-  in the string. The unicode codepoint (codepoint_t) is an unsinged 32 bit value.
-
-  Also return the number of bytes consumed (which tells the caller
-  how many bytes to skip to get to the next CH_UNIX character).
-
-  Return INVALID_CODEPOINT if the next character cannot be converted.
-*/
-
-codepoint_t next_codepoint(const char *str, size_t *size)
-{
-       /* It cannot occupy more than 4 bytes in UTF16 format */
-       uint8_t buf[4];
-       smb_iconv_t descriptor;
-       size_t ilen_orig;
-       size_t ilen;
-       size_t olen;
-       char *outbuf;
-
-       if ((str[0] & 0x80) == 0) {
-               *size = 1;
-               return (codepoint_t)str[0];
-       }
-
-       /* We assume that no multi-byte character can take
-          more than 5 bytes. This is OK as we only
-          support codepoints up to 1M */
-
-       ilen_orig = strnlen(str, 5);
-       ilen = ilen_orig;
-
-        lazy_initialize_conv();
-
-        descriptor = conv_handles[CH_UNIX][CH_UTF16LE];
-       if (descriptor == (smb_iconv_t)-1 || descriptor == (smb_iconv_t)0) {
-               *size = 1;
-               return INVALID_CODEPOINT;
-       }
-
-       /* This looks a little strange, but it is needed to cope
-          with codepoints above 64k which are encoded as per RFC2781. */
-       olen = 2;
-       outbuf = (char *)buf;
-       smb_iconv(descriptor, &str, &ilen, &outbuf, &olen);
-       if (olen == 2) {
-               /* We failed to convert to a 2 byte character.
-                  See if we can convert to a 4 UTF16-LE byte char encoding.
-               */
-               olen = 4;
-               outbuf = (char *)buf;
-               smb_iconv(descriptor,  &str, &ilen, &outbuf, &olen);
-               if (olen == 4) {
-                       /* We didn't convert any bytes */
-                       *size = 1;
-                       return INVALID_CODEPOINT;
-               }
-               olen = 4 - olen;
-       } else {
-               olen = 2 - olen;
-       }
-
-       *size = ilen_orig - ilen;
-
-       if (olen == 2) {
-               /* 2 byte, UTF16-LE encoded value. */
-               return (codepoint_t)SVAL(buf, 0);
-       }
-       if (olen == 4) {
-               /* Decode a 4 byte UTF16-LE character manually.
-                  See RFC2871 for the encoding machanism.
-               */
-               codepoint_t w1 = SVAL(buf,0) & ~0xD800;
-               codepoint_t w2 = SVAL(buf,2) & ~0xDC00;
-
-               return (codepoint_t)0x10000 +
-                               (w1 << 10) + w2;
-       }
-
-       /* no other length is valid */
-       return INVALID_CODEPOINT;
-}