s3:smbd: fix posix acls when setting an ACL without explicit ACE for the owner (bug...
[ira/wip.git] / source3 / lib / charcnv.c
index b9b9d90db670e017905b597a90bd6eac76b9530d..1f2fa63f3e999eb1f878faa00c5a770ebf01484f 100644 (file)
@@ -1,24 +1,23 @@
-/* 
+/*
    Unix SMB/CIFS implementation.
    Character set conversion Extensions
    Copyright (C) Igor Vergeichik <iverg@mail.ru> 2001
    Copyright (C) Andrew Tridgell 2001
    Copyright (C) Simo Sorce 2001
    Copyright (C) Martin Pool 2003
-   
+
    This program is free software; you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
-   the Free Software Foundation; either version 2 of the License, or
+   the Free Software Foundation; either version 3 of the License, or
    (at your option) any later version.
-   
+
    This program is distributed in the hope that it will be useful,
    but WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
    GNU General Public License for more details.
-   
+
    You should have received a copy of the GNU General Public License
-   along with this program; if not, write to the Free Software
-   Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
+   along with this program.  If not, see <http://www.gnu.org/licenses/>.
 
 */
 #include "includes.h"
@@ -34,7 +33,7 @@ char lp_failed_convert_char(void)
  * @file
  *
  * @brief Character-set conversion routines built on our iconv.
- * 
+ *
  * @note Samba's internal character set (at least in the 3.0 series)
  * is always the same as the one for the Unix filesystem.  It is
  * <b>not</b> necessarily UTF-8 and may be different on machines that
@@ -47,7 +46,8 @@ char lp_failed_convert_char(void)
 
 
 static smb_iconv_t conv_handles[NUM_CHARSETS][NUM_CHARSETS];
-static BOOL conv_silent; /* Should we do a debug if the conversion fails ? */
+static bool conv_silent; /* Should we do a debug if the conversion fails ? */
+static bool initialized;
 
 /**
  * Return the name of a charset to give to iconv().
@@ -56,7 +56,8 @@ static const char *charset_name(charset_t ch)
 {
        const char *ret = NULL;
 
-       if (ch == CH_UCS2) ret = "UTF-16LE";
+       if (ch == CH_UTF16LE) ret = "UTF-16LE";
+       else if (ch == CH_UTF16BE) ret = "UTF-16BE";
        else if (ch == CH_UNIX) ret = lp_unix_charset();
        else if (ch == CH_DOS) ret = lp_dos_charset();
        else if (ch == CH_DISPLAY) ret = lp_display_charset();
@@ -84,15 +85,6 @@ static const char *charset_name(charset_t ch)
                }
                ret = ln;
        }
-#ifdef HAVE_SETLOCALE
-       /* We set back the locale to C to get ASCII-compatible toupper/lower functions.
-          For now we do not need any other POSIX localisations anyway. When we should
-          really need localized string functions one day we need to write our own
-          ascii_tolower etc.
-       */
-       setlocale(LC_ALL, "C");
- #endif
-
 #endif
 
        if (!ret || !*ret) ret = "ASCII";
@@ -101,15 +93,31 @@ static const char *charset_name(charset_t ch)
 
 void lazy_initialize_conv(void)
 {
-       static int initialized = False;
-
        if (!initialized) {
-               initialized = True;
                load_case_tables();
                init_iconv();
+               initialized = true;
        }
 }
 
+/**
+ * Destroy global objects allocated by init_iconv()
+ **/
+void gfree_charcnv(void)
+{
+       int c1, c2;
+
+       for (c1=0;c1<NUM_CHARSETS;c1++) {
+               for (c2=0;c2<NUM_CHARSETS;c2++) {
+                       if ( conv_handles[c1][c2] ) {
+                               smb_iconv_close( conv_handles[c1][c2] );
+                               conv_handles[c1][c2] = 0;
+                       }
+               }
+       }
+       initialized = false;
+}
+
 /**
  * Initialize iconv conversion descriptors.
  *
@@ -120,15 +128,15 @@ void lazy_initialize_conv(void)
 void init_iconv(void)
 {
        int c1, c2;
-       BOOL did_reload = False;
+       bool did_reload = False;
 
        /* so that charset_name() works we need to get the UNIX<->UCS2 going
           first */
-       if (!conv_handles[CH_UNIX][CH_UCS2])
-               conv_handles[CH_UNIX][CH_UCS2] = smb_iconv_open(charset_name(CH_UCS2), "ASCII");
+       if (!conv_handles[CH_UNIX][CH_UTF16LE])
+               conv_handles[CH_UNIX][CH_UTF16LE] = smb_iconv_open(charset_name(CH_UTF16LE), "ASCII");
 
-       if (!conv_handles[CH_UCS2][CH_UNIX])
-               conv_handles[CH_UCS2][CH_UNIX] = smb_iconv_open("ASCII", charset_name(CH_UCS2));
+       if (!conv_handles[CH_UTF16LE][CH_UNIX])
+               conv_handles[CH_UTF16LE][CH_UNIX] = smb_iconv_open("ASCII", charset_name(CH_UTF16LE));
 
        for (c1=0;c1<NUM_CHARSETS;c1++) {
                for (c2=0;c2<NUM_CHARSETS;c2++) {
@@ -148,10 +156,10 @@ void init_iconv(void)
                        if (conv_handles[c1][c2] == (smb_iconv_t)-1) {
                                DEBUG(0,("init_iconv: Conversion from %s to %s not supported\n",
                                         charset_name((charset_t)c1), charset_name((charset_t)c2)));
-                               if (c1 != CH_UCS2) {
+                               if (c1 != CH_UTF16LE && c1 != CH_UTF16BE) {
                                        n1 = "ASCII";
                                }
-                               if (c2 != CH_UCS2) {
+                               if (c2 != CH_UTF16LE && c2 != CH_UTF16BE) {
                                        n2 = "ASCII";
                                }
                                DEBUG(0,("init_iconv: Attempting to replace with conversion from %s to %s\n",
@@ -159,7 +167,7 @@ void init_iconv(void)
                                conv_handles[c1][c2] = smb_iconv_open(n2,n1);
                                if (!conv_handles[c1][c2]) {
                                        DEBUG(0,("init_iconv: Conversion from %s to %s failed", n1, n2));
-                                       smb_panic("init_iconv: conv_handle initialization failed.");
+                                       smb_panic("init_iconv: conv_handle initialization failed");
                                }
                        }
                }
@@ -170,7 +178,6 @@ void init_iconv(void)
                 * codepage changes? */
                /* XXX: Is the did_reload test too strict? */
                conv_silent = True;
-               init_doschar_table();
                init_valid_table();
                conv_silent = False;
        }
@@ -193,7 +200,7 @@ void init_iconv(void)
 
 static size_t convert_string_internal(charset_t from, charset_t to,
                      void const *src, size_t srclen, 
-                     void *dest, size_t destlen, BOOL allow_bad_conv)
+                     void *dest, size_t destlen, bool allow_bad_conv)
 {
        size_t i_len, o_len;
        size_t retval;
@@ -206,7 +213,7 @@ static size_t convert_string_internal(charset_t from, charset_t to,
        descriptor = conv_handles[from][to];
 
        if (srclen == (size_t)-1) {
-               if (from == CH_UCS2) {
+               if (from == CH_UTF16LE || from == CH_UTF16BE) {
                        srclen = (strlen_w((const smb_ucs2_t *)src)+1) * 2;
                } else {
                        srclen = strlen((const char *)src)+1;
@@ -235,7 +242,7 @@ static size_t convert_string_internal(charset_t from, charset_t to,
                                        DEBUG(3,("convert_string_internal: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
-                               break;
+                               return (size_t)-1;
                        case E2BIG:
                                reason="No more room"; 
                                if (!conv_silent) {
@@ -256,11 +263,12 @@ static size_t convert_string_internal(charset_t from, charset_t to,
                                        DEBUG(3,("convert_string_internal: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
-                               break;
+                               
+                               return (size_t)-1;
                        default:
                                if (!conv_silent)
                                        DEBUG(0,("convert_string_internal: Conversion error: %s(%s)\n",reason,inbuf));
-                               break;
+                               return (size_t)-1;
                }
                /* smb_panic(reason); */
        }
@@ -278,8 +286,11 @@ static size_t convert_string_internal(charset_t from, charset_t to,
                if (o_len == 0 || i_len == 0)
                        return destlen - o_len;
 
-               if (from == CH_UCS2 && to != CH_UCS2) {
-                       /* Can't convert from ucs2 to multibyte. Replace with the default fail char. */
+               if (((from == CH_UTF16LE)||(from == CH_UTF16BE)) &&
+                               ((to != CH_UTF16LE)||(to != CH_UTF16BE))) {
+                       /* Can't convert from utf16 any endian to multibyte.
+                          Replace with the default fail char.
+                       */
                        if (i_len < 2)
                                return destlen - o_len;
                        if (i_len >= 2) {
@@ -298,8 +309,10 @@ static size_t convert_string_internal(charset_t from, charset_t to,
                        /* Keep trying with the next char... */
                        goto again;
 
-               } else if (from != CH_UCS2 && to == CH_UCS2) {
-                       /* Can't convert to ucs2 - just widen by adding the default fail char then zero. */
+               } else if (from != CH_UTF16LE && from != CH_UTF16BE && to == CH_UTF16LE) {
+                       /* Can't convert to UTF16LE - just widen by adding the
+                          default fail char then zero.
+                       */
                        if (o_len < 2)
                                return destlen - o_len;
 
@@ -318,7 +331,8 @@ static size_t convert_string_internal(charset_t from, charset_t to,
                        /* Keep trying with the next char... */
                        goto again;
 
-               } else if (from != CH_UCS2 && to != CH_UCS2) {
+               } else if (from != CH_UTF16LE && from != CH_UTF16BE &&
+                               to != CH_UTF16LE && to != CH_UTF16BE) {
                        /* Failed multibyte to multibyte. Just copy the default fail char and
                                try again. */
                        outbuf[0] = lp_failed_convert_char();
@@ -361,7 +375,7 @@ static size_t convert_string_internal(charset_t from, charset_t to,
 
 size_t convert_string(charset_t from, charset_t to,
                      void const *src, size_t srclen, 
-                     void *dest, size_t destlen, BOOL allow_bad_conv)
+                     void *dest, size_t destlen, bool allow_bad_conv)
 {
        /*
         * NB. We deliberately don't do a strlen here if srclen == -1.
@@ -376,7 +390,7 @@ size_t convert_string(charset_t from, charset_t to,
        if (srclen == 0)
                return 0;
 
-       if (from != CH_UCS2 && to != CH_UCS2) {
+       if (from != CH_UTF16LE && from != CH_UTF16BE && to != CH_UTF16LE && to != CH_UTF16BE) {
                const unsigned char *p = (const unsigned char *)src;
                unsigned char *q = (unsigned char *)dest;
                size_t slen = srclen;
@@ -399,7 +413,11 @@ size_t convert_string(charset_t from, charset_t to,
 #ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
                                goto general_case;
 #else
-                               return retval + convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               size_t ret = convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               if (ret == (size_t)-1) {
+                                       return ret;
+                               }
+                               return retval + ret;
 #endif
                        }
                }
@@ -411,7 +429,7 @@ size_t convert_string(charset_t from, charset_t to,
                        }
                }
                return retval;
-       } else if (from == CH_UCS2 && to != CH_UCS2) {
+       } else if (from == CH_UTF16LE && to != CH_UTF16LE) {
                const unsigned char *p = (const unsigned char *)src;
                unsigned char *q = (unsigned char *)dest;
                size_t retval = 0;
@@ -435,7 +453,11 @@ size_t convert_string(charset_t from, charset_t to,
 #ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
                                goto general_case;
 #else
-                               return retval + convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               size_t ret = convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               if (ret == (size_t)-1) {
+                                       return ret;
+                               }
+                               return retval + ret;
 #endif
                        }
                }
@@ -447,7 +469,7 @@ size_t convert_string(charset_t from, charset_t to,
                        }
                }
                return retval;
-       } else if (from != CH_UCS2 && to == CH_UCS2) {
+       } else if (from != CH_UTF16LE && from != CH_UTF16BE && to == CH_UTF16LE) {
                const unsigned char *p = (const unsigned char *)src;
                unsigned char *q = (unsigned char *)dest;
                size_t retval = 0;
@@ -471,7 +493,11 @@ size_t convert_string(charset_t from, charset_t to,
 #ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
                                goto general_case;
 #else
-                               return retval + convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               size_t ret = convert_string_internal(from, to, p, slen, q, dlen, allow_bad_conv);
+                               if (ret == (size_t)-1) {
+                                       return ret;
+                               }
+                               return retval + ret;
 #endif
                        }
                }
@@ -492,36 +518,55 @@ size_t convert_string(charset_t from, charset_t to,
 }
 
 /**
- * Convert between character sets, allocating a new buffer for the result.
+ * Convert between character sets, allocating a new buffer using talloc for the result.
  *
- * @param ctx TALLOC_CTX to use to allocate with. If NULL use malloc.
  * @param srclen length of source buffer.
  * @param dest always set at least to NULL
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  * @note -1 is not accepted for srclen.
  *
- * @returns Size in bytes of the converted string; or -1 in case of error.
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  *
  * Ensure the srclen contains the terminating zero.
- * 
+ *
  * I hate the goto's in this function. It's embarressing.....
  * There has to be a cleaner way to do this. JRA.
- **/
+ */
+bool convert_string_talloc(TALLOC_CTX *ctx, charset_t from, charset_t to,
+                          void const *src, size_t srclen, void *dst,
+                          size_t *converted_size, bool allow_bad_conv)
 
-size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
-                              void const *src, size_t srclen, void **dest, BOOL allow_bad_conv)
 {
-       size_t i_len, o_len, destlen = MAX(srclen, 512);
+       size_t i_len, o_len, destlen = (srclen * 3) / 2;
        size_t retval;
        const char *inbuf = (const char *)src;
        char *outbuf = NULL, *ob = NULL;
        smb_iconv_t descriptor;
+       void **dest = (void **)dst;
 
        *dest = NULL;
 
-       if (src == NULL || srclen == (size_t)-1)
-               return (size_t)-1;
-       if (srclen == 0)
-               return 0;
+       if (!converted_size) {
+               errno = EINVAL;
+               return false;
+       }
+
+       if (src == NULL || srclen == (size_t)-1) {
+               errno = EINVAL;
+               return false;
+       }
+       if (srclen == 0) {
+               ob = ((ctx != NULL) ? talloc_strdup(ctx, "") : SMB_STRDUP(""));
+               if (ob == NULL) {
+                       errno = ENOMEM;
+                       return false;
+               }
+               *dest = ob;
+               *converted_size = 0;
+               return true;
+       }
 
        lazy_initialize_conv();
 
@@ -529,36 +574,35 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
 
        if (descriptor == (smb_iconv_t)-1 || descriptor == (smb_iconv_t)0) {
                if (!conv_silent)
-                       DEBUG(0,("convert_string_allocate: Conversion not supported.\n"));
-               return (size_t)-1;
+                       DEBUG(0,("convert_string_talloc: Conversion not supported.\n"));
+               errno = EOPNOTSUPP;
+               return false;
        }
 
   convert:
 
-       if ((destlen*2) < destlen) {
+       /* +2 is for ucs2 null termination. */
+       if ((destlen*2)+2 < destlen) {
                /* wrapped ! abort. */
                if (!conv_silent)
-                       DEBUG(0, ("convert_string_allocate: destlen wrapped !\n"));
+                       DEBUG(0, ("convert_string_talloc: destlen wrapped !\n"));
                if (!ctx)
                        SAFE_FREE(outbuf);
-               return (size_t)-1;
+               errno = EOPNOTSUPP;
+               return false;
        } else {
                destlen = destlen * 2;
        }
 
-       if (ctx)
-               ob = (char *)TALLOC_REALLOC(ctx, ob, destlen);
-       else
-               ob = (char *)SMB_REALLOC(ob, destlen);
+       /* +2 is for ucs2 null termination. */
+       ob = (char *)TALLOC_REALLOC(ctx, ob, destlen + 2);
 
        if (!ob) {
-               DEBUG(0, ("convert_string_allocate: realloc failed!\n"));
-               if (!ctx)
-                       SAFE_FREE(outbuf);
-               return (size_t)-1;
-       } else {
-               outbuf = ob;
+               DEBUG(0, ("convert_string_talloc: realloc failed!\n"));
+               errno = ENOMEM;
+               return false;
        }
+       outbuf = ob;
        i_len = srclen;
        o_len = destlen;
 
@@ -573,16 +617,16 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                        case EINVAL:
                                reason="Incomplete multibyte sequence";
                                if (!conv_silent)
-                                       DEBUG(3,("convert_string_allocate: Conversion error: %s(%s)\n",reason,inbuf));
+                                       DEBUG(3,("convert_string_talloc: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
                                break;
                        case E2BIG:
-                               goto convert;           
+                               goto convert;
                        case EILSEQ:
                                reason="Illegal multibyte sequence";
                                if (!conv_silent)
-                                       DEBUG(3,("convert_string_allocate: Conversion error: %s(%s)\n",reason,inbuf));
+                                       DEBUG(3,("convert_string_talloc: Conversion error: %s(%s)\n",reason,inbuf));
                                if (allow_bad_conv)
                                        goto use_as_is;
                                break;
@@ -590,24 +634,36 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                if (!conv_silent)
                        DEBUG(0,("Conversion error: %s(%s)\n",reason,inbuf));
                /* smb_panic(reason); */
-               return (size_t)-1;
+               TALLOC_FREE(ob);
+               return false;
        }
 
   out:
 
        destlen = destlen - o_len;
-       if (ctx)
-               *dest = (char *)TALLOC_REALLOC(ctx,ob,destlen);
-       else
-               *dest = (char *)SMB_REALLOC(ob,destlen);
-       if (destlen && !*dest) {
-               DEBUG(0, ("convert_string_allocate: out of memory!\n"));
-               if (!ctx)
-                       SAFE_FREE(ob);
-               return (size_t)-1;
+       /* Don't shrink unless we're reclaiming a lot of
+        * space. This is in the hot codepath and these
+        * reallocs *cost*. JRA.
+        */
+       if (o_len > 1024) {
+               /* We're shrinking here so we know the +2 is safe from wrap. */
+               ob = (char *)TALLOC_REALLOC(ctx,ob,destlen + 2);
+       }
+
+       if (destlen && !ob) {
+               DEBUG(0, ("convert_string_talloc: out of memory!\n"));
+               errno = ENOMEM;
+               return false;
        }
 
-       return destlen;
+       *dest = ob;
+
+       /* Must ucs2 null terminate in the extra space we allocated. */
+       ob[destlen] = '\0';
+       ob[destlen+1] = '\0';
+
+       *converted_size = destlen;
+       return true;
 
  use_as_is:
 
@@ -621,8 +677,12 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                if (o_len == 0 || i_len == 0)
                        goto out;
 
-               if (from == CH_UCS2 && to != CH_UCS2) {
-                       /* Can't convert from ucs2 to multibyte. Just use the default fail char. */
+               if (((from == CH_UTF16LE)||(from == CH_UTF16BE)) &&
+                               ((to != CH_UTF16LE)||(to != CH_UTF16BE))) {
+                       /* Can't convert from utf16 any endian to multibyte.
+                          Replace with the default fail char.
+                       */
+
                        if (i_len < 2)
                                goto out;
 
@@ -642,8 +702,10 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                        /* Keep trying with the next char... */
                        goto again;
 
-               } else if (from != CH_UCS2 && to == CH_UCS2) {
-                       /* Can't convert to ucs2 - just widen by adding the default fail char then zero. */
+               } else if (from != CH_UTF16LE && from != CH_UTF16BE && to == CH_UTF16LE) {
+                       /* Can't convert to UTF16LE - just widen by adding the
+                          default fail char then zero.
+                       */
                        if (o_len < 2)
                                goto out;
 
@@ -662,9 +724,10 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
                        /* Keep trying with the next char... */
                        goto again;
 
-               } else if (from != CH_UCS2 && to != CH_UCS2) {
+               } else if (from != CH_UTF16LE && from != CH_UTF16BE &&
+                               to != CH_UTF16LE && to != CH_UTF16BE) {
                        /* Failed multibyte to multibyte. Just copy the default fail char and
-                               try again. */
+                          try again. */
                        outbuf[0] = lp_failed_convert_char();
 
                        inbuf++;
@@ -686,142 +749,138 @@ size_t convert_string_allocate(TALLOC_CTX *ctx, charset_t from, charset_t to,
        }
 }
 
-/**
- * Convert between character sets, allocating a new buffer using talloc for the result.
- *
- * @param srclen length of source buffer.
- * @param dest always set at least to NULL 
- * @note -1 is not accepted for srclen.
- *
- * @returns Size in bytes of the converted string; or -1 in case of error.
- **/
-static size_t convert_string_talloc(TALLOC_CTX *ctx, charset_t from, charset_t to,
-                               void const *src, size_t srclen, void **dest, BOOL allow_bad_conv)
-{
-       size_t dest_len;
-
-       *dest = NULL;
-       dest_len=convert_string_allocate(ctx, from, to, src, srclen, dest, allow_bad_conv);
-       if (dest_len == (size_t)-1)
-               return (size_t)-1;
-       if (*dest == NULL)
-               return (size_t)-1;
-       return dest_len;
-}
-
 size_t unix_strupper(const char *src, size_t srclen, char *dest, size_t destlen)
 {
        size_t size;
        smb_ucs2_t *buffer;
-       
-       size = push_ucs2_allocate(&buffer, src);
-       if (size == (size_t)-1) {
-               smb_panic("failed to create UCS2 buffer");
+
+       if (!push_ucs2_talloc(NULL, &buffer, src, &size)) {
+               return (size_t)-1;
        }
+
        if (!strupper_w(buffer) && (dest == src)) {
-               free(buffer);
+               TALLOC_FREE(buffer);
                return srclen;
        }
-       
-       size = convert_string(CH_UCS2, CH_UNIX, buffer, size, dest, destlen, True);
-       free(buffer);
+
+       size = convert_string(CH_UTF16LE, CH_UNIX, buffer, size, dest, destlen, True);
+       TALLOC_FREE(buffer);
        return size;
 }
 
 /**
- strdup() a unix string to upper case.
- Max size is pstring.
+ talloc_strdup() a unix string to upper case.
 **/
 
-char *strdup_upper(const char *s)
+char *talloc_strdup_upper(TALLOC_CTX *ctx, const char *s)
 {
-       pstring out_buffer;
+       char *out_buffer = talloc_strdup(ctx,s);
        const unsigned char *p = (const unsigned char *)s;
        unsigned char *q = (unsigned char *)out_buffer;
 
+       if (!q) {
+               return NULL;
+       }
+
        /* this is quite a common operation, so we want it to be
           fast. We optimise for the ascii case, knowing that all our
           supported multi-byte character sets are ascii-compatible
           (ie. they match for the first 128 chars) */
 
-       while (1) {
+       while (*p) {
                if (*p & 0x80)
                        break;
-               *q++ = toupper(*p);
-               if (!*p)
-                       break;
+               *q++ = toupper_ascii_fast(*p);
                p++;
-               if (p - ( const unsigned char *)s >= sizeof(pstring))
-                       break;
        }
 
        if (*p) {
                /* MB case. */
-               size_t size;
-               wpstring buffer;
-               size = convert_string(CH_UNIX, CH_UCS2, s, -1, buffer, sizeof(buffer), True);
-               if (size == (size_t)-1) {
+               size_t converted_size, converted_size2;
+               smb_ucs2_t *ubuf = NULL;
+
+               /* We're not using the ascii buffer above. */
+               TALLOC_FREE(out_buffer);
+
+               if (!convert_string_talloc(ctx, CH_UNIX, CH_UTF16LE, s,
+                                          strlen(s)+1, (void *)&ubuf,
+                                          &converted_size, True))
+               {
                        return NULL;
                }
 
-               strupper_w(buffer);
-       
-               size = convert_string(CH_UCS2, CH_UNIX, buffer, -1, out_buffer, sizeof(out_buffer), True);
-               if (size == (size_t)-1) {
+               strupper_w(ubuf);
+
+               if (!convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, ubuf,
+                                          converted_size, (void *)&out_buffer,
+                                          &converted_size2, True))
+               {
+                       TALLOC_FREE(ubuf);
                        return NULL;
                }
+
+               /* Don't need the intermediate buffer
+                * anymore.
+                */
+               TALLOC_FREE(ubuf);
        }
 
-       return SMB_STRDUP(out_buffer);
+       return out_buffer;
+}
+
+char *strupper_talloc(TALLOC_CTX *ctx, const char *s) {
+       return talloc_strdup_upper(ctx, s);
 }
 
+
 size_t unix_strlower(const char *src, size_t srclen, char *dest, size_t destlen)
 {
        size_t size;
        smb_ucs2_t *buffer = NULL;
-       
-       size = convert_string_allocate(NULL, CH_UNIX, CH_UCS2, src, srclen,
-                                      (void **) &buffer, True);
-       if (size == (size_t)-1 || !buffer) {
+
+       if (!convert_string_talloc(NULL, CH_UNIX, CH_UTF16LE, src, srclen,
+                                  (void **)(void *)&buffer, &size,
+                                  True))
+       {
                smb_panic("failed to create UCS2 buffer");
        }
        if (!strlower_w(buffer) && (dest == src)) {
-               SAFE_FREE(buffer);
+               TALLOC_FREE(buffer);
                return srclen;
        }
-       size = convert_string(CH_UCS2, CH_UNIX, buffer, size, dest, destlen, True);
-       SAFE_FREE(buffer);
+       size = convert_string(CH_UTF16LE, CH_UNIX, buffer, size, dest, destlen, True);
+       TALLOC_FREE(buffer);
        return size;
 }
 
-/**
- strdup() a unix string to lower case.
-**/
 
-char *strdup_lower(const char *s)
+char *talloc_strdup_lower(TALLOC_CTX *ctx, const char *s)
 {
-       size_t size;
+       size_t converted_size;
        smb_ucs2_t *buffer = NULL;
        char *out_buffer;
-       
-       size = push_ucs2_allocate(&buffer, s);
-       if (size == -1 || !buffer) {
+
+       if (!push_ucs2_talloc(ctx, &buffer, s, &converted_size)) {
                return NULL;
        }
 
        strlower_w(buffer);
-       
-       size = pull_ucs2_allocate(&out_buffer, buffer);
-       SAFE_FREE(buffer);
 
-       if (size == (size_t)-1) {
+       if (!pull_ucs2_talloc(ctx, &out_buffer, buffer, &converted_size)) {
+               TALLOC_FREE(buffer);
                return NULL;
        }
-       
+
+       TALLOC_FREE(buffer);
+
        return out_buffer;
 }
 
-static size_t ucs2_align(const void *base_ptr, const void *p, int flags)
+char *strlower_talloc(TALLOC_CTX *ctx, const char *s) {
+       return talloc_strdup_lower(ctx, s);
+}
+
+size_t ucs2_align(const void *base_ptr, const void *p, int flags)
 {
        if (flags & (STR_NOALIGN|STR_ASCII))
                return 0;
@@ -841,27 +900,40 @@ static size_t ucs2_align(const void *base_ptr, const void *p, int flags)
  * </dl>
  *
  * @param dest_len the maximum length in bytes allowed in the
- * destination.  If @p dest_len is -1 then no maximum is used.
+ * destination.
  **/
 size_t push_ascii(void *dest, const char *src, size_t dest_len, int flags)
 {
        size_t src_len = strlen(src);
-       pstring tmpbuf;
+       char *tmpbuf = NULL;
+       size_t ret;
 
-       /* treat a pstring as "unlimited" length */
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       /* No longer allow a length of -1. */
+       if (dest_len == (size_t)-1) {
+               smb_panic("push_ascii - dest_len == -1");
+       }
 
        if (flags & STR_UPPER) {
-               pstrcpy(tmpbuf, src);
+               tmpbuf = SMB_STRDUP(src);
+               if (!tmpbuf) {
+                       smb_panic("malloc fail");
+               }
                strupper_m(tmpbuf);
                src = tmpbuf;
        }
 
-       if (flags & (STR_TERMINATE | STR_TERMINATE_ASCII))
+       if (flags & (STR_TERMINATE | STR_TERMINATE_ASCII)) {
                src_len++;
+       }
 
-       return convert_string(CH_UNIX, CH_DOS, src, src_len, dest, dest_len, True);
+       ret = convert_string(CH_UNIX, CH_DOS, src, src_len, dest, dest_len, True);
+       if (ret == (size_t)-1 &&
+                       (flags & (STR_TERMINATE | STR_TERMINATE_ASCII))
+                       && dest_len > 0) {
+               ((char *)dest)[0] = '\0';
+       }
+       SAFE_FREE(tmpbuf);
+       return ret;
 }
 
 size_t push_ascii_fstring(void *dest, const char *src)
@@ -869,11 +941,6 @@ size_t push_ascii_fstring(void *dest, const char *src)
        return push_ascii(dest, src, sizeof(fstring), STR_TERMINATE);
 }
 
-size_t push_ascii_pstring(void *dest, const char *src)
-{
-       return push_ascii(dest, src, sizeof(pstring), STR_TERMINATE);
-}
-
 /********************************************************************
  Push an nstring - ensure null terminated. Written by
  moriyama@miraclelinux.com (MORIYAMA Masayuki).
@@ -885,8 +952,7 @@ size_t push_ascii_nstring(void *dest, const char *src)
        smb_ucs2_t *buffer;
 
        conv_silent = True;
-       buffer_len = push_ucs2_allocate(&buffer, src);
-       if (buffer_len == (size_t)-1) {
+       if (!push_ucs2_talloc(NULL, &buffer, src, &buffer_len)) {
                smb_panic("failed to create UCS2 buffer");
        }
 
@@ -897,7 +963,7 @@ size_t push_ascii_nstring(void *dest, const char *src)
        for (i = 0; buffer[i] != 0 && (i < buffer_len); i++) {
                unsigned char mb[10];
                /* Convert one smb_ucs2_t character at a time. */
-               size_t mb_len = convert_string(CH_UCS2, CH_DOS, buffer+i, sizeof(smb_ucs2_t), mb, sizeof(mb), False);
+               size_t mb_len = convert_string(CH_UTF16LE, CH_DOS, buffer+i, sizeof(smb_ucs2_t), mb, sizeof(mb), False);
                if ((mb_len != (size_t)-1) && (dest_len + mb_len <= MAX_NETBIOSNAME_LEN - 1)) {
                        memcpy((char *)dest + dest_len, mb, mb_len);
                        dest_len += mb_len;
@@ -908,11 +974,24 @@ size_t push_ascii_nstring(void *dest, const char *src)
        }
        ((char *)dest)[dest_len] = '\0';
 
-       SAFE_FREE(buffer);
        conv_silent = False;
+       TALLOC_FREE(buffer);
        return dest_len;
 }
 
+/********************************************************************
+ Push and malloc an ascii string. src and dest null terminated.
+********************************************************************/
+
+bool push_ascii_talloc(TALLOC_CTX *mem_ctx, char **dest, const char *src, size_t *converted_size)
+{
+       size_t src_len = strlen(src)+1;
+
+       *dest = NULL;
+       return convert_string_talloc(mem_ctx, CH_UNIX, CH_DOS, src, src_len,
+                                    (void **)dest, converted_size, True);
+}
+
 /**
  * Copy a string from a dos codepage source to a unix char* destination.
  *
@@ -932,14 +1011,16 @@ size_t pull_ascii(char *dest, const void *src, size_t dest_len, size_t src_len,
 {
        size_t ret;
 
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("pull_ascii - invalid dest_len of -1");
+       }
 
        if (flags & STR_TERMINATE) {
                if (src_len == (size_t)-1) {
-                       src_len = strlen(src) + 1;
+                       src_len = strlen((const char *)src) + 1;
                } else {
-                       size_t len = strnlen(src, src_len);
+                       size_t len = strnlen((const char *)src, src_len);
                        if (len < src_len)
                                len++;
                        src_len = len;
@@ -948,20 +1029,115 @@ size_t pull_ascii(char *dest, const void *src, size_t dest_len, size_t src_len,
 
        ret = convert_string(CH_DOS, CH_UNIX, src, src_len, dest, dest_len, True);
        if (ret == (size_t)-1) {
+               ret = 0;
                dest_len = 0;
        }
 
-       if (dest_len)
-               dest[MIN(ret, dest_len-1)] = 0;
-       else 
+       if (dest_len && ret) {
+               /* Did we already process the terminating zero ? */
+               if (dest[MIN(ret-1, dest_len-1)] != 0) {
+                       dest[MIN(ret, dest_len-1)] = 0;
+               }
+       } else  {
                dest[0] = 0;
+       }
 
        return src_len;
 }
 
-size_t pull_ascii_pstring(char *dest, const void *src)
+/**
+ * Copy a string from a dos codepage source to a unix char* destination.
+ Talloc version.
+ Uses malloc if TALLOC_CTX is NULL (this is a bad interface and
+ needs fixing. JRA).
+ *
+ * The resulting string in "dest" is always null terminated.
+ *
+ * @param flags can have:
+ * <dl>
+ * <dt>STR_TERMINATE</dt>
+ * <dd>STR_TERMINATE means the string in @p src
+ * is null terminated, and src_len is ignored.</dd>
+ * </dl>
+ *
+ * @param src_len is the length of the source area in bytes.
+ * @returns the number of bytes occupied by the string in @p src.
+ **/
+
+static size_t pull_ascii_base_talloc(TALLOC_CTX *ctx,
+                                    char **ppdest,
+                                    const void *src,
+                                    size_t src_len,
+                                    int flags)
 {
-       return pull_ascii(dest, src, sizeof(pstring), -1, STR_TERMINATE);
+       char *dest = NULL;
+       size_t dest_len;
+
+       *ppdest = NULL;
+
+       if (!src_len) {
+               return 0;
+       }
+
+       if (flags & STR_TERMINATE) {
+               if (src_len == (size_t)-1) {
+                       src_len = strlen((const char *)src) + 1;
+               } else {
+                       size_t len = strnlen((const char *)src, src_len);
+                       if (len < src_len)
+                               len++;
+                       src_len = len;
+               }
+               /* Ensure we don't use an insane length from the client. */
+               if (src_len >= 1024*1024) {
+                       char *msg = talloc_asprintf(ctx,
+                                       "Bad src length (%u) in "
+                                       "pull_ascii_base_talloc",
+                                       (unsigned int)src_len);
+                       smb_panic(msg);
+               }
+       } else {
+               /* Can't have an unlimited length
+                * non STR_TERMINATE'd.
+                */
+               if (src_len == (size_t)-1) {
+                       errno = EINVAL;
+                       return 0;
+               }
+       }
+
+       /* src_len != -1 here. */
+
+       if (!convert_string_talloc(ctx, CH_DOS, CH_UNIX, src, src_len, &dest,
+                                    &dest_len, True)) {
+               dest_len = 0;
+       }
+
+       if (dest_len && dest) {
+               /* Did we already process the terminating zero ? */
+               if (dest[dest_len-1] != 0) {
+                       size_t size = talloc_get_size(dest);
+                       /* Have we got space to append the '\0' ? */
+                       if (size <= dest_len) {
+                               /* No, realloc. */
+                               dest = TALLOC_REALLOC_ARRAY(ctx, dest, char,
+                                               dest_len+1);
+                               if (!dest) {
+                                       /* talloc fail. */
+                                       dest_len = (size_t)-1;
+                                       return 0;
+                               }
+                       }
+                       /* Yay - space ! */
+                       dest[dest_len] = '\0';
+                       dest_len++;
+               }
+       } else if (dest) {
+               dest[0] = 0;
+       }
+
+       *ppdest = dest;
+       return src_len;
 }
 
 size_t pull_ascii_fstring(char *dest, const void *src)
@@ -990,7 +1166,7 @@ size_t pull_ascii_nstring(char *dest, size_t dest_len, const void *src)
  * </dl>
  *
  * @param dest_len is the maximum length allowed in the
- * destination. If dest_len is -1 then no maxiumum is used.
+ * destination.
  **/
 
 size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_len, int flags)
@@ -999,9 +1175,10 @@ size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_
        size_t src_len;
        size_t ret;
 
-       /* treat a pstring as "unlimited" length */
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("push_ucs2 - invalid dest_len of -1");
+       }
 
        if (flags & STR_TERMINATE)
                src_len = (size_t)-1;
@@ -1019,17 +1196,26 @@ size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_
        /* ucs2 is always a multiple of 2 bytes */
        dest_len &= ~1;
 
-       ret =  convert_string(CH_UNIX, CH_UCS2, src, src_len, dest, dest_len, True);
+       ret =  convert_string(CH_UNIX, CH_UTF16LE, src, src_len, dest, dest_len, True);
        if (ret == (size_t)-1) {
-               return 0;
+               if ((flags & STR_TERMINATE) &&
+                               dest &&
+                               dest_len) {
+                       *(char *)dest = 0;
+               }
+               return len;
        }
 
        len += ret;
 
        if (flags & STR_UPPER) {
-               smb_ucs2_t *dest_ucs2 = dest;
+               smb_ucs2_t *dest_ucs2 = (smb_ucs2_t *)dest;
                size_t i;
-               for (i = 0; i < (dest_len / 2) && dest_ucs2[i]; i++) {
+
+               /* We check for i < (ret / 2) below as the dest string isn't null
+                  terminated if STR_TERMINATE isn't set. */
+
+               for (i = 0; i < (ret / 2) && i < (dest_len / 2) && dest_ucs2[i]; i++) {
                        smb_ucs2_t v = toupper_w(dest_ucs2[i]);
                        if (v != dest_ucs2[i]) {
                                dest_ucs2[i] = v;
@@ -1046,36 +1232,23 @@ size_t push_ucs2(const void *base_ptr, void *dest, const char *src, size_t dest_
  * allocating a buffer using talloc().
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
- *         or -1 in case of error.
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
-size_t push_ucs2_talloc(TALLOC_CTX *ctx, smb_ucs2_t **dest, const char *src)
+bool push_ucs2_talloc(TALLOC_CTX *ctx, smb_ucs2_t **dest, const char *src,
+                     size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
 
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_UNIX, CH_UCS2, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_UNIX, CH_UTF16LE, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 
-/**
- * Copy a string from a unix char* src to a UCS2 destination, allocating a buffer
- *
- * @param dest always set at least to NULL 
- *
- * @returns The number of bytes occupied by the string in the destination
- *         or -1 in case of error.
- **/
-
-size_t push_ucs2_allocate(smb_ucs2_t **dest, const char *src)
-{
-       size_t src_len = strlen(src)+1;
-
-       *dest = NULL;
-       return convert_string_allocate(NULL, CH_UNIX, CH_UCS2, src, src_len, (void **)dest, True);
-}
-
 /**
  Copy a string from a char* src to a UTF-8 destination.
  Return the number of bytes occupied by the string in the destination
@@ -1088,23 +1261,32 @@ size_t push_ucs2_allocate(smb_ucs2_t **dest, const char *src)
 
 static size_t push_utf8(void *dest, const char *src, size_t dest_len, int flags)
 {
-       size_t src_len = strlen(src);
-       pstring tmpbuf;
+       size_t src_len = 0;
+       size_t ret;
+       char *tmpbuf = NULL;
 
-       /* treat a pstring as "unlimited" length */
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("push_utf8 - invalid dest_len of -1");
+       }
 
        if (flags & STR_UPPER) {
-               pstrcpy(tmpbuf, src);
-               strupper_m(tmpbuf);
+               tmpbuf = strupper_talloc(NULL, src);
+               if (!tmpbuf) {
+                       return (size_t)-1;
+               }
                src = tmpbuf;
+               src_len = strlen(src);
        }
 
-       if (flags & STR_TERMINATE)
+       src_len = strlen(src);
+       if (flags & STR_TERMINATE) {
                src_len++;
+       }
 
-       return convert_string(CH_UNIX, CH_UTF8, src, src_len, dest, dest_len, True);
+       ret = convert_string(CH_UNIX, CH_UTF8, src, src_len, dest, dest_len, True);
+       TALLOC_FREE(tmpbuf);
+       return ret;
 }
 
 size_t push_utf8_fstring(void *dest, const char *src)
@@ -1116,32 +1298,21 @@ size_t push_utf8_fstring(void *dest, const char *src)
  * Copy a string from a unix char* src to a UTF-8 destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
- **/
-
-size_t push_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src)
-{
-       size_t src_len = strlen(src)+1;
-
-       *dest = NULL;
-       return convert_string_talloc(ctx, CH_UNIX, CH_UTF8, src, src_len, (void**)dest, True);
-}
-
-/**
- * Copy a string from a unix char* src to a UTF-8 destination, allocating a buffer
- *
- * @param dest always set at least to NULL 
- *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t push_utf8_allocate(char **dest, const char *src)
+bool push_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
+                     size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
 
        *dest = NULL;
-       return convert_string_allocate(NULL, CH_UNIX, CH_UTF8, src, src_len, (void **)dest, True);      
+       return convert_string_talloc(ctx, CH_UNIX, CH_UTF8, src, src_len,
+                                    (void**)dest, converted_size, True);
 }
 
 /**
@@ -1159,8 +1330,17 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
 {
        size_t ret;
 
-       if (dest_len == (size_t)-1)
-               dest_len = sizeof(pstring);
+       if (dest_len == (size_t)-1) {
+               /* No longer allow dest_len of -1. */
+               smb_panic("pull_ucs2 - invalid dest_len of -1");
+       }
+
+       if (!src_len) {
+               if (dest && dest_len > 0) {
+                       dest[0] = '\0';
+               }
+               return 0;
+       }
 
        if (ucs2_align(base_ptr, src, flags)) {
                src = (const void *)((const char *)src + 1);
@@ -1171,7 +1351,8 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
        if (flags & STR_TERMINATE) {
                /* src_len -1 is the default for null terminated strings. */
                if (src_len != (size_t)-1) {
-                       size_t len = strnlen_w(src, src_len/2);
+                       size_t len = strnlen_w((const smb_ucs2_t *)src,
+                                               src_len/2);
                        if (len < src_len/2)
                                len++;
                        src_len = len*2;
@@ -1181,26 +1362,135 @@ size_t pull_ucs2(const void *base_ptr, char *dest, const void *src, size_t dest_
        /* ucs2 is always a multiple of 2 bytes */
        if (src_len != (size_t)-1)
                src_len &= ~1;
-       
-       ret = convert_string(CH_UCS2, CH_UNIX, src, src_len, dest, dest_len, True);
+
+       ret = convert_string(CH_UTF16LE, CH_UNIX, src, src_len, dest, dest_len, True);
        if (ret == (size_t)-1) {
-               return 0;
+               ret = 0;
+               dest_len = 0;
        }
 
        if (src_len == (size_t)-1)
                src_len = ret*2;
-               
-       if (dest_len)
-               dest[MIN(ret, dest_len-1)] = 0;
-       else 
+
+       if (dest_len && ret) {
+               /* Did we already process the terminating zero ? */
+               if (dest[MIN(ret-1, dest_len-1)] != 0) {
+                       dest[MIN(ret, dest_len-1)] = 0;
+               }
+       } else {
                dest[0] = 0;
+       }
 
        return src_len;
 }
 
-size_t pull_ucs2_pstring(char *dest, const void *src)
+/**
+ Copy a string from a ucs2 source to a unix char* destination.
+ Talloc version with a base pointer.
+ Uses malloc if TALLOC_CTX is NULL (this is a bad interface and
+ needs fixing. JRA).
+ Flags can have:
+  STR_TERMINATE means the string in src is null terminated.
+  STR_NOALIGN   means don't try to align.
+ if STR_TERMINATE is set then src_len is ignored if it is -1.
+ src_len is the length of the source area in bytes
+ Return the number of bytes occupied by the string in src.
+ The resulting string in "dest" is always null terminated.
+**/
+
+size_t pull_ucs2_base_talloc(TALLOC_CTX *ctx,
+                       const void *base_ptr,
+                       char **ppdest,
+                       const void *src,
+                       size_t src_len,
+                       int flags)
 {
-       return pull_ucs2(NULL, dest, src, sizeof(pstring), -1, STR_TERMINATE);
+       char *dest;
+       size_t dest_len;
+
+       *ppdest = NULL;
+
+#ifdef DEVELOPER
+       /* Ensure we never use the braindead "malloc" varient. */
+       if (ctx == NULL) {
+               smb_panic("NULL talloc CTX in pull_ucs2_base_talloc\n");
+       }
+#endif
+
+       if (!src_len) {
+               return 0;
+       }
+
+       if (ucs2_align(base_ptr, src, flags)) {
+               src = (const void *)((const char *)src + 1);
+               if (src_len != (size_t)-1)
+                       src_len--;
+       }
+
+       if (flags & STR_TERMINATE) {
+               /* src_len -1 is the default for null terminated strings. */
+               if (src_len != (size_t)-1) {
+                       size_t len = strnlen_w((const smb_ucs2_t *)src,
+                                               src_len/2);
+                       if (len < src_len/2)
+                               len++;
+                       src_len = len*2;
+               } else {
+                       /*
+                        * src_len == -1 - alloc interface won't take this
+                        * so we must calculate.
+                        */
+                       src_len = (strlen_w((const smb_ucs2_t *)src)+1)*sizeof(smb_ucs2_t);
+               }
+               /* Ensure we don't use an insane length from the client. */
+               if (src_len >= 1024*1024) {
+                       smb_panic("Bad src length in pull_ucs2_base_talloc\n");
+               }
+       } else {
+               /* Can't have an unlimited length
+                * non STR_TERMINATE'd.
+                */
+               if (src_len == (size_t)-1) {
+                       errno = EINVAL;
+                       return 0;
+               }
+       }
+
+       /* src_len != -1 here. */
+
+       /* ucs2 is always a multiple of 2 bytes */
+       src_len &= ~1;
+
+       if (!convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, src, src_len,
+                                  (void *)&dest, &dest_len, True)) {
+               dest_len = 0;
+       }
+
+       if (dest_len) {
+               /* Did we already process the terminating zero ? */
+               if (dest[dest_len-1] != 0) {
+                       size_t size = talloc_get_size(dest);
+                       /* Have we got space to append the '\0' ? */
+                       if (size <= dest_len) {
+                               /* No, realloc. */
+                               dest = TALLOC_REALLOC_ARRAY(ctx, dest, char,
+                                               dest_len+1);
+                               if (!dest) {
+                                       /* talloc fail. */
+                                       dest_len = (size_t)-1;
+                                       return 0;
+                               }
+                       }
+                       /* Yay - space ! */
+                       dest[dest_len] = '\0';
+                       dest_len++;
+               }
+       } else if (dest) {
+               dest[0] = 0;
+       }
+
+       *ppdest = dest;
+       return src_len;
 }
 
 size_t pull_ucs2_fstring(char *dest, const void *src)
@@ -1212,62 +1502,105 @@ size_t pull_ucs2_fstring(char *dest, const void *src)
  * Copy a string from a UCS2 src to a unix char * destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_ucs2_talloc(TALLOC_CTX *ctx, char **dest, const smb_ucs2_t *src)
+bool pull_ucs2_talloc(TALLOC_CTX *ctx, char **dest, const smb_ucs2_t *src,
+                     size_t *converted_size)
 {
        size_t src_len = (strlen_w(src)+1) * sizeof(smb_ucs2_t);
+
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_UCS2, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_UTF16LE, CH_UNIX, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 /**
- * Copy a string from a UCS2 src to a unix char * destination, allocating a buffer
+ * Copy a string from a UTF-8 src to a unix char * destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_ucs2_allocate(char **dest, const smb_ucs2_t *src)
+bool pull_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
+                     size_t *converted_size)
 {
-       size_t src_len = (strlen_w(src)+1) * sizeof(smb_ucs2_t);
+       size_t src_len = strlen(src)+1;
+
        *dest = NULL;
-       return convert_string_allocate(NULL, CH_UCS2, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_UTF8, CH_UNIX, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 /**
- * Copy a string from a UTF-8 src to a unix char * destination, allocating a buffer using talloc
+ * Copy a string from a DOS src to a unix char * destination, allocating a buffer using talloc
  *
  * @param dest always set at least to NULL 
+ * @parm converted_size set to the number of bytes occupied by the string in
+ * the destination on success.
  *
- * @returns The number of bytes occupied by the string in the destination
+ * @return true if new buffer was correctly allocated, and string was
+ * converted.
  **/
 
-size_t pull_utf8_talloc(TALLOC_CTX *ctx, char **dest, const char *src)
+bool pull_ascii_talloc(TALLOC_CTX *ctx, char **dest, const char *src,
+                      size_t *converted_size)
 {
        size_t src_len = strlen(src)+1;
+
        *dest = NULL;
-       return convert_string_talloc(ctx, CH_UTF8, CH_UNIX, src, src_len, (void **)dest, True);
+       return convert_string_talloc(ctx, CH_DOS, CH_UNIX, src, src_len,
+                                    (void **)dest, converted_size, True);
 }
 
 /**
- * Copy a string from a UTF-8 src to a unix char * destination, allocating a buffer
- *
- * @param dest always set at least to NULL 
- *
- * @returns The number of bytes occupied by the string in the destination
- **/
+ Copy a string from a char* src to a unicode or ascii
+ dos codepage destination choosing unicode or ascii based on the 
+ flags supplied
+ Return the number of bytes occupied by the string in the destination.
+ flags can have:
+  STR_TERMINATE means include the null termination.
+  STR_UPPER     means uppercase in the destination.
+  STR_ASCII     use ascii even with unicode packet.
+  STR_NOALIGN   means don't do alignment.
+ dest_len is the maximum length allowed in the destination. If dest_len
+ is -1 then no maxiumum is used.
+**/
 
-size_t pull_utf8_allocate(char **dest, const char *src)
+size_t push_string_check_fn(const char *function, unsigned int line,
+                           void *dest, const char *src,
+                           size_t dest_len, int flags)
 {
-       size_t src_len = strlen(src)+1;
-       *dest = NULL;
-       return convert_string_allocate(NULL, CH_UTF8, CH_UNIX, src, src_len, (void **)dest, True);
+#ifdef DEVELOPER
+       /* We really need to zero fill here, not clobber
+        * region, as we want to ensure that valgrind thinks
+        * all of the outgoing buffer has been written to
+        * so a send() or write() won't trap an error.
+        * JRA.
+        */
+#if 0
+       clobber_region(function, line, dest, dest_len);
+#else
+       memset(dest, '\0', dest_len);
+#endif
+#endif
+
+       if (!(flags & STR_ASCII) && (flags & STR_UNICODE)) {
+               return push_ucs2(NULL, dest, src, dest_len, flags);
+       }
+       return push_ascii(dest, src, dest_len, flags);
 }
+
+
 /**
  Copy a string from a char* src to a unicode or ascii
  dos codepage destination choosing unicode or ascii based on the 
@@ -1282,7 +1615,10 @@ size_t pull_utf8_allocate(char **dest, const char *src)
  is -1 then no maxiumum is used.
 **/
 
-size_t push_string_fn(const char *function, unsigned int line, const void *base_ptr, void *dest, const char *src, size_t dest_len, int flags)
+size_t push_string_base(const char *function, unsigned int line,
+                       const char *base, uint16 flags2, 
+                       void *dest, const char *src,
+                       size_t dest_len, int flags)
 {
 #ifdef DEVELOPER
        /* We really need to zero fill here, not clobber
@@ -1292,22 +1628,58 @@ size_t push_string_fn(const char *function, unsigned int line, const void *base_
         * JRA.
         */
 #if 0
-       if (dest_len != (size_t)-1)
-               clobber_region(function, line, dest, dest_len);
+       clobber_region(function, line, dest, dest_len);
 #else
-       if (dest_len != (size_t)-1)
-               memset(dest, '\0', dest_len);
+       memset(dest, '\0', dest_len);
 #endif
 #endif
 
        if (!(flags & STR_ASCII) && \
            ((flags & STR_UNICODE || \
-             (SVAL(base_ptr, smb_flg2) & FLAGS2_UNICODE_STRINGS)))) {
-               return push_ucs2(base_ptr, dest, src, dest_len, flags);
+             (flags2 & FLAGS2_UNICODE_STRINGS)))) {
+               return push_ucs2(base, dest, src, dest_len, flags);
        }
        return push_ascii(dest, src, dest_len, flags);
 }
 
+/**
+ Copy a string from a char* src to a unicode or ascii
+ dos codepage destination choosing unicode or ascii based on the 
+ flags supplied
+ Return the number of bytes occupied by the string in the destination.
+ flags can have:
+  STR_TERMINATE means include the null termination.
+  STR_UPPER     means uppercase in the destination.
+  STR_ASCII     use ascii even with unicode packet.
+  STR_NOALIGN   means don't do alignment.
+ dest_len is the maximum length allowed in the destination. If dest_len
+ is -1 then no maxiumum is used.
+**/
+
+ssize_t push_string(void *dest, const char *src, size_t dest_len, int flags)
+{
+       size_t ret;
+#ifdef DEVELOPER
+       /* We really need to zero fill here, not clobber
+        * region, as we want to ensure that valgrind thinks
+        * all of the outgoing buffer has been written to
+        * so a send() or write() won't trap an error.
+        * JRA.
+        */
+       memset(dest, '\0', dest_len);
+#endif
+
+       if (!(flags & STR_ASCII) && \
+           (flags & STR_UNICODE)) {
+               ret = push_ucs2(NULL, dest, src, dest_len, flags);
+       } else {
+               ret = push_ascii(dest, src, dest_len, flags);
+       }
+       if (ret == (size_t)-1) {
+               return -1;
+       }
+       return ret;
+}
 
 /**
  Copy a string from a unicode or ascii source (depending on
@@ -1323,21 +1695,81 @@ size_t push_string_fn(const char *function, unsigned int line, const void *base_
  The resulting string in "dest" is always null terminated.
 **/
 
-size_t pull_string_fn(const char *function, unsigned int line, const void *base_ptr, char *dest, const void *src, size_t dest_len, size_t src_len, int flags)
+size_t pull_string_fn(const char *function,
+                       unsigned int line,
+                       const void *base_ptr,
+                       uint16 smb_flags2,
+                       char *dest,
+                       const void *src,
+                       size_t dest_len,
+                       size_t src_len,
+                       int flags)
 {
 #ifdef DEVELOPER
-       if (dest_len != (size_t)-1)
-               clobber_region(function, line, dest, dest_len);
+       clobber_region(function, line, dest, dest_len);
 #endif
 
+       if ((base_ptr == NULL) && ((flags & (STR_ASCII|STR_UNICODE)) == 0)) {
+               smb_panic("No base ptr to get flg2 and neither ASCII nor "
+                         "UNICODE defined");
+       }
+
        if (!(flags & STR_ASCII) && \
            ((flags & STR_UNICODE || \
-             (SVAL(base_ptr, smb_flg2) & FLAGS2_UNICODE_STRINGS)))) {
+             (smb_flags2 & FLAGS2_UNICODE_STRINGS)))) {
                return pull_ucs2(base_ptr, dest, src, dest_len, src_len, flags);
        }
        return pull_ascii(dest, src, dest_len, src_len, flags);
 }
 
+/**
+ Copy a string from a unicode or ascii source (depending on
+ the packet flags) to a char* destination.
+ Variant that uses talloc.
+ Flags can have:
+  STR_TERMINATE means the string in src is null terminated.
+  STR_UNICODE   means to force as unicode.
+  STR_ASCII     use ascii even with unicode packet.
+  STR_NOALIGN   means don't do alignment.
+ if STR_TERMINATE is set then src_len is ignored is it is -1
+ src_len is the length of the source area in bytes.
+ Return the number of bytes occupied by the string in src.
+ The resulting string in "dest" is always null terminated.
+**/
+
+size_t pull_string_talloc_fn(const char *function,
+                       unsigned int line,
+                       TALLOC_CTX *ctx,
+                       const void *base_ptr,
+                       uint16 smb_flags2,
+                       char **ppdest,
+                       const void *src,
+                       size_t src_len,
+                       int flags)
+{
+       if ((base_ptr == NULL) && ((flags & (STR_ASCII|STR_UNICODE)) == 0)) {
+               smb_panic("No base ptr to get flg2 and neither ASCII nor "
+                         "UNICODE defined");
+       }
+
+       if (!(flags & STR_ASCII) && \
+           ((flags & STR_UNICODE || \
+             (smb_flags2 & FLAGS2_UNICODE_STRINGS)))) {
+               return pull_ucs2_base_talloc(ctx,
+                                       base_ptr,
+                                       ppdest,
+                                       src,
+                                       src_len,
+                                       flags);
+       }
+       return pull_ascii_base_talloc(ctx,
+                                       ppdest,
+                                       src,
+                                       src_len,
+                                       flags);
+}
+
+
 size_t align_string(const void *base_ptr, const char *p, int flags)
 {
        if (!(flags & STR_ASCII) && \
@@ -1348,33 +1780,146 @@ size_t align_string(const void *base_ptr, const char *p, int flags)
        return 0;
 }
 
-/****************************************************************
- Calculate the size (in bytes) of the next multibyte character in
- our internal character set. Note that p must be pointing to a
- valid mb char, not within one.
-****************************************************************/
+/*
+  Return the unicode codepoint for the next multi-byte CH_UNIX character
+  in the string. The unicode codepoint (codepoint_t) is an unsinged 32 bit value.
+
+  Also return the number of bytes consumed (which tells the caller
+  how many bytes to skip to get to the next CH_UNIX character).
+
+  Return INVALID_CODEPOINT if the next character cannot be converted.
+*/
 
-size_t next_mb_char_size(const char *s)
+codepoint_t next_codepoint(const char *str, size_t *size)
 {
-       size_t i;
+       /* It cannot occupy more than 4 bytes in UTF16 format */
+       uint8_t buf[4];
+       smb_iconv_t descriptor;
+       size_t ilen_orig;
+       size_t ilen;
+       size_t olen;
+       char *outbuf;
+
+       if ((str[0] & 0x80) == 0) {
+               *size = 1;
+               return (codepoint_t)str[0];
+       }
 
-       if (!(*s & 0x80))
-               return 1; /* ascii. */
+       /* We assume that no multi-byte character can take
+          more than 5 bytes. This is OK as we only
+          support codepoints up to 1M */
 
-       conv_silent = True;
-       for ( i = 1; i <=4; i++ ) {
-               smb_ucs2_t uc;
-               if (convert_string(CH_UNIX, CH_UCS2, s, i, &uc, 2, False) == 2) {
-#if 0 /* JRATEST */
-                       DEBUG(10,("next_mb_char_size: size %u at string %s\n",
-                               (unsigned int)i, s));
-#endif
-                       conv_silent = False;
-                       return i;
+       ilen_orig = strnlen(str, 5);
+       ilen = ilen_orig;
+
+        lazy_initialize_conv();
+
+        descriptor = conv_handles[CH_UNIX][CH_UTF16LE];
+       if (descriptor == (smb_iconv_t)-1 || descriptor == (smb_iconv_t)0) {
+               *size = 1;
+               return INVALID_CODEPOINT;
+       }
+
+       /* This looks a little strange, but it is needed to cope
+          with codepoints above 64k which are encoded as per RFC2781. */
+       olen = 2;
+       outbuf = (char *)buf;
+       smb_iconv(descriptor, &str, &ilen, &outbuf, &olen);
+       if (olen == 2) {
+               /* We failed to convert to a 2 byte character.
+                  See if we can convert to a 4 UTF16-LE byte char encoding.
+               */
+               olen = 4;
+               outbuf = (char *)buf;
+               smb_iconv(descriptor,  &str, &ilen, &outbuf, &olen);
+               if (olen == 4) {
+                       /* We didn't convert any bytes */
+                       *size = 1;
+                       return INVALID_CODEPOINT;
                }
+               olen = 4 - olen;
+       } else {
+               olen = 2 - olen;
        }
-       /* We're hosed - we don't know how big this is... */
-       DEBUG(10,("next_mb_char_size: unknown size at string %s\n", s));
-       conv_silent = False;
-       return 1;
+
+       *size = ilen_orig - ilen;
+
+       if (olen == 2) {
+               /* 2 byte, UTF16-LE encoded value. */
+               return (codepoint_t)SVAL(buf, 0);
+       }
+       if (olen == 4) {
+               /* Decode a 4 byte UTF16-LE character manually.
+                  See RFC2871 for the encoding machanism.
+               */
+               codepoint_t w1 = SVAL(buf,0) & ~0xD800;
+               codepoint_t w2 = SVAL(buf,2) & ~0xDC00;
+
+               return (codepoint_t)0x10000 +
+                               (w1 << 10) + w2;
+       }
+
+       /* no other length is valid */
+       return INVALID_CODEPOINT;
+}
+
+/*
+  push a single codepoint into a CH_UNIX string the target string must
+  be able to hold the full character, which is guaranteed if it is at
+  least 5 bytes in size. The caller may pass less than 5 bytes if they
+  are sure the character will fit (for example, you can assume that
+  uppercase/lowercase of a character will not add more than 1 byte)
+
+  return the number of bytes occupied by the CH_UNIX character, or
+  -1 on failure
+*/
+_PUBLIC_ ssize_t push_codepoint(char *str, codepoint_t c)
+{
+       smb_iconv_t descriptor;
+       uint8_t buf[4];
+       size_t ilen, olen;
+       const char *inbuf;
+       
+       if (c < 128) {
+               *str = c;
+               return 1;
+       }
+
+       lazy_initialize_conv();
+
+       descriptor = conv_handles[CH_UNIX][CH_UTF16LE];
+       if (descriptor == (smb_iconv_t)-1 || descriptor == (smb_iconv_t)0) {
+               return -1;
+       }
+
+       if (c < 0x10000) {
+               ilen = 2;
+               olen = 5;
+               inbuf = (char *)buf;
+               SSVAL(buf, 0, c);
+               smb_iconv(descriptor, &inbuf, &ilen, &str, &olen);
+               if (ilen != 0) {
+                       return -1;
+               }
+               return 5 - olen;
+       }
+
+       c -= 0x10000;
+
+       buf[0] = (c>>10) & 0xFF;
+       buf[1] = (c>>18) | 0xd8;
+       buf[2] = c & 0xFF;
+       buf[3] = ((c>>8) & 0x3) | 0xdc;
+
+       ilen = 4;
+       olen = 5;
+       inbuf = (char *)buf;
+
+       smb_iconv(descriptor, &inbuf, &ilen, &str, &olen);
+       if (ilen != 0) {
+               return -1;
+       }
+       return 5 - olen;
 }
+
+