r13622: Allow to rename machine accounts in a Samba Domain. This still uses the
[jra/samba/.git] / source / lib / util_str.c
index e2f9f19f581425c41e2af229a2ebd212c07256b4..e799556cd1ebb6ad87208561b429f38979331b7b 100644 (file)
  **/
 BOOL next_token(const char **ptr,char *buff, const char *sep, size_t bufsize)
 {
-       const char *s;
+       char *s;
+       char *pbuf;
        BOOL quoted;
        size_t len=1;
 
        if (!ptr)
                return(False);
 
-       s = *ptr;
+       s = (char *)*ptr;
 
        /* default to simple separators */
        if (!sep)
@@ -59,17 +60,18 @@ BOOL next_token(const char **ptr,char *buff, const char *sep, size_t bufsize)
                return(False);
        
        /* copy over the token */
+       pbuf = buff;
        for (quoted = False; len < bufsize && *s && (quoted || !strchr_m(sep,*s)); s++) {
-               if (*s == '\"') {
+               if ( *s == '\"' ) {
                        quoted = !quoted;
                } else {
                        len++;
-                       *buff++ = *s;
+                       *pbuf++ = *s;
                }
        }
        
        *ptr = (*s) ? s+1 : s;  
-       *buff = 0;
+       *pbuf = 0;
        
        return(True);
 }
@@ -86,7 +88,7 @@ BOOL next_token_nr(const char **ptr,char *buff, const char *sep, size_t bufsize)
 {
        BOOL ret;
        if (!ptr)
-               ptr = (const char **)&last_ptr;
+               ptr = &last_ptr;
 
        ret = next_token(ptr, buff, sep, bufsize);
        last_ptr = *ptr;
@@ -107,7 +109,7 @@ void set_first_token(char *ptr)
 
 char **toktocliplist(int *ctok, const char *sep)
 {
-       char *s=last_ptr;
+       char *s=(char *)last_ptr;
        int ictok=0;
        char **ret, **iret;
 
@@ -130,19 +132,22 @@ char **toktocliplist(int *ctok, const char *sep)
        } while(*s);
        
        *ctok=ictok;
-       s=last_ptr;
+       s=(char *)last_ptr;
        
-       if (!(ret=iret=malloc(ictok*sizeof(char *))))
+       if (!(ret=iret=SMB_MALLOC_ARRAY(char *,ictok+1)))
                return NULL;
        
        while(ictok--) {    
                *iret++=s;
-               while(*s++)
-                       ;
-               while(!*s)
-                       s++;
+               if (ictok > 0) {
+                       while(*s++)
+                               ;
+                       while(!*s)
+                               s++;
+               }
        }
 
+       ret[*ctok] = NULL;
        return ret;
 }
 
@@ -178,8 +183,10 @@ char **toktocliplist(int *ctok, const char *sep)
 int StrCaseCmp(const char *s, const char *t)
 {
 
-       const char * ps, * pt;
-       pstring buf1, buf2;
+       const char *ps, *pt;
+       size_t size;
+       smb_ucs2_t *buffer_s, *buffer_t;
+       int ret;
 
        for (ps = s, pt = t; ; ps++, pt++) {
                char us, ut;
@@ -194,8 +201,8 @@ int StrCaseCmp(const char *s, const char *t)
                        /* not ascii anymore, do it the hard way from here on in */
                        break;
 
-               us = toupper(*ps);
-               ut = toupper(*pt);
+               us = toupper_ascii(*ps);
+               ut = toupper_ascii(*pt);
                if (us == ut)
                        continue;
                else if (us < ut)
@@ -204,16 +211,25 @@ int StrCaseCmp(const char *s, const char *t)
                        return +1;
        }
 
-       /* TODO: Don't do this with a fixed-length buffer.  This could
-        * still be much more efficient. */
-       /* TODO: Hardcode a char-by-char comparison for UTF-8, which
-        * can be much faster. */
-       /* TODO: Test case for this! */
-
-       unix_strupper(ps, strlen(ps)+1, buf1, sizeof(buf1));
-       unix_strupper(pt, strlen(pt)+1, buf2, sizeof(buf2));
-
-       return strcmp(buf1, buf2);
+       size = push_ucs2_allocate(&buffer_s, ps);
+       if (size == (size_t)-1) {
+               return strcmp(ps, pt); 
+               /* Not quite the right answer, but finding the right one
+                  under this failure case is expensive, and it's pretty close */
+       }
+       
+       size = push_ucs2_allocate(&buffer_t, pt);
+       if (size == (size_t)-1) {
+               SAFE_FREE(buffer_s);
+               return strcmp(ps, pt); 
+               /* Not quite the right answer, but finding the right one
+                  under this failure case is expensive, and it's pretty close */
+       }
+       
+       ret = strcasecmp_w(buffer_s, buffer_t);
+       SAFE_FREE(buffer_s);
+       SAFE_FREE(buffer_t);
+       return ret;
 }
 
 
@@ -250,12 +266,12 @@ BOOL strequal(const char *s1, const char *s2)
  **/
 BOOL strnequal(const char *s1,const char *s2,size_t n)
 {
-  if (s1 == s2)
-         return(True);
-  if (!s1 || !s2 || !n)
-         return(False);
+       if (s1 == s2)
+               return(True);
+       if (!s1 || !s2 || !n)
+               return(False);
   
-  return(StrnCaseCmp(s1,s2,n)==0);
+       return(StrnCaseCmp(s1,s2,n)==0);
 }
 
 /**
@@ -264,12 +280,12 @@ BOOL strnequal(const char *s1,const char *s2,size_t n)
 
 BOOL strcsequal(const char *s1,const char *s2)
 {
-  if (s1 == s2)
-         return(True);
-  if (!s1 || !s2)
-         return(False);
+       if (s1 == s2)
+               return(True);
+       if (!s1 || !s2)
+               return(False);
   
-  return(strcmp(s1,s2)==0);
+       return(strcmp(s1,s2)==0);
 }
 
 /**
@@ -293,7 +309,7 @@ int strwicmp(const char *psz1, const char *psz2)
                        psz1++;
                while (isspace((int)*psz2))
                        psz2++;
-               if (toupper(*psz1) != toupper(*psz2) || *psz1 == '\0'
+               if (toupper_ascii(*psz1) != toupper_ascii(*psz2) || *psz1 == '\0'
                    || *psz2 == '\0')
                        break;
                psz1++;
@@ -312,7 +328,7 @@ char *strupper_static(const char *s)
        static pstring str;
 
        pstrcpy(str, s);
-       strupper(str);
+       strupper_m(str);
 
        return str;
 }
@@ -321,22 +337,20 @@ char *strupper_static(const char *s)
  Convert a string to "normal" form.
 **/
 
-void strnorm(char *s)
+void strnorm(char *s, int case_default)
 {
-       extern int case_default;
        if (case_default == CASE_UPPER)
-               strupper(s);
+               strupper_m(s);
        else
-               strlower(s);
+               strlower_m(s);
 }
 
 /**
  Check if a string is in "normal" case.
 **/
 
-BOOL strisnormal(const char *s)
+BOOL strisnormal(const char *s, int case_default)
 {
-       extern int case_default;
        if (case_default == CASE_UPPER)
                return(!strhaslower(s));
        
@@ -349,11 +363,33 @@ BOOL strisnormal(const char *s)
  NOTE: oldc and newc must be 7 bit characters
 **/
 
-void string_replace(char *s,char oldc,char newc)
+void string_replace( pstring s, char oldc, char newc )
 {
-       push_ucs2(NULL, tmpbuf,s, sizeof(tmpbuf), STR_TERMINATE);
+       char *p;
+
+       /* this is quite a common operation, so we want it to be
+          fast. We optimise for the ascii case, knowing that all our
+          supported multi-byte character sets are ascii-compatible
+          (ie. they match for the first 128 chars) */
+
+       for (p = s; *p; p++) {
+               if (*p & 0x80) /* mb string - slow path. */
+                       break;
+               if (*p == oldc)
+                       *p = newc;
+       }
+
+       if (!*p)
+               return;
+
+       /* Slow (mb) path. */
+#ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
+       /* With compose characters we must restart from the beginning. JRA. */
+       p = s;
+#endif
+       push_ucs2(NULL, tmpbuf, p, sizeof(tmpbuf), STR_TERMINATE);
        string_replace_w(tmpbuf, UCS2_CHAR(oldc), UCS2_CHAR(newc));
-       pull_ucs2(NULL, s, tmpbuf, -1, sizeof(tmpbuf), STR_TERMINATE);
+       pull_ucs2(NULL, p, tmpbuf, -1, sizeof(tmpbuf), STR_TERMINATE);
 }
 
 /**
@@ -393,6 +429,59 @@ size_t str_ascii_charnum(const char *s)
        return strlen(tmpbuf2);
 }
 
+BOOL trim_char(char *s,char cfront,char cback)
+{
+       BOOL ret = False;
+       char *ep;
+       char *fp = s;
+
+       /* Ignore null or empty strings. */
+       if (!s || (s[0] == '\0'))
+               return False;
+
+       if (cfront) {
+               while (*fp && *fp == cfront)
+                       fp++;
+               if (!*fp) {
+                       /* We ate the string. */
+                       s[0] = '\0';
+                       return True;
+               }
+               if (fp != s)
+                       ret = True;
+       }
+
+       ep = fp + strlen(fp) - 1;
+       if (cback) {
+               /* Attempt ascii only. Bail for mb strings. */
+               while ((ep >= fp) && (*ep == cback)) {
+                       ret = True;
+                       if ((ep > fp) && (((unsigned char)ep[-1]) & 0x80)) {
+                               /* Could be mb... bail back to tim_string. */
+                               char fs[2], bs[2];
+                               if (cfront) {
+                                       fs[0] = cfront;
+                                       fs[1] = '\0';
+                               }
+                               bs[0] = cback;
+                               bs[1] = '\0';
+                               return trim_string(s, cfront ? fs : NULL, bs);
+                       } else {
+                               ep--;
+                       }
+               }
+               if (ep < fp) {
+                       /* We ate the string. */
+                       s[0] = '\0';
+                       return True;
+               }
+       }
+
+       ep[1] = '\0';
+       memmove(s, fp, ep-fp+2);
+       return ret;
+}
+
 /**
  Trim the specified elements off the front and back of a string.
 **/
@@ -415,7 +504,9 @@ BOOL trim_string(char *s,const char *front,const char *back)
 
        if (front_len) {
                while (len && strncmp(s, front, front_len)==0) {
-                       memcpy(s, s+front_len, (len-front_len)+1);
+                       /* Must use memmove here as src & dest can
+                        * easily overlap. Found by valgrind. JRA. */
+                       memmove(s, s+front_len, (len-front_len)+1);
                        len -= front_len;
                        ret=True;
                }
@@ -467,10 +558,17 @@ size_t count_chars(const char *s,char c)
 {
        smb_ucs2_t *ptr;
        int count;
-       push_ucs2(NULL, tmpbuf,s, sizeof(tmpbuf), STR_TERMINATE);
-       for(count=0,ptr=tmpbuf;*ptr;ptr++)
+       smb_ucs2_t *alloc_tmpbuf = NULL;
+
+       if (push_ucs2_allocate(&alloc_tmpbuf, s) == (size_t)-1) {
+               return 0;
+       }
+
+       for(count=0,ptr=alloc_tmpbuf;*ptr;ptr++)
                if(*ptr==UCS2_CHAR(c))
                        count++;
+
+       SAFE_FREE(alloc_tmpbuf);
        return(count);
 }
 
@@ -484,11 +582,13 @@ char *safe_strcpy_fn(const char *fn, int line, char *dest,const char *src, size_
        size_t len;
 
        if (!dest) {
-               DEBUG(0,("ERROR: NULL dest in safe_strcpy\n"));
+               DEBUG(0,("ERROR: NULL dest in safe_strcpy, called from [%s][%d]\n", fn, line));
                return NULL;
        }
 
+#ifdef DEVELOPER
        clobber_region(fn,line,dest, maxlength+1);
+#endif
 
        if (!src) {
                *dest = 0;
@@ -498,8 +598,9 @@ char *safe_strcpy_fn(const char *fn, int line, char *dest,const char *src, size_
        len = strnlen(src, maxlength+1);
 
        if (len > maxlength) {
-               DEBUG(0,("ERROR: string overflow by %u (%u - %u) in safe_strcpy [%.50s]\n",
-                        (unsigned int)(len-maxlength), len, maxlength, src));
+               DEBUG(0,("ERROR: string overflow by %lu (%lu - %lu) in safe_strcpy [%.50s]\n",
+                        (unsigned long)(len-maxlength), (unsigned long)len, 
+                        (unsigned long)maxlength, src));
                len = maxlength;
        }
       
@@ -517,7 +618,7 @@ char *safe_strcat_fn(const char *fn, int line, char *dest, const char *src, size
        size_t src_len, dest_len;
 
        if (!dest) {
-               DEBUG(0,("ERROR: NULL dest in safe_strcat\n"));
+               DEBUG(0,("ERROR: NULL dest in safe_strcat, called from [%s][%d]\n", fn, line));
                return NULL;
        }
 
@@ -527,7 +628,9 @@ char *safe_strcat_fn(const char *fn, int line, char *dest, const char *src, size
        src_len = strnlen(src, maxlength + 1);
        dest_len = strnlen(dest, maxlength + 1);
 
+#ifdef DEVELOPER
        clobber_region(fn, line, dest + dest_len, maxlength + 1 - dest_len);
+#endif
 
        if (src_len + dest_len > maxlength) {
                DEBUG(0,("ERROR: string overflow by %d in safe_strcat [%.50s]\n",
@@ -554,10 +657,12 @@ char *alpha_strcpy_fn(const char *fn, int line, char *dest, const char *src, con
 {
        size_t len, i;
 
+#ifdef DEVELOPER
        clobber_region(fn, line, dest, maxlength);
+#endif
 
        if (!dest) {
-               DEBUG(0,("ERROR: NULL dest in alpha_strcpy\n"));
+               DEBUG(0,("ERROR: NULL dest in alpha_strcpy, called from [%s][%d]\n", fn, line));
                return NULL;
        }
 
@@ -575,7 +680,7 @@ char *alpha_strcpy_fn(const char *fn, int line, char *dest, const char *src, con
 
        for(i = 0; i < len; i++) {
                int val = (src[i] & 0xff);
-               if (isupper(val) || islower(val) || isdigit(val) || strchr_m(other_safe_chars, val))
+               if (isupper_ascii(val) || islower_ascii(val) || isdigit(val) || strchr_m(other_safe_chars, val))
                        dest[i] = src[i];
                else
                        dest[i] = '_';
@@ -594,11 +699,15 @@ char *StrnCpy_fn(const char *fn, int line,char *dest,const char *src,size_t n)
 {
        char *d = dest;
 
+#ifdef DEVELOPER
        clobber_region(fn, line, dest, n+1);
+#endif
 
-       if (!dest)
+       if (!dest) {
+               DEBUG(0,("ERROR: NULL dest in StrnCpy, called from [%s][%d]\n", fn, line));
                return(NULL);
-       
+       }
+
        if (!src) {
                *dest = 0;
                return(dest);
@@ -624,8 +733,9 @@ static char *strncpyn(char *dest, const char *src, size_t n, char c)
        char *p;
        size_t str_len;
 
+#ifdef DEVELOPER
        clobber_region(dest, n+1);
-
+#endif
        p = strchr_m(src, c);
        if (p == NULL) {
                DEBUG(5, ("strncpyn: separator character (%c) not found\n", c));
@@ -664,12 +774,12 @@ size_t strhex_to_str(char *p, size_t len, const char *strhex)
                        continue;
                }
 
-               if (!(p1 = strchr_m(hexchars, toupper(strhex[i]))))
+               if (!(p1 = strchr_m(hexchars, toupper_ascii(strhex[i]))))
                        break;
 
                i++; /* next hex digit */
 
-               if (!(p2 = strchr_m(hexchars, toupper(strhex[i]))))
+               if (!(p2 = strchr_m(hexchars, toupper_ascii(strhex[i]))))
                        break;
 
                /* get the two nybbles */
@@ -685,27 +795,44 @@ size_t strhex_to_str(char *p, size_t len, const char *strhex)
        return num_chars;
 }
 
+DATA_BLOB strhex_to_data_blob(TALLOC_CTX *mem_ctx, const char *strhex) 
+{
+       DATA_BLOB ret_blob;
+
+       if (mem_ctx != NULL)
+               ret_blob = data_blob_talloc(mem_ctx, NULL, strlen(strhex)/2+1);
+       else
+               ret_blob = data_blob(NULL, strlen(strhex)/2+1);
+
+       ret_blob.length = strhex_to_str((char*)ret_blob.data,   
+                                       strlen(strhex), 
+                                       strhex);
+
+       return ret_blob;
+}
+
 /**
  * Routine to print a buffer as HEX digits, into an allocated string.
  */
 
-void hex_encode(const unsigned char *buff_in, size_t len, char **out_hex_buffer)
+char *hex_encode(TALLOC_CTX *mem_ctx, const unsigned char *buff_in, size_t len)
 {
        int i;
        char *hex_buffer;
 
-       *out_hex_buffer = smb_xmalloc((len*2)+1);
-       hex_buffer = *out_hex_buffer;
+       hex_buffer = TALLOC_ARRAY(mem_ctx, char, (len*2)+1);
 
        for (i = 0; i < len; i++)
                slprintf(&hex_buffer[i*2], 3, "%02X", buff_in[i]);
+
+       return hex_buffer;
 }
 
 /**
  Check if a string is part of a list.
 **/
 
-BOOL in_list(char *s,char *list,BOOL casesensitive)
+BOOL in_list(const char *s, const char *list, BOOL casesensitive)
 {
        pstring tok;
        const char *p=list;
@@ -742,7 +869,7 @@ static BOOL string_init(char **dest,const char *src)
 
        if (l == 0) {
                if (!null_string) {
-                       if((null_string = (char *)malloc(1)) == NULL) {
+                       if((null_string = (char *)SMB_MALLOC(1)) == NULL) {
                                DEBUG(0,("string_init: malloc fail for null_string.\n"));
                                return False;
                        }
@@ -750,7 +877,7 @@ static BOOL string_init(char **dest,const char *src)
                }
                *dest = null_string;
        } else {
-               (*dest) = strdup(src);
+               (*dest) = SMB_STRDUP(src);
                if ((*dest) == NULL) {
                        DEBUG(0,("Out of memory in string_init\n"));
                        return False;
@@ -788,14 +915,15 @@ BOOL string_set(char **dest,const char *src)
  enough room!
 
  This routine looks for pattern in s and replaces it with 
- insert. It may do multiple replacements.
+ insert. It may do multiple replacements or just one.
 
  Any of " ; ' $ or ` in the insert string are replaced with _
  if len==0 then the string cannot be extended. This is different from the old
  use of len==0 which was for no length checks to be done.
 **/
 
-void string_sub(char *s,const char *pattern, const char *insert, size_t len)
+void string_sub2(char *s,const char *pattern, const char *insert, size_t len, 
+                BOOL remove_unsafe_characters, BOOL replace_once, BOOL allow_trailing_dollar)
 {
        char *p;
        ssize_t ls,lp,li, i;
@@ -810,7 +938,7 @@ void string_sub(char *s,const char *pattern, const char *insert, size_t len)
        if (len == 0)
                len = ls + 1; /* len is number of *bytes* */
 
-       while (lp <= ls && (p = strstr(s,pattern))) {
+       while (lp <= ls && (p = strstr_m(s,pattern))) {
                if (ls + (li-lp) >= len) {
                        DEBUG(0,("ERROR: string overflow by %d in string_sub(%.50s, %d)\n", 
                                 (int)(ls + (li-lp) - len),
@@ -827,20 +955,42 @@ void string_sub(char *s,const char *pattern, const char *insert, size_t len)
                        case '\'':
                        case ';':
                        case '$':
+                               /* allow a trailing $ (as in machine accounts) */
+                               if (allow_trailing_dollar && (i == li - 1 )) {
+                                       p[i] = insert[i];
+                                       break;
+                               }
                        case '%':
                        case '\r':
                        case '\n':
-                               p[i] = '_';
-                               break;
+                               if ( remove_unsafe_characters ) {
+                                       p[i] = '_';
+                                       /* yes this break should be here since we want to 
+                                          fall throw if not replacing unsafe chars */
+                                       break;
+                               }
                        default:
                                p[i] = insert[i];
                        }
                }
                s = p + li;
                ls += (li-lp);
+
+               if (replace_once)
+                       break;
        }
 }
 
+void string_sub_once(char *s, const char *pattern, const char *insert, size_t len)
+{
+       string_sub2( s, pattern, insert, len, True, True, False );
+}
+
+void string_sub(char *s,const char *pattern, const char *insert, size_t len)
+{
+       string_sub2( s, pattern, insert, len, True, False, False );
+}
+
 void fstring_sub(char *s,const char *pattern,const char *insert)
 {
        string_sub(s, pattern, insert, sizeof(fstring));
@@ -858,7 +1008,8 @@ void pstring_sub(char *s,const char *pattern,const char *insert)
  as string.
 **/
 
-char *realloc_string_sub(char *string, const char *pattern, const char *insert)
+char *realloc_string_sub(char *string, const char *pattern,
+                        const char *insert)
 {
        char *p, *in;
        char *s;
@@ -869,7 +1020,7 @@ char *realloc_string_sub(char *string, const char *pattern, const char *insert)
 
        s = string;
 
-       in = strdup(insert);
+       in = SMB_STRDUP(insert);
        if (!in) {
                DEBUG(0, ("realloc_string_sub: out of memory!\n"));
                return NULL;
@@ -895,16 +1046,88 @@ char *realloc_string_sub(char *string, const char *pattern, const char *insert)
                }
        }
        
-       while ((p = strstr(s,pattern))) {
+       while ((p = strstr_m(s,pattern))) {
                if (ld > 0) {
-                       char *t = Realloc(string, ls + ld + 1);
+                       int offset = PTR_DIFF(s,string);
+                       char *t = SMB_REALLOC(string, ls + ld + 1);
                        if (!t) {
                                DEBUG(0, ("realloc_string_sub: out of memory!\n"));
                                SAFE_FREE(in);
                                return NULL;
                        }
                        string = t;
-                       p = t + (p - s);
+                       p = t + offset + (p - s);
+               }
+               if (li != lp) {
+                       memmove(p+li,p+lp,strlen(p+lp)+1);
+               }
+               memcpy(p, in, li);
+               s = p + li;
+               ls += ld;
+       }
+       SAFE_FREE(in);
+       return string;
+}
+
+/* Same as string_sub, but returns a talloc'ed string */
+
+char *talloc_string_sub(TALLOC_CTX *mem_ctx, const char *src,
+                       const char *pattern, const char *insert)
+{
+       char *p, *in;
+       char *s;
+       char *string;
+       ssize_t ls,lp,li,ld, i;
+
+       if (!insert || !pattern || !*pattern || !src || !*src)
+               return NULL;
+
+       string = talloc_strdup(mem_ctx, src);
+       if (string == NULL) {
+               DEBUG(0, ("talloc_strdup failed\n"));
+               return NULL;
+       }
+
+       s = string;
+
+       in = SMB_STRDUP(insert);
+       if (!in) {
+               DEBUG(0, ("talloc_string_sub: out of memory!\n"));
+               return NULL;
+       }
+       ls = (ssize_t)strlen(s);
+       lp = (ssize_t)strlen(pattern);
+       li = (ssize_t)strlen(insert);
+       ld = li - lp;
+       for (i=0;i<li;i++) {
+               switch (in[i]) {
+                       case '`':
+                       case '"':
+                       case '\'':
+                       case ';':
+                       case '$':
+                       case '%':
+                       case '\r':
+                       case '\n':
+                               in[i] = '_';
+                       default:
+                               /* ok */
+                               break;
+               }
+       }
+       
+       while ((p = strstr_m(s,pattern))) {
+               if (ld > 0) {
+                       int offset = PTR_DIFF(s,string);
+                       char *t = TALLOC_REALLOC(mem_ctx, string, ls + ld + 1);
+                       if (!t) {
+                               DEBUG(0, ("talloc_string_sub: out of "
+                                         "memory!\n"));
+                               SAFE_FREE(in);
+                               return NULL;
+                       }
+                       string = t;
+                       p = t + offset + (p - s);
                }
                if (li != lp) {
                        memmove(p+li,p+lp,strlen(p+lp)+1);
@@ -942,7 +1165,7 @@ void all_string_sub(char *s,const char *pattern,const char *insert, size_t len)
        if (len == 0)
                len = ls + 1; /* len is number of *bytes* */
        
-       while (lp <= ls && (p = strstr(s,pattern))) {
+       while (lp <= ls && (p = strstr_m(s,pattern))) {
                if (ls + (li-lp) >= len) {
                        DEBUG(0,("ERROR: string overflow by %d in all_string_sub(%.50s, %d)\n", 
                                 (int)(ls + (li-lp) - len),
@@ -988,7 +1211,7 @@ static smb_ucs2_t *all_string_sub_w(const smb_ucs2_t *s, const smb_ucs2_t *patte
                }
        }
 
-       r = rp = (smb_ucs2_t *)malloc((lt + 1)*(sizeof(smb_ucs2_t)));
+       r = rp = SMB_MALLOC_ARRAY(smb_ucs2_t, lt + 1);
        if (!r) {
                DEBUG(0, ("all_string_sub_w: out of memory!\n"));
                return NULL;
@@ -1079,11 +1302,36 @@ char *string_truncate(char *s, unsigned int length)
  We convert via ucs2 for now.
 **/
 
-char *strchr_m(const char *s, char c)
+char *strchr_m(const char *src, char c)
 {
        wpstring ws;
        pstring s2;
        smb_ucs2_t *p;
+       const char *s;
+
+       /* characters below 0x3F are guaranteed to not appear in
+          non-initial position in multi-byte charsets */
+       if ((c & 0xC0) == 0) {
+               return strchr(src, c);
+       }
+
+       /* this is quite a common operation, so we want it to be
+          fast. We optimise for the ascii case, knowing that all our
+          supported multi-byte character sets are ascii-compatible
+          (ie. they match for the first 128 chars) */
+
+       for (s = src; *s && !(((unsigned char)s[0]) & 0x80); s++) {
+               if (*s == c)
+                       return (char *)s;
+       }
+
+       if (!*s)
+               return NULL;
+
+#ifdef BROKEN_UNICODE_COMPOSE_CHARACTERS
+       /* With compose characters we must restart from the beginning. JRA. */
+       s = src;
+#endif
 
        push_ucs2(NULL, ws, s, sizeof(ws), STR_TERMINATE);
        p = strchr_w(ws, UCS2_CHAR(c));
@@ -1095,13 +1343,75 @@ char *strchr_m(const char *s, char c)
 }
 
 char *strrchr_m(const char *s, char c)
+{
+       /* characters below 0x3F are guaranteed to not appear in
+          non-initial position in multi-byte charsets */
+       if ((c & 0xC0) == 0) {
+               return strrchr(s, c);
+       }
+
+       /* this is quite a common operation, so we want it to be
+          fast. We optimise for the ascii case, knowing that all our
+          supported multi-byte character sets are ascii-compatible
+          (ie. they match for the first 128 chars). Also, in Samba
+          we only search for ascii characters in 'c' and that
+          in all mb character sets with a compound character
+          containing c, if 'c' is not a match at position
+          p, then p[-1] > 0x7f. JRA. */
+
+       {
+               size_t len = strlen(s);
+               const char *cp = s;
+               BOOL got_mb = False;
+
+               if (len == 0)
+                       return NULL;
+               cp += (len - 1);
+               do {
+                       if (c == *cp) {
+                               /* Could be a match. Part of a multibyte ? */
+                               if ((cp > s) && (((unsigned char)cp[-1]) & 0x80)) {
+                                       /* Yep - go slow :-( */
+                                       got_mb = True;
+                                       break;
+                               }
+                               /* No - we have a match ! */
+                               return (char *)cp;
+                       }
+               } while (cp-- != s);
+               if (!got_mb)
+                       return NULL;
+       }
+
+       /* String contained a non-ascii char. Slow path. */
+       {
+               wpstring ws;
+               pstring s2;
+               smb_ucs2_t *p;
+
+               push_ucs2(NULL, ws, s, sizeof(ws), STR_TERMINATE);
+               p = strrchr_w(ws, UCS2_CHAR(c));
+               if (!p)
+                       return NULL;
+               *p = 0;
+               pull_ucs2_pstring(s2, ws);
+               return (char *)(s+strlen(s2));
+       }
+}
+
+/***********************************************************************
+ Return the equivalent of doing strrchr 'n' times - always going
+ backwards.
+***********************************************************************/
+
+char *strnrchr_m(const char *s, char c, unsigned int n)
 {
        wpstring ws;
        pstring s2;
        smb_ucs2_t *p;
 
        push_ucs2(NULL, ws, s, sizeof(ws), STR_TERMINATE);
-       p = strrchr_w(ws, UCS2_CHAR(c));
+       p = strnrchr_w(ws, UCS2_CHAR(c), n);
        if (!p)
                return NULL;
        *p = 0;
@@ -1109,19 +1419,103 @@ char *strrchr_m(const char *s, char c)
        return (char *)(s+strlen(s2));
 }
 
+/***********************************************************************
+ strstr_m - We convert via ucs2 for now.
+***********************************************************************/
+
+char *strstr_m(const char *src, const char *findstr)
+{
+       smb_ucs2_t *p;
+       smb_ucs2_t *src_w, *find_w;
+       const char *s;
+       char *s2;
+       char *retp;
+
+       size_t findstr_len = 0;
+
+       /* for correctness */
+       if (!findstr[0]) {
+               return (char*)src;
+       }
+
+       /* Samba does single character findstr calls a *lot*. */
+       if (findstr[1] == '\0')
+               return strchr_m(src, *findstr);
+
+       /* We optimise for the ascii case, knowing that all our
+          supported multi-byte character sets are ascii-compatible
+          (ie. they match for the first 128 chars) */
+
+       for (s = src; *s && !(((unsigned char)s[0]) & 0x80); s++) {
+               if (*s == *findstr) {
+                       if (!findstr_len) 
+                               findstr_len = strlen(findstr);
+
+                       if (strncmp(s, findstr, findstr_len) == 0) {
+                               return (char *)s;
+                       }
+               }
+       }
+
+       if (!*s)
+               return NULL;
+
+#if 1 /* def BROKEN_UNICODE_COMPOSE_CHARACTERS */
+       /* 'make check' fails unless we do this */
+
+       /* With compose characters we must restart from the beginning. JRA. */
+       s = src;
+#endif
+
+       if (push_ucs2_allocate(&src_w, src) == (size_t)-1) {
+               DEBUG(0,("strstr_m: src malloc fail\n"));
+               return NULL;
+       }
+       
+       if (push_ucs2_allocate(&find_w, findstr) == (size_t)-1) {
+               SAFE_FREE(src_w);
+               DEBUG(0,("strstr_m: find malloc fail\n"));
+               return NULL;
+       }
+
+       p = strstr_w(src_w, find_w);
+
+       if (!p) {
+               SAFE_FREE(src_w);
+               SAFE_FREE(find_w);
+               return NULL;
+       }
+       
+       *p = 0;
+       if (pull_ucs2_allocate(&s2, src_w) == (size_t)-1) {
+               SAFE_FREE(src_w);
+               SAFE_FREE(find_w);
+               DEBUG(0,("strstr_m: dest malloc fail\n"));
+               return NULL;
+       }
+       retp = (char *)(s+strlen(s2));
+       SAFE_FREE(src_w);
+       SAFE_FREE(find_w);
+       SAFE_FREE(s2);
+       return retp;
+}
+
 /**
  Convert a string to lower case.
 **/
 
 void strlower_m(char *s)
 {
+       size_t len;
+       int errno_save;
+
        /* this is quite a common operation, so we want it to be
           fast. We optimise for the ascii case, knowing that all our
           supported multi-byte character sets are ascii-compatible
           (ie. they match for the first 128 chars) */
 
-       while (*s && !(((unsigned char)s[0]) & 0x7F)) {
-               *s = tolower((unsigned char)*s);
+       while (*s && !(((unsigned char)s[0]) & 0x80)) {
+               *s = tolower_ascii((unsigned char)*s);
                s++;
        }
 
@@ -1130,22 +1524,14 @@ void strlower_m(char *s)
 
        /* I assume that lowercased string takes the same number of bytes
         * as source string even in UTF-8 encoding. (VIV) */
-       unix_strlower(s,strlen(s)+1,s,strlen(s)+1);     
-}
-
-/**
- Duplicate convert a string to lower case.
-**/
-
-char *strdup_lower(const char *s)
-{
-       char *t = strdup(s);
-       if (t == NULL) {
-               DEBUG(0, ("strdup_lower: Out of memory!\n"));
-               return NULL;
-       }
-       strlower_m(t);
-       return t;
+       len = strlen(s) + 1;
+       errno_save = errno;
+       errno = 0;
+       unix_strlower(s,len,s,len);     
+       /* Catch mb conversion errors that may not terminate. */
+       if (errno)
+               s[len-1] = '\0';
+       errno = errno_save;
 }
 
 /**
@@ -1154,13 +1540,16 @@ char *strdup_lower(const char *s)
 
 void strupper_m(char *s)
 {
+       size_t len;
+       int errno_save;
+
        /* this is quite a common operation, so we want it to be
           fast. We optimise for the ascii case, knowing that all our
           supported multi-byte character sets are ascii-compatible
           (ie. they match for the first 128 chars) */
 
-       while (*s && !(((unsigned char)s[0]) & 0x7F)) {
-               *s = toupper((unsigned char)*s);
+       while (*s && !(((unsigned char)s[0]) & 0x80)) {
+               *s = toupper_ascii((unsigned char)*s);
                s++;
        }
 
@@ -1169,22 +1558,14 @@ void strupper_m(char *s)
 
        /* I assume that lowercased string takes the same number of bytes
         * as source string even in multibyte encoding. (VIV) */
-       unix_strupper(s,strlen(s)+1,s,strlen(s)+1);     
-}
-
-/**
- Convert a string to upper case.
-**/
-
-char *strdup_upper(const char *s)
-{
-       char *t = strdup(s);
-       if (t == NULL) {
-               DEBUG(0, ("strdup_upper: Out of memory!\n"));
-               return NULL;
-       }
-       strupper_m(t);
-       return t;
+       len = strlen(s) + 1;
+       errno_save = errno;
+       errno = 0;
+       unix_strupper(s,len,s,len);     
+       /* Catch mb conversion errors that may not terminate. */
+       if (errno)
+               s[len-1] = '\0';
+       errno = errno_save;
 }
 
 /**
@@ -1198,7 +1579,7 @@ char *binary_string(char *buf, int len)
        char *s;
        int i, j;
        const char *hex = "0123456789ABCDEF";
-       s = malloc(len * 3 + 1);
+       s = SMB_MALLOC(len * 3 + 1);
        if (!s)
                return NULL;
        for (j=i=0;i<len;i++) {
@@ -1226,12 +1607,12 @@ char *binary_string(char *buf, int len)
        return ret;
 }
 
-#if 0
+
 /**
  Just a typesafety wrapper for snprintf into a fstring.
 **/
 
-static int fstr_sprintf(fstring s, const char *fmt, ...)
+int fstr_sprintf(fstring s, const char *fmt, ...)
 {
        va_list ap;
        int ret;
@@ -1241,19 +1622,22 @@ static int fstr_sprintf(fstring s, const char *fmt, ...)
        va_end(ap);
        return ret;
 }
-#endif
 
-#ifndef HAVE_STRNDUP
+
+#if !defined(HAVE_STRNDUP) || defined(BROKEN_STRNDUP)
 /**
  Some platforms don't have strndup.
 **/
+#if defined(PARANOID_MALLOC_CHECKER)
+#undef strndup
+#endif
 
  char *strndup(const char *s, size_t n)
 {
        char *ret;
        
        n = strnlen(s, n);
-       ret = malloc(n+1);
+       ret = SMB_MALLOC(n+1);
        if (!ret)
                return NULL;
        memcpy(ret, s, n);
@@ -1261,17 +1645,22 @@ static int fstr_sprintf(fstring s, const char *fmt, ...)
 
        return ret;
 }
+
+#if defined(PARANOID_MALLOC_CHECKER)
+#define strndup(s,n) __ERROR_DONT_USE_STRNDUP_DIRECTLY
 #endif
 
-#ifndef HAVE_STRNLEN
+#endif
+
+#if !defined(HAVE_STRNLEN) || defined(BROKEN_STRNLEN)
 /**
  Some platforms don't have strnlen
 **/
 
  size_t strnlen(const char *s, size_t n)
 {
-       int i;
-       for (i=0; s[i] && i<n; i++)
+       size_t i;
+       for (i=0; i<n && s[i] != '\0'; i++)
                /* noop */ ;
        return i;
 }
@@ -1283,7 +1672,7 @@ static int fstr_sprintf(fstring s, const char *fmt, ...)
 
 #define S_LIST_ABS 16 /* List Allocation Block Size */
 
-char **str_list_make(const char *string, const char *sep)
+static char **str_list_make_internal(TALLOC_CTX *mem_ctx, const char *string, const char *sep)
 {
        char **list, **rlist;
        const char *str;
@@ -1293,7 +1682,11 @@ char **str_list_make(const char *string, const char *sep)
        
        if (!string || !*string)
                return NULL;
-       s = strdup(string);
+       if (mem_ctx) {
+               s = talloc_strdup(mem_ctx, string);
+       } else {
+               s = SMB_STRDUP(string);
+       }
        if (!s) {
                DEBUG(0,("str_list_make: Unable to allocate memory"));
                return NULL;
@@ -1307,32 +1700,64 @@ char **str_list_make(const char *string, const char *sep)
        while (next_token(&str, tok, sep, sizeof(tok))) {               
                if (num == lsize) {
                        lsize += S_LIST_ABS;
-                       rlist = (char **)Realloc(list, ((sizeof(char **)) * (lsize +1)));
+                       if (mem_ctx) {
+                               rlist = TALLOC_REALLOC_ARRAY(mem_ctx, list, char *, lsize +1);
+                       } else {
+                               rlist = SMB_REALLOC_ARRAY(list, char *, lsize +1);
+                       }
                        if (!rlist) {
                                DEBUG(0,("str_list_make: Unable to allocate memory"));
                                str_list_free(&list);
-                               SAFE_FREE(s);
+                               if (mem_ctx) {
+                                       TALLOC_FREE(s);
+                               } else {
+                                       SAFE_FREE(s);
+                               }
                                return NULL;
                        } else
                                list = rlist;
                        memset (&list[num], 0, ((sizeof(char**)) * (S_LIST_ABS +1)));
                }
+
+               if (mem_ctx) {
+                       list[num] = talloc_strdup(mem_ctx, tok);
+               } else {
+                       list[num] = SMB_STRDUP(tok);
+               }
                
-               list[num] = strdup(tok);
                if (!list[num]) {
                        DEBUG(0,("str_list_make: Unable to allocate memory"));
                        str_list_free(&list);
-                       SAFE_FREE(s);
+                       if (mem_ctx) {
+                               TALLOC_FREE(s);
+                       } else {
+                               SAFE_FREE(s);
+                       }
                        return NULL;
                }
        
                num++;  
        }
-       
-       SAFE_FREE(s);
+
+       if (mem_ctx) {
+               TALLOC_FREE(s);
+       } else {
+               SAFE_FREE(s);
+       }
+
        return list;
 }
 
+char **str_list_make_talloc(TALLOC_CTX *mem_ctx, const char *string, const char *sep)
+{
+       return str_list_make_internal(mem_ctx, string, sep);
+}
+
+char **str_list_make(const char *string, const char *sep)
+{
+       return str_list_make_internal(NULL, string, sep);
+}
+
 BOOL str_list_copy(char ***dest, const char **src)
 {
        char **list, **rlist;
@@ -1348,7 +1773,7 @@ BOOL str_list_copy(char ***dest, const char **src)
        while (src[num]) {
                if (num == lsize) {
                        lsize += S_LIST_ABS;
-                       rlist = (char **)Realloc(list, ((sizeof(char **)) * (lsize +1)));
+                       rlist = SMB_REALLOC_ARRAY(list, char *, lsize +1);
                        if (!rlist) {
                                DEBUG(0,("str_list_copy: Unable to re-allocate memory"));
                                str_list_free(&list);
@@ -1358,7 +1783,7 @@ BOOL str_list_copy(char ***dest, const char **src)
                        memset (&list[num], 0, ((sizeof(char **)) * (S_LIST_ABS +1)));
                }
                
-               list[num] = strdup(src[num]);
+               list[num] = SMB_STRDUP(src[num]);
                if (!list[num]) {
                        DEBUG(0,("str_list_copy: Unable to allocate memory"));
                        str_list_free(&list);
@@ -1394,18 +1819,84 @@ BOOL str_list_compare(char **list1, char **list2)
        return True;
 }
 
-void str_list_free(char ***list)
+static void str_list_free_internal(TALLOC_CTX *mem_ctx, char ***list)
 {
        char **tlist;
        
        if (!list || !*list)
                return;
        tlist = *list;
-       for(; *tlist; tlist++)
-               SAFE_FREE(*tlist);
-       SAFE_FREE(*list);
+       for(; *tlist; tlist++) {
+               if (mem_ctx) {
+                       TALLOC_FREE(*tlist);
+               } else {
+                       SAFE_FREE(*tlist);
+               }
+       }
+       if (mem_ctx) {
+               TALLOC_FREE(*tlist);
+       } else {
+               SAFE_FREE(*list);
+       }
+}
+
+void str_list_free_talloc(TALLOC_CTX *mem_ctx, char ***list)
+{
+       str_list_free_internal(mem_ctx, list);
+}
+
+void str_list_free(char ***list)
+{
+       str_list_free_internal(NULL, list);
 }
 
+/******************************************************************************
+ *****************************************************************************/
+
+int str_list_count( const char **list )
+{
+       int i = 0;
+
+       if ( ! list )
+               return 0;
+
+       /* count the number of list members */
+       
+       for ( i=0; *list; i++, list++ );
+       
+       return i;
+}
+
+/******************************************************************************
+ version of standard_sub_basic() for string lists; uses alloc_sub_basic() 
+ for the work
+ *****************************************************************************/
+BOOL str_list_sub_basic( char **list, const char *smb_name )
+{
+       char *s, *tmpstr;
+       
+       while ( *list ) {
+               s = *list;
+               tmpstr = alloc_sub_basic(smb_name, s);
+               if ( !tmpstr ) {
+                       DEBUG(0,("str_list_sub_basic: alloc_sub_basic() return NULL!\n"));
+                       return False;
+               }
+
+               SAFE_FREE(*list);
+               *list = tmpstr;
+                       
+               list++;
+       }
+
+       return True;
+}
+
+/******************************************************************************
+ substritute a specific pattern in a string list
+ *****************************************************************************/
 BOOL str_list_substitute(char **list, const char *pattern, const char *insert)
 {
        char *p, *s, *t;
@@ -1426,11 +1917,11 @@ BOOL str_list_substitute(char **list, const char *pattern, const char *insert)
                s = *list;
                ls = (ssize_t)strlen(s);
 
-               while ((p = strstr(s, pattern))) {
+               while ((p = strstr_m(s, pattern))) {
                        t = *list;
                        d = p -t;
                        if (ld) {
-                               t = (char *) malloc(ls +ld +1);
+                               t = (char *) SMB_MALLOC(ls +ld +1);
                                if (!t) {
                                        DEBUG(0,("str_list_substitute: Unable to allocate memory"));
                                        return False;
@@ -1461,6 +1952,7 @@ BOOL str_list_substitute(char **list, const char *pattern, const char *insert)
                        }       
                }
                
+               
                list++;
        }
        
@@ -1469,6 +1961,7 @@ BOOL str_list_substitute(char **list, const char *pattern, const char *insert)
 
 
 #define IPSTR_LIST_SEP ","
+#define IPSTR_LIST_CHAR        ','
 
 /**
  * Add ip string representation to ipstr list. Used also
@@ -1483,19 +1976,20 @@ BOOL str_list_substitute(char **list, const char *pattern, const char *insert)
  *         reallocated to new length
  **/
 
-char* ipstr_list_add(char** ipstr_list, const struct in_addr *ip)
+char* ipstr_list_add(char** ipstr_list, const struct ip_service *service)
 {
        char* new_ipstr = NULL;
        
        /* arguments checking */
-       if (!ipstr_list || !ip) return NULL;
+       if (!ipstr_list || !service) return NULL;
 
        /* attempt to convert ip to a string and append colon separator to it */
        if (*ipstr_list) {
-               asprintf(&new_ipstr, "%s%s%s", *ipstr_list, IPSTR_LIST_SEP,inet_ntoa(*ip));
+               asprintf(&new_ipstr, "%s%s%s:%d", *ipstr_list, IPSTR_LIST_SEP,
+                       inet_ntoa(service->ip), service->port);
                SAFE_FREE(*ipstr_list);
        } else {
-               asprintf(&new_ipstr, "%s", inet_ntoa(*ip));
+               asprintf(&new_ipstr, "%s:%d", inet_ntoa(service->ip), service->port);
        }
        *ipstr_list = new_ipstr;
        return *ipstr_list;
@@ -1512,7 +2006,7 @@ char* ipstr_list_add(char** ipstr_list, const struct in_addr *ip)
  * @return pointer to allocated ip string
  **/
  
-char* ipstr_list_make(char** ipstr_list, const struct in_addr* ip_list, int ip_count)
+char* ipstr_list_make(char** ipstr_list, const struct ip_service* ip_list, int ip_count)
 {
        int i;
        
@@ -1531,7 +2025,8 @@ char* ipstr_list_make(char** ipstr_list, const struct in_addr* ip_list, int ip_c
 
 /**
  * Parse given ip string list into array of ip addresses
- * (as in_addr structures)
+ * (as ip_service structures)  
+ *    e.g. 192.168.1.100:389,192.168.1.78, ...
  *
  * @param ipstr ip string list to be parsed 
  * @param ip_list pointer to array of ip addresses which is
@@ -1539,28 +2034,40 @@ char* ipstr_list_make(char** ipstr_list, const struct in_addr* ip_list, int ip_c
  * @return number of succesfully parsed addresses
  **/
  
-int ipstr_list_parse(const char* ipstr_list, struct in_addr** ip_list)
+int ipstr_list_parse(const char* ipstr_list, struct ip_service **ip_list)
 {
        fstring token_str;
-       int count;
+       size_t count;
+       int i;
 
-       if (!ipstr_list || !ip_list) return 0;
+       if (!ipstr_list || !ip_list) 
+               return 0;
+       
+       count = count_chars(ipstr_list, IPSTR_LIST_CHAR) + 1;
+       if ( (*ip_list = SMB_MALLOC_ARRAY(struct ip_service, count)) == NULL ) {
+               DEBUG(0,("ipstr_list_parse: malloc failed for %lu entries\n", (unsigned long)count));
+               return 0;
+       }
        
-       for (*ip_list = NULL, count = 0;
-            next_token(&ipstr_list, token_str, IPSTR_LIST_SEP, FSTRING_LEN);
-            count++) {
-            
+       for ( i=0; 
+               next_token(&ipstr_list, token_str, IPSTR_LIST_SEP, FSTRING_LEN) && i<count; 
+               i++ ) 
+       {
                struct in_addr addr;
+               unsigned port = 0;      
+               char *p = strchr(token_str, ':');
+               
+               if (p) {
+                       *p = 0;
+                       port = atoi(p+1);
+               }
 
                /* convert single token to ip address */
                if ( (addr.s_addr = inet_addr(token_str)) == INADDR_NONE )
                        break;
-               
-               /* prepare place for another in_addr structure */
-               *ip_list = Realloc(*ip_list, (count + 1) * sizeof(struct in_addr));
-               if (!*ip_list) return -1;
-               
-               (*ip_list)[count] = addr;
+                               
+               (*ip_list)[i].ip = addr;
+               (*ip_list)[i].port = port;
        }
        
        return count;
@@ -1587,11 +2094,6 @@ void rfc1738_unescape(char *buf)
 {
        char *p=buf;
 
-       while ((p=strchr_m(p,'+')))
-               *p = ' ';
-
-       p = buf;
-
        while (p && *p && (p=strchr_m(p,'%'))) {
                int c1 = p[1];
                int c2 = p[2];
@@ -1650,6 +2152,10 @@ DATA_BLOB base64_decode_data_blob(const char *s)
                s++; i++;
        }
 
+       if ((n > 0) && (*s == '=')) {
+               n -= 1;
+       }
+
        /* fix up length */
        decoded.length = n;
        return decoded;
@@ -1661,9 +2167,15 @@ DATA_BLOB base64_decode_data_blob(const char *s)
 void base64_decode_inplace(char *s)
 {
        DATA_BLOB decoded = base64_decode_data_blob(s);
-       memcpy(s, decoded.data, decoded.length);
-       /* null terminate */
-       s[decoded.length] = '\0';
+
+       if ( decoded.length != 0 ) {
+               memcpy(s, decoded.data, decoded.length);
+
+               /* null terminate */
+               s[decoded.length] = '\0';
+       } else {
+               *s = '\0';
+       }
 
        data_blob_free(&decoded);
 }
@@ -1677,10 +2189,16 @@ char * base64_encode_data_blob(DATA_BLOB data)
 {
        int bits = 0;
        int char_count = 0;
-       size_t out_cnt = 0;
-       size_t len = data.length;
-       size_t output_len = data.length * 2;
-       char *result = malloc(output_len); /* get us plenty of space */
+       size_t out_cnt, len, output_len;
+       char *result;
+
+        if (!data.length || !data.data)
+               return NULL;
+
+       out_cnt = 0;
+       len = data.length;
+       output_len = data.length * 2;
+       result = SMB_MALLOC(output_len); /* get us plenty of space */
 
        while (len-- && out_cnt < (data.length * 2) - 5) {
                int c = (unsigned char) *(data.data++);
@@ -1713,3 +2231,172 @@ char * base64_encode_data_blob(DATA_BLOB data)
     return result;
 }
 
+/* read a SMB_BIG_UINT from a string */
+SMB_BIG_UINT STR_TO_SMB_BIG_UINT(const char *nptr, const char **entptr)
+{
+
+       SMB_BIG_UINT val = -1;
+       const char *p = nptr;
+       
+       while (p && *p && isspace(*p))
+               p++;
+#ifdef LARGE_SMB_OFF_T
+       sscanf(p,"%llu",&val);  
+#else /* LARGE_SMB_OFF_T */
+       sscanf(p,"%lu",&val);
+#endif /* LARGE_SMB_OFF_T */
+       if (entptr) {
+               while (p && *p && isdigit(*p))
+                       p++;
+               *entptr = p;
+       }
+
+       return val;
+}
+
+void string_append(char **left, const char *right)
+{
+       int new_len = strlen(right) + 1;
+
+       if (*left == NULL) {
+               *left = SMB_MALLOC(new_len);
+               *left[0] = '\0';
+       } else {
+               new_len += strlen(*left);
+               *left = SMB_REALLOC(*left, new_len);
+       }
+
+       if (*left == NULL)
+               return;
+
+       safe_strcat(*left, right, new_len-1);
+}
+
+BOOL add_string_to_array(TALLOC_CTX *mem_ctx,
+                        const char *str, const char ***strings,
+                        int *num)
+{
+       char *dup_str = talloc_strdup(mem_ctx, str);
+
+       *strings = TALLOC_REALLOC_ARRAY(mem_ctx, *strings, const char *, (*num)+1);
+
+       if ((*strings == NULL) || (dup_str == NULL))
+               return False;
+
+       (*strings)[*num] = dup_str;
+       *num += 1;
+       return True;
+}
+
+/* Append an sprintf'ed string. Double buffer size on demand. Usable without
+ * error checking in between. The indiation that something weird happened is
+ * string==NULL */
+
+void sprintf_append(TALLOC_CTX *mem_ctx, char **string, ssize_t *len,
+                   size_t *bufsize, const char *fmt, ...)
+{
+       va_list ap;
+       char *newstr;
+       int ret;
+       BOOL increased;
+
+       /* len<0 is an internal marker that something failed */
+       if (*len < 0)
+               goto error;
+
+       if (*string == NULL) {
+               if (*bufsize == 0)
+                       *bufsize = 128;
+
+               if (mem_ctx != NULL)
+                       *string = TALLOC_ARRAY(mem_ctx, char, *bufsize);
+               else
+                       *string = SMB_MALLOC_ARRAY(char, *bufsize);
+
+               if (*string == NULL)
+                       goto error;
+       }
+
+       va_start(ap, fmt);
+       ret = vasprintf(&newstr, fmt, ap);
+       va_end(ap);
+
+       if (ret < 0)
+               goto error;
+
+       increased = False;
+
+       while ((*len)+ret >= *bufsize) {
+               increased = True;
+               *bufsize *= 2;
+               if (*bufsize >= (1024*1024*256))
+                       goto error;
+       }
+
+       if (increased) {
+               if (mem_ctx != NULL)
+                       *string = TALLOC_REALLOC_ARRAY(mem_ctx, *string, char,
+                                                      *bufsize);
+               else
+                       *string = SMB_REALLOC_ARRAY(*string, char, *bufsize);
+
+               if (*string == NULL)
+                       goto error;
+       }
+
+       StrnCpy((*string)+(*len), newstr, ret);
+       (*len) += ret;
+       free(newstr);
+       return;
+
+ error:
+       *len = -1;
+       *string = NULL;
+}
+
+/*
+   Returns the substring from src between the first occurrence of
+   the char "front" and the first occurence of the char "back".
+   Mallocs the return string which must be freed.  Not for use
+   with wide character strings.
+*/
+char *sstring_sub(const char *src, char front, char back)
+{
+       char *temp1, *temp2, *temp3;
+       ptrdiff_t len;
+
+       temp1 = strchr(src, front);
+       if (temp1 == NULL) return NULL;
+       temp2 = strchr(src, back);
+       if (temp2 == NULL) return NULL;
+       len = temp2 - temp1;
+       if (len <= 0) return NULL;
+       temp3 = (char*)SMB_MALLOC(len);
+       if (temp3 == NULL) {
+               DEBUG(1,("Malloc failure in sstring_sub\n"));
+               return NULL;
+       }
+       memcpy(temp3, temp1+1, len-1);
+       temp3[len-1] = '\0';
+       return temp3;
+}
+
+/********************************************************************
+ Check a string for any occurrences of a specified list of invalid
+ characters.
+********************************************************************/
+
+BOOL validate_net_name( const char *name, const char *invalid_chars, int max_len )
+{
+       int i;
+
+       for ( i=0; i<max_len && name[i]; i++ ) {
+               /* fail if strchr_m() finds one of the invalid characters */
+               if ( name[i] && strchr_m( invalid_chars, name[i] ) ) {
+                       return False;
+               }
+       }
+
+       return True;
+}
+