NULL pointer handling in nt_lm_owf_gen
[samba.git] / source3 / libsmb / smbencrypt.c
1 /* 
2    Unix SMB/Netbios implementation.
3    Version 1.9.
4    SMB parameters and setup
5    Copyright (C) Andrew Tridgell 1992-1998
6    Modified by Jeremy Allison 1995.
7    
8    This program is free software; you can redistribute it and/or modify
9    it under the terms of the GNU General Public License as published by
10    the Free Software Foundation; either version 2 of the License, or
11    (at your option) any later version.
12    
13    This program is distributed in the hope that it will be useful,
14    but WITHOUT ANY WARRANTY; without even the implied warranty of
15    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16    GNU General Public License for more details.
17    
18    You should have received a copy of the GNU General Public License
19    along with this program; if not, write to the Free Software
20    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
21 */
22
23 #include "includes.h"
24
25 extern int DEBUGLEVEL;
26
27 #include "byteorder.h"
28
29 /*
30    This implements the X/Open SMB password encryption
31    It takes a password, a 8 byte "crypt key" and puts 24 bytes of 
32    encrypted password into p24 */
33 void SMBencrypt(uchar *passwd, uchar *c8, uchar *p24)
34 {
35         uchar p14[15], p21[21];
36
37         memset(p21,'\0',21);
38         memset(p14,'\0',14);
39         StrnCpy((char *)p14,(char *)passwd,14);
40
41         strupper((char *)p14);
42         E_P16(p14, p21); 
43
44         SMBOWFencrypt(p21, c8, p24);
45
46 #ifdef DEBUG_PASSWORD
47         DEBUG(100,("SMBencrypt: lm#, challenge, response\n"));
48         dump_data(100, p21, 16);
49         dump_data(100, c8, 8);
50         dump_data(100, p24, 24);
51 #endif
52 }
53
54 /* Routines for Windows NT MD4 Hash functions. */
55 static int _my_wcslen(int16 *str)
56 {
57         int len = 0;
58         while(*str++ != 0)
59                 len++;
60         return len;
61 }
62
63 /*
64  * Convert a string into an NT UNICODE string.
65  * Note that regardless of processor type 
66  * this must be in intel (little-endian)
67  * format.
68  */
69  
70 static int _my_mbstowcs(int16 *dst, uchar *src, int len)
71 {
72         int i;
73         int16 val;
74  
75         for(i = 0; i < len; i++) {
76                 val = *src;
77                 SSVAL(dst,0,val);
78                 dst++;
79                 src++;
80                 if(val == 0)
81                         break;
82         }
83         return i;
84 }
85
86 /* 
87  * Creates the MD4 Hash of the users password in NT UNICODE.
88  */
89  
90 void E_md4hash(uchar *passwd, uchar *p16)
91 {
92         int len;
93         int16 wpwd[129];
94         
95         /* Password cannot be longer than 128 characters */
96         len = strlen((char *)passwd);
97         if(len > 128)
98                 len = 128;
99         /* Password must be converted to NT unicode */
100         _my_mbstowcs(wpwd, passwd, len);
101         wpwd[len] = 0; /* Ensure string is null terminated */
102         /* Calculate length in bytes */
103         len = _my_wcslen(wpwd) * sizeof(int16);
104
105         mdfour(p16, (unsigned char *)wpwd, len);
106 }
107
108 /* Does both the NT and LM owfs of a user's password */
109 void nt_lm_owf_gen(char *pwd, uchar nt_p16[16], uchar p16[16])
110 {
111         char passwd[130];
112
113         memset(passwd,'\0',130);
114         if (pwd != NULL)
115         {
116                 safe_strcpy( passwd, pwd, sizeof(passwd)-1);
117         }
118
119         /* Calculate the MD4 hash (NT compatible) of the password */
120         memset(nt_p16, '\0', 16);
121         E_md4hash((uchar *)passwd, nt_p16);
122
123 #ifdef DEBUG_PASSWORD
124         DEBUG(100,("nt_lm_owf_gen: pwd, nt#\n"));
125         dump_data(120, passwd, strlen(passwd));
126         dump_data(100, nt_p16, 16);
127 #endif
128
129         /* Mangle the passwords into Lanman format */
130         passwd[14] = '\0';
131         strupper(passwd);
132
133         /* Calculate the SMB (lanman) hash functions of the password */
134
135         memset(p16, '\0', 16);
136         E_P16((uchar *) passwd, (uchar *)p16);
137
138 #ifdef DEBUG_PASSWORD
139         DEBUG(100,("nt_lm_owf_gen: pwd, lm#\n"));
140         dump_data(120, passwd, strlen(passwd));
141         dump_data(100, p16, 16);
142 #endif
143         /* clear out local copy of user's password (just being paranoid). */
144         bzero(passwd, sizeof(passwd));
145 }
146
147 /* Does the des encryption from the NT or LM MD4 hash. */
148 void SMBOWFencrypt(uchar passwd[16], uchar *c8, uchar p24[24])
149 {
150         uchar p21[21];
151  
152         memset(p21,'\0',21);
153  
154         memcpy(p21, passwd, 16);    
155         E_P24(p21, c8, p24);
156 }
157
158 /* Does the des encryption from the FIRST 8 BYTES of the NT or LM MD4 hash. */
159 void NTLMSSPOWFencrypt(uchar passwd[8], uchar *ntlmchalresp, uchar p24[24])
160 {
161         uchar p21[21];
162  
163         memset(p21,'\0',21);
164         memcpy(p21, passwd, 8);    
165         memset(p21 + 8, 0xbd, 8);    
166
167         E_P24(p21, ntlmchalresp, p24);
168 #ifdef DEBUG_PASSWORD
169         DEBUG(100,("NTLMSSPOWFencrypt: p21, c8, p24\n"));
170         dump_data(100, p21, 21);
171         dump_data(100, ntlmchalresp, 8);
172         dump_data(100, p24, 24);
173 #endif
174 }
175
176
177 /* Does the NT MD4 hash then des encryption. */
178  
179 void SMBNTencrypt(uchar *passwd, uchar *c8, uchar *p24)
180 {
181         uchar p21[21];
182  
183         memset(p21,'\0',21);
184  
185         E_md4hash(passwd, p21);    
186         SMBOWFencrypt(p21, c8, p24);
187
188 #ifdef DEBUG_PASSWORD
189         DEBUG(100,("SMBNTencrypt: nt#, challenge, response\n"));
190         dump_data(100, p21, 16);
191         dump_data(100, c8, 8);
192         dump_data(100, p24, 24);
193 #endif
194 }
195
196 BOOL make_oem_passwd_hash(char data[516], const char *passwd, uchar old_pw_hash[16], BOOL unicode)
197 {
198         int new_pw_len = strlen(passwd) * (unicode ? 2 : 1);
199
200         if (new_pw_len > 512)
201         {
202                 DEBUG(0,("make_oem_passwd_hash: new password is too long.\n"));
203                 return False;
204         }
205
206         /*
207          * Now setup the data area.
208          * We need to generate a random fill
209          * for this area to make it harder to
210          * decrypt. JRA.
211          */
212         generate_random_buffer((unsigned char *)data, 516, False);
213         if (unicode)
214         {
215                 ascii_to_unibuf(&data[512 - new_pw_len], passwd, new_pw_len);
216         }
217         else
218         {
219                 fstrcpy( &data[512 - new_pw_len], passwd);
220         }
221         SIVAL(data, 512, new_pw_len);
222
223 #ifdef DEBUG_PASSWORD
224         DEBUG(100,("make_oem_passwd_hash\n"));
225         dump_data(100, data, 516);
226 #endif
227         SamOEMhash( (unsigned char *)data, (unsigned char *)old_pw_hash, True);
228
229         return True;
230 }
231
232 BOOL nt_decrypt_string2(STRING2 *out, const STRING2 *in, char nt_hash[16])
233 {
234         uchar bufhdr[8];
235         int datalen;
236
237         uchar key[16];
238         uchar *keyptr = key;
239         uchar *keyend = key + sizeof(key);
240
241         uchar *outbuf = (uchar *)out->buffer;
242         const uchar *inbuf = (const uchar *)in->buffer;
243         const uchar *inbufend;
244
245         mdfour(key, nt_hash, 16);
246
247         smbhash(bufhdr, inbuf, keyptr, 0);
248         datalen = IVAL(bufhdr, 0);
249
250         if ((datalen > in->str_str_len) || (datalen > MAX_STRINGLEN))
251         {
252                 DEBUG(0, ("nt_decrypt_string2: failed\n"));
253                 return False;
254         }
255
256         out->str_max_len = out->str_str_len = datalen;
257         inbuf += 8;
258         inbufend = inbuf + datalen;
259
260         while (inbuf < inbufend)
261         {
262                 keyptr += 7;
263                 if (keyptr + 7 > keyend)
264                 {
265                         keyptr = (keyend - keyptr) + key;
266                 }
267
268                 smbhash(outbuf, inbuf, keyptr, 0);
269
270                 inbuf += 8;
271                 outbuf += 8;
272         }
273
274         return True;
275 }