r943: change samba4 to use 'uint8_t' instead of 'unsigned char'
[metze/samba/wip.git] / source4 / libcli / util / smbencrypt.c
1 /* 
2    Unix SMB/CIFS implementation.
3    SMB parameters and setup
4    Copyright (C) Andrew Tridgell 1992-1998
5    Modified by Jeremy Allison 1995.
6    Copyright (C) Jeremy Allison 1995-2000.
7    Copyright (C) Luke Kennethc Casson Leighton 1996-2000.
8    Copyright (C) Andrew Bartlett <abartlet@samba.org> 2002-2003
9    
10    This program is free software; you can redistribute it and/or modify
11    it under the terms of the GNU General Public License as published by
12    the Free Software Foundation; either version 2 of the License, or
13    (at your option) any later version.
14    
15    This program is distributed in the hope that it will be useful,
16    but WITHOUT ANY WARRANTY; without even the implied warranty of
17    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
18    GNU General Public License for more details.
19    
20    You should have received a copy of the GNU General Public License
21    along with this program; if not, write to the Free Software
22    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
23 */
24
25 #include "includes.h"
26 #include "byteorder.h"
27
28 /*
29    This implements the X/Open SMB password encryption
30    It takes a password ('unix' string), a 8 byte "crypt key" 
31    and puts 24 bytes of encrypted password into p24 
32
33    Returns False if password must have been truncated to create LM hash
34 */
35 BOOL SMBencrypt(const char *passwd, const uchar *c8, uchar p24[24])
36 {
37         BOOL ret;
38         uchar p21[21];
39
40         memset(p21,'\0',21);
41         ret = E_deshash(passwd, p21); 
42
43         SMBOWFencrypt(p21, c8, p24);
44
45 #ifdef DEBUG_PASSWORD
46         DEBUG(100,("SMBencrypt: lm#, challenge, response\n"));
47         dump_data(100, (char *)p21, 16);
48         dump_data(100, (const char *)c8, 8);
49         dump_data(100, (char *)p24, 24);
50 #endif
51
52         return ret;
53 }
54
55 /**
56  * Creates the MD4 Hash of the users password in NT UNICODE.
57  * @param passwd password in 'unix' charset.
58  * @param p16 return password hashed with md4, caller allocated 16 byte buffer
59  */
60  
61 void E_md4hash(const char *passwd, uchar p16[16])
62 {
63         int len;
64         smb_ucs2_t wpwd[129];
65         
66         /* Password must be converted to NT unicode - null terminated. */
67         push_ucs2(NULL, wpwd, (const char *)passwd, 256, STR_UNICODE|STR_NOALIGN|STR_TERMINATE);
68         /* Calculate length in bytes */
69         len = strlen_w(wpwd) * sizeof(int16_t);
70
71         mdfour(p16, (uint8_t *)wpwd, len);
72         ZERO_STRUCT(wpwd);      
73 }
74
75 /**
76  * Creates the DES forward-only Hash of the users password in DOS ASCII charset
77  * @param passwd password in 'unix' charset.
78  * @param p16 return password hashed with DES, caller allocated 16 byte buffer
79  * @return False if password was > 14 characters, and therefore may be incorrect, otherwise True
80  * @note p16 is filled in regardless
81  */
82  
83 BOOL E_deshash(const char *passwd, uchar p16[16])
84 {
85         BOOL ret = True;
86         fstring dospwd; 
87         ZERO_STRUCT(dospwd);
88         
89         /* Password must be converted to DOS charset - null terminated, uppercase. */
90         push_ascii(dospwd, passwd, sizeof(dospwd), STR_UPPER|STR_TERMINATE);
91        
92         /* Only the fisrt 14 chars are considered, password need not be null terminated. */
93         E_P16((const uint8_t *)dospwd, p16);
94
95         if (strlen(dospwd) > 14) {
96                 ret = False;
97         }
98
99         ZERO_STRUCT(dospwd);    
100
101         return ret;
102 }
103
104 /**
105  * Creates the MD4 and DES (LM) Hash of the users password.  
106  * MD4 is of the NT Unicode, DES is of the DOS UPPERCASE password.
107  * @param passwd password in 'unix' charset.
108  * @param nt_p16 return password hashed with md4, caller allocated 16 byte buffer
109  * @param p16 return password hashed with des, caller allocated 16 byte buffer
110  */
111  
112 /* Does both the NT and LM owfs of a user's password */
113 void nt_lm_owf_gen(const char *pwd, uchar nt_p16[16], uchar p16[16])
114 {
115         /* Calculate the MD4 hash (NT compatible) of the password */
116         memset(nt_p16, '\0', 16);
117         E_md4hash(pwd, nt_p16);
118
119 #ifdef DEBUG_PASSWORD
120         DEBUG(100,("nt_lm_owf_gen: pwd, nt#\n"));
121         dump_data(120, pwd, strlen(pwd));
122         dump_data(100, (char *)nt_p16, 16);
123 #endif
124
125         E_deshash(pwd, (uchar *)p16);
126
127 #ifdef DEBUG_PASSWORD
128         DEBUG(100,("nt_lm_owf_gen: pwd, lm#\n"));
129         dump_data(120, pwd, strlen(pwd));
130         dump_data(100, (char *)p16, 16);
131 #endif
132 }
133
134 /* Does both the NTLMv2 owfs of a user's password */
135 BOOL ntv2_owf_gen(const uchar owf[16],
136                   const char *user_in, const char *domain_in,
137                   BOOL upper_case_domain, /* Transform the domain into UPPER case */
138                   uchar kr_buf[16])
139 {
140         smb_ucs2_t *user;
141         smb_ucs2_t *domain;
142         
143         size_t user_byte_len;
144         size_t domain_byte_len;
145
146         HMACMD5Context ctx;
147
148         user_byte_len = push_ucs2_allocate(&user, user_in);
149         if (user_byte_len == (size_t)-1) {
150                 DEBUG(0, ("push_uss2_allocate() for user returned -1 (probably malloc() failure)\n"));
151                 return False;
152         }
153
154         domain_byte_len = push_ucs2_allocate(&domain, domain_in);
155         if (domain_byte_len == (size_t)-1) {
156                 DEBUG(0, ("push_uss2_allocate() for domain returned -1 (probably malloc() failure)\n"));
157                 return False;
158         }
159
160         strupper_w(user);
161
162         if (upper_case_domain)
163                 strupper_w(domain);
164
165         SMB_ASSERT(user_byte_len >= 2);
166         SMB_ASSERT(domain_byte_len >= 2);
167
168         /* We don't want null termination */
169         user_byte_len = user_byte_len - 2;
170         domain_byte_len = domain_byte_len - 2;
171         
172         hmac_md5_init_limK_to_64(owf, 16, &ctx);
173         hmac_md5_update((const uint8_t *)user, user_byte_len, &ctx);
174         hmac_md5_update((const uint8_t *)domain, domain_byte_len, &ctx);
175         hmac_md5_final(kr_buf, &ctx);
176
177 #ifdef DEBUG_PASSWORD
178         DEBUG(100, ("ntv2_owf_gen: user, domain, owfkey, kr\n"));
179         dump_data(100, (const char *)user, user_byte_len);
180         dump_data(100, (const char *)domain, domain_byte_len);
181         dump_data(100, owf, 16);
182         dump_data(100, kr_buf, 16);
183 #endif
184
185         SAFE_FREE(user);
186         SAFE_FREE(domain);
187         return True;
188 }
189
190 /* Does the des encryption from the NT or LM MD4 hash. */
191 void SMBOWFencrypt(const uchar passwd[16], const uchar *c8, uchar p24[24])
192 {
193         uchar p21[21];
194
195         ZERO_STRUCT(p21);
196  
197         memcpy(p21, passwd, 16);    
198         E_P24(p21, c8, p24);
199 }
200
201 /* Does the NT MD4 hash then des encryption. */
202  
203 void SMBNTencrypt(const char *passwd, uchar *c8, uchar *p24)
204 {
205         uchar p21[21];
206  
207         memset(p21,'\0',21);
208  
209         E_md4hash(passwd, p21);    
210         SMBOWFencrypt(p21, c8, p24);
211
212 #ifdef DEBUG_PASSWORD
213         DEBUG(100,("SMBNTencrypt: nt#, challenge, response\n"));
214         dump_data(100, (char *)p21, 16);
215         dump_data(100, (char *)c8, 8);
216         dump_data(100, (char *)p24, 24);
217 #endif
218 }
219
220 /* Does the md5 encryption from the Key Response for NTLMv2. */
221 void SMBOWFencrypt_ntv2(const uchar kr[16],
222                         const DATA_BLOB *srv_chal,
223                         const DATA_BLOB *cli_chal,
224                         uchar resp_buf[16])
225 {
226         HMACMD5Context ctx;
227
228         hmac_md5_init_limK_to_64(kr, 16, &ctx);
229         hmac_md5_update(srv_chal->data, srv_chal->length, &ctx);
230         hmac_md5_update(cli_chal->data, cli_chal->length, &ctx);
231         hmac_md5_final(resp_buf, &ctx);
232
233 #ifdef DEBUG_PASSWORD
234         DEBUG(100, ("SMBOWFencrypt_ntv2: srv_chal, cli_chal, resp_buf\n"));
235         dump_data(100, srv_chal->data, srv_chal->length);
236         dump_data(100, cli_chal->data, cli_chal->length);
237         dump_data(100, resp_buf, 16);
238 #endif
239 }
240
241 void SMBsesskeygen_ntv2(const uchar kr[16],
242                         const uchar * nt_resp, uint8_t sess_key[16])
243 {
244         /* a very nice, 128 bit, variable session key */
245         
246         HMACMD5Context ctx;
247
248         hmac_md5_init_limK_to_64(kr, 16, &ctx);
249         hmac_md5_update(nt_resp, 16, &ctx);
250         hmac_md5_final((uint8_t *)sess_key, &ctx);
251
252 #ifdef DEBUG_PASSWORD
253         DEBUG(100, ("SMBsesskeygen_ntv2:\n"));
254         dump_data(100, sess_key, 16);
255 #endif
256 }
257
258 void SMBsesskeygen_ntv1(const uchar kr[16], uint8_t sess_key[16])
259 {
260         /* yes, this session key does not change - yes, this 
261            is a problem - but it is 128 bits */
262         
263         mdfour((uint8_t *)sess_key, kr, 16);
264
265 #ifdef DEBUG_PASSWORD
266         DEBUG(100, ("SMBsesskeygen_ntv1:\n"));
267         dump_data(100, sess_key, 16);
268 #endif
269 }
270
271 void SMBsesskeygen_lm_sess_key(const uchar lm_hash[16],
272                                const uchar lm_resp[24], /* only uses 8 */ 
273                                uint8_t sess_key[16])
274 {
275         /* Calculate the LM session key (effective length 40 bits,
276            but changes with each session) */
277         uchar p24[24];
278         uchar p21[21];
279  
280         memset(p21,'\0',21);
281         memcpy(p21, lm_hash, 8);    
282         memset(p21 + 8, 0xbd, 8);
283
284         E_P24(p21, lm_resp, p24);
285
286         memcpy(sess_key, p24, 16);
287
288 #ifdef DEBUG_PASSWORD
289         DEBUG(100, ("SMBsesskeygen_lm_sess_key: \n"));
290         dump_data(100, sess_key, 16);
291 #endif
292 }
293
294 DATA_BLOB NTLMv2_generate_names_blob(TALLOC_CTX *mem_ctx, 
295                                      const char *hostname, 
296                                      const char *domain)
297 {
298         DATA_BLOB names_blob = data_blob_talloc(mem_ctx, NULL, 0);
299         
300         msrpc_gen(mem_ctx, &names_blob, "aaa", 
301                   NTLMSSP_NAME_TYPE_DOMAIN, domain,
302                   NTLMSSP_NAME_TYPE_SERVER, hostname,
303                   0, "");
304         return names_blob;
305 }
306
307 static DATA_BLOB NTLMv2_generate_client_data(TALLOC_CTX *mem_ctx, const DATA_BLOB *names_blob) 
308 {
309         uchar client_chal[8];
310         DATA_BLOB response = data_blob(NULL, 0);
311         char long_date[8];
312         NTTIME nttime;
313
314         unix_to_nt_time(&nttime, time(NULL));
315
316         generate_random_buffer(client_chal, sizeof(client_chal), False);
317
318         push_nttime(long_date, 0, nttime);
319
320         /* See http://www.ubiqx.org/cifs/SMB.html#SMB.8.5 */
321
322         msrpc_gen(mem_ctx, &response, "ddbbdb", 
323                   0x00000101,     /* Header  */
324                   0,              /* 'Reserved'  */
325                   long_date, 8,   /* Timestamp */
326                   client_chal, 8, /* client challenge */
327                   0,              /* Unknown */
328                   names_blob->data, names_blob->length);        /* End of name list */
329
330         return response;
331 }
332
333 static DATA_BLOB NTLMv2_generate_response(const uchar ntlm_v2_hash[16],
334                                           const DATA_BLOB *server_chal,
335                                           const DATA_BLOB *names_blob)
336 {
337         uchar ntlmv2_response[16];
338         DATA_BLOB ntlmv2_client_data;
339         DATA_BLOB final_response;
340         
341         TALLOC_CTX *mem_ctx = talloc_init("NTLMv2_generate_response internal context");
342
343         if (!mem_ctx) {
344                 return data_blob(NULL, 0);
345         }
346         
347         /* NTLMv2 */
348         /* generate some data to pass into the response function - including
349            the hostname and domain name of the server */
350         ntlmv2_client_data = NTLMv2_generate_client_data(mem_ctx, names_blob);
351
352         /* Given that data, and the challenge from the server, generate a response */
353         SMBOWFencrypt_ntv2(ntlm_v2_hash, server_chal, &ntlmv2_client_data, ntlmv2_response);
354         
355         final_response = data_blob(NULL, sizeof(ntlmv2_response) + ntlmv2_client_data.length);
356
357         memcpy(final_response.data, ntlmv2_response, sizeof(ntlmv2_response));
358
359         memcpy(final_response.data+sizeof(ntlmv2_response), 
360                ntlmv2_client_data.data, ntlmv2_client_data.length);
361
362         talloc_destroy(mem_ctx);
363
364         return final_response;
365 }
366
367 static DATA_BLOB LMv2_generate_response(const uchar ntlm_v2_hash[16],
368                                         const DATA_BLOB *server_chal)
369 {
370         uchar lmv2_response[16];
371         DATA_BLOB lmv2_client_data = data_blob(NULL, 8);
372         DATA_BLOB final_response = data_blob(NULL, 24);
373         
374         /* LMv2 */
375         /* client-supplied random data */
376         generate_random_buffer(lmv2_client_data.data, lmv2_client_data.length, False);  
377
378         /* Given that data, and the challenge from the server, generate a response */
379         SMBOWFencrypt_ntv2(ntlm_v2_hash, server_chal, &lmv2_client_data, lmv2_response);
380         memcpy(final_response.data, lmv2_response, sizeof(lmv2_response));
381
382         /* after the first 16 bytes is the random data we generated above, 
383            so the server can verify us with it */
384         memcpy(final_response.data+sizeof(lmv2_response), 
385                lmv2_client_data.data, lmv2_client_data.length);
386
387         data_blob_free(&lmv2_client_data);
388
389         return final_response;
390 }
391
392 BOOL SMBNTLMv2encrypt(const char *user, const char *domain, const char *password, 
393                       const DATA_BLOB *server_chal, 
394                       const DATA_BLOB *names_blob,
395                       DATA_BLOB *lm_response, DATA_BLOB *nt_response, 
396                       DATA_BLOB *user_session_key) 
397 {
398         uchar nt_hash[16];
399         uchar ntlm_v2_hash[16];
400         E_md4hash(password, nt_hash);
401
402         /* We don't use the NT# directly.  Instead we use it mashed up with
403            the username and domain.
404            This prevents username swapping during the auth exchange
405         */
406         if (!ntv2_owf_gen(nt_hash, user, domain, True, ntlm_v2_hash)) {
407                 return False;
408         }
409         
410         if (nt_response) {
411                 *nt_response = NTLMv2_generate_response(ntlm_v2_hash, server_chal,
412                                                         names_blob); 
413                 if (user_session_key) {
414                         *user_session_key = data_blob(NULL, 16);
415                         
416                         /* The NTLMv2 calculations also provide a session key, for signing etc later */
417                         /* use only the first 16 bytes of nt_response for session key */
418                         SMBsesskeygen_ntv2(ntlm_v2_hash, nt_response->data, user_session_key->data);
419                 }
420         }
421         
422         /* LMv2 */
423         
424         if (lm_response) {
425                 *lm_response = LMv2_generate_response(ntlm_v2_hash, server_chal);
426         }
427         
428         return True;
429 }
430
431 /***********************************************************
432  encode a password buffer with a unicode password.  The buffer
433  is filled with random data to make it harder to attack.
434 ************************************************************/
435 BOOL encode_pw_buffer(char buffer[516], const char *password, int string_flags)
436 {
437         uchar new_pw[512];
438         size_t new_pw_len;
439
440         new_pw_len = push_string(NULL, new_pw,
441                                  password, 
442                                  sizeof(new_pw), string_flags);
443         
444         memcpy(&buffer[512 - new_pw_len], new_pw, new_pw_len);
445
446         generate_random_buffer((uint8_t *)buffer, 512 - new_pw_len, False);
447
448         /* 
449          * The length of the new password is in the last 4 bytes of
450          * the data buffer.
451          */
452         SIVAL(buffer, 512, new_pw_len);
453         ZERO_STRUCT(new_pw);
454         return True;
455 }
456
457
458 /***********************************************************
459  decode a password buffer
460  *new_pw_len is the length in bytes of the possibly mulitbyte
461  returned password including termination.
462 ************************************************************/
463 BOOL decode_pw_buffer(char in_buffer[516], char *new_pwrd,
464                       int new_pwrd_size, uint32_t *new_pw_len,
465                       int string_flags)
466 {
467         int byte_len=0;
468
469         /*
470           Warning !!! : This function is called from some rpc call.
471           The password IN the buffer may be a UNICODE string.
472           The password IN new_pwrd is an ASCII string
473           If you reuse that code somewhere else check first.
474         */
475
476         /* The length of the new password is in the last 4 bytes of the data buffer. */
477
478         byte_len = IVAL(in_buffer, 512);
479
480 #ifdef DEBUG_PASSWORD
481         dump_data(100, in_buffer, 516);
482 #endif
483
484         /* Password cannot be longer than the size of the password buffer */
485         if ( (byte_len < 0) || (byte_len > 512)) {
486                 DEBUG(0, ("decode_pw_buffer: incorrect password length (%d).\n", byte_len));
487                 DEBUG(0, ("decode_pw_buffer: check that 'encrypt passwords = yes'\n"));
488                 return False;
489         }
490
491         /* decode into the return buffer.  Buffer length supplied */
492         *new_pw_len = pull_string(NULL, new_pwrd, &in_buffer[512 - byte_len], new_pwrd_size, 
493                                   byte_len, string_flags);
494
495 #ifdef DEBUG_PASSWORD
496         DEBUG(100,("decode_pw_buffer: new_pwrd: "));
497         dump_data(100, (char *)new_pwrd, *new_pw_len);
498         DEBUG(100,("multibyte len:%d\n", *new_pw_len));
499         DEBUG(100,("original char len:%d\n", byte_len/2));
500 #endif
501         
502         return True;
503 }