fixed bug pointed out by Herb.
[samba.git] / source3 / libsmb / smbdes.c
index e4f8280f9bc0ceb91e2dfb00ece62f4cc01521c5..1d6c6bc0a686836331987ce7a9e2f7c4ae9b56f4 100644 (file)
@@ -5,7 +5,7 @@
    a partial implementation of DES designed for use in the 
    SMB authentication protocol
 
-   Copyright (C) Andrew Tridgell 1997
+   Copyright (C) Andrew Tridgell 1998
    
    This program is free software; you can redistribute it and/or modify
    it under the terms of the GNU General Public License as published by
@@ -46,8 +46,9 @@
 */
 
 
+#define uchar unsigned char
 
-static int perm1[56] = {57, 49, 41, 33, 25, 17,  9,
+static uchar perm1[56] = {57, 49, 41, 33, 25, 17,  9,
                         1, 58, 50, 42, 34, 26, 18,
                        10,  2, 59, 51, 43, 35, 27,
                        19, 11,  3, 60, 52, 44, 36,
@@ -56,7 +57,7 @@ static int perm1[56] = {57, 49, 41, 33, 25, 17,  9,
                        14,  6, 61, 53, 45, 37, 29,
                        21, 13,  5, 28, 20, 12,  4};
 
-static int perm2[48] = {14, 17, 11, 24,  1,  5,
+static uchar perm2[48] = {14, 17, 11, 24,  1,  5,
                          3, 28, 15,  6, 21, 10,
                         23, 19, 12,  4, 26,  8,
                         16,  7, 27, 20, 13,  2,
@@ -65,7 +66,7 @@ static int perm2[48] = {14, 17, 11, 24,  1,  5,
                         44, 49, 39, 56, 34, 53,
                         46, 42, 50, 36, 29, 32};
 
-static int perm3[64] = {58, 50, 42, 34, 26, 18, 10,  2,
+static uchar perm3[64] = {58, 50, 42, 34, 26, 18, 10,  2,
                        60, 52, 44, 36, 28, 20, 12,  4,
                        62, 54, 46, 38, 30, 22, 14,  6,
                        64, 56, 48, 40, 32, 24, 16,  8,
@@ -74,7 +75,7 @@ static int perm3[64] = {58, 50, 42, 34, 26, 18, 10,  2,
                        61, 53, 45, 37, 29, 21, 13,  5,
                        63, 55, 47, 39, 31, 23, 15,  7};
 
-static int perm4[48] = {   32,  1,  2,  3,  4,  5,
+static uchar perm4[48] = {   32,  1,  2,  3,  4,  5,
                             4,  5,  6,  7,  8,  9,
                             8,  9, 10, 11, 12, 13,
                            12, 13, 14, 15, 16, 17,
@@ -83,7 +84,7 @@ static int perm4[48] = {   32,  1,  2,  3,  4,  5,
                            24, 25, 26, 27, 28, 29,
                            28, 29, 30, 31, 32,  1};
 
-static int perm5[32] = {      16,  7, 20, 21,
+static uchar perm5[32] = {      16,  7, 20, 21,
                               29, 12, 28, 17,
                                1, 15, 23, 26,
                                5, 18, 31, 10,
@@ -93,7 +94,7 @@ static int perm5[32] = {      16,  7, 20, 21,
                               22, 11,  4, 25};
 
 
-static int perm6[64] ={ 40,  8, 48, 16, 56, 24, 64, 32,
+static uchar perm6[64] ={ 40,  8, 48, 16, 56, 24, 64, 32,
                         39,  7, 47, 15, 55, 23, 63, 31,
                         38,  6, 46, 14, 54, 22, 62, 30,
                         37,  5, 45, 13, 53, 21, 61, 29,
@@ -103,9 +104,9 @@ static int perm6[64] ={ 40,  8, 48, 16, 56, 24, 64, 32,
                         33,  1, 41,  9, 49, 17, 57, 25};
 
 
-static int sc[16] = {1, 1, 2, 2, 2, 2, 2, 2, 1, 2, 2, 2, 2, 2, 2, 1};
+static uchar sc[16] = {1, 1, 2, 2, 2, 2, 2, 2, 1, 2, 2, 2, 2, 2, 2, 1};
 
-static int sbox[8][4][16] = {
+static uchar sbox[8][4][16] = {
        {{14,  4, 13,  1,  2, 15, 11,  8,  3, 10,  6, 12,  5,  9,  0,  7},
         {0, 15,  7,  4, 14,  2, 13,  1, 10,  6, 12, 11,  9,  5,  3,  8},
         {4,  1, 14,  8, 13,  6,  2, 11, 15, 12,  9,  7,  3, 10,  5,  0},
@@ -146,7 +147,7 @@ static int sbox[8][4][16] = {
         {7, 11,  4,  1,  9, 12, 14,  2,  0,  6, 10, 13, 15,  3,  5,  8},
         {2,  1, 14,  7,  4, 10,  8, 13, 15, 12,  9,  0,  3,  5,  6, 11}}};
 
-static void permute(char *out, char *in, int *p, int n)
+static void permute(char *out, char *in, uchar *p, int n)
 {
        int i;
        for (i=0;i<n;i++)
@@ -178,7 +179,7 @@ static void xor(char *out, char *in1, char *in2, int n)
                out[i] = in1[i] ^ in2[i];
 }
 
-static void dohash(char *out, char *in, char *key)
+static void dohash(char *out, char *in, char *key, int forw)
 {
        int i, j, k;
        char pk1[56];
@@ -222,7 +223,7 @@ static void dohash(char *out, char *in, char *key)
 
                permute(er, r, perm4, 48);
 
-               xor(erk, er, ki[i], 48);
+               xor(erk, er, ki[forw ? i : 15 - i], 48);
 
                for (j=0;j<8;j++)
                        for (k=0;k<6;k++)
@@ -275,7 +276,7 @@ static void str_to_key(unsigned char *str,unsigned char *key)
 }
 
 
-static void smbhash(unsigned char *out, unsigned char *in, unsigned char *key)
+static void smbhash(unsigned char *out, unsigned char *in, unsigned char *key, int forw)
 {
        int i;
        char outb[64];
@@ -291,7 +292,7 @@ static void smbhash(unsigned char *out, unsigned char *in, unsigned char *key)
                outb[i] = 0;
        }
 
-       dohash(outb, inb, keyb);
+       dohash(outb, inb, keyb, forw);
 
        for (i=0;i<8;i++) {
                out[i] = 0;
@@ -306,23 +307,35 @@ static void smbhash(unsigned char *out, unsigned char *in, unsigned char *key)
 void E_P16(unsigned char *p14,unsigned char *p16)
 {
        unsigned char sp8[8] = {0x4b, 0x47, 0x53, 0x21, 0x40, 0x23, 0x24, 0x25};
-       smbhash(p16, sp8, p14);
-       smbhash(p16+8, sp8, p14+7);
+       smbhash(p16, sp8, p14, 1);
+       smbhash(p16+8, sp8, p14+7, 1);
 }
 
 void E_P24(unsigned char *p21, unsigned char *c8, unsigned char *p24)
 {
-       smbhash(p24, c8, p21);
-       smbhash(p24+8, c8, p21+7);
-       smbhash(p24+16, c8, p21+14);
+       smbhash(p24, c8, p21, 1);
+       smbhash(p24+8, c8, p21+7, 1);
+       smbhash(p24+16, c8, p21+14, 1);
+}
+
+void D_P16(unsigned char *p14, unsigned char *in, unsigned char *out)
+{
+       smbhash(out, in, p14, 0);
+        smbhash(out+8, in+8, p14+7, 0);
+}
+
+void E_old_pw_hash( unsigned char *p14, unsigned char *in, unsigned char *out)
+{
+        smbhash(out, in, p14, 1);
+        smbhash(out+8, in+8, p14+7, 1);
 }
 
 void cred_hash1(unsigned char *out,unsigned char *in,unsigned char *key)
 {
        unsigned char buf[8];
 
-       smbhash(buf, in, key);
-       smbhash(out, buf, key+9);
+       smbhash(buf, in, key, 1);
+       smbhash(out, buf, key+9, 1);
 }
 
 void cred_hash2(unsigned char *out,unsigned char *in,unsigned char *key)
@@ -330,8 +343,108 @@ void cred_hash2(unsigned char *out,unsigned char *in,unsigned char *key)
        unsigned char buf[8];
        static unsigned char key2[8];
 
-       smbhash(buf, in, key);
+       smbhash(buf, in, key, 1);
        key2[0] = key[7];
-       smbhash(out, buf, key2);
+       smbhash(out, buf, key2, 1);
+}
+
+void cred_hash3(unsigned char *out,unsigned char *in,unsigned char *key, int forw)
+{
+        static unsigned char key2[8];
+
+        smbhash(out, in, key, forw);
+        key2[0] = key[7];
+        smbhash(out + 8, in + 8, key2, forw);
 }
 
+void NTLMSSPhash( unsigned char hash[256], unsigned char const key[5])
+{
+  unsigned char j = 0;
+  int ind;
+
+       unsigned char k2[8];
+
+       memcpy(k2, key, sizeof(key));
+       k2[5] = 0xe5;
+       k2[6] = 0xb8;
+       k2[6] = 0xb0;
+
+       for (ind = 0; ind < 256; ind++)
+       {
+               hash[ind] = (unsigned char)ind;
+       }
+
+       for( ind = 0; ind < 256; ind++)
+       {
+               unsigned char tc;
+
+               j += (hash[ind] + k2[ind%8]);
+
+               tc = hash[ind];
+               hash[ind] = hash[j];
+               hash[j] = tc;
+       }
+}
+
+void NTLMSSPcalc( unsigned char hash[256], unsigned char *data, int len)
+{
+       unsigned char index_i = 0;
+       unsigned char index_j = 0;
+       int ind;
+
+       for( ind = 0; ind < len; ind++)
+       {
+               unsigned char tc;
+               unsigned char t;
+
+               index_i++;
+               index_j += hash[index_i];
+
+               tc = hash[index_i];
+               hash[index_i] = hash[index_j];
+               hash[index_j] = tc;
+
+               t = hash[index_i] + hash[index_j];
+               data[ind] ^= hash[t];
+       }
+}
+
+void SamOEMhash( unsigned char *data, unsigned char *key, int val)
+{
+  unsigned char s_box[256];
+  unsigned char index_i = 0;
+  unsigned char index_j = 0;
+  unsigned char j = 0;
+  int ind;
+
+  for (ind = 0; ind < 256; ind++)
+  {
+    s_box[ind] = (unsigned char)ind;
+  }
+
+  for( ind = 0; ind < 256; ind++)
+  {
+     unsigned char tc;
+
+     j += (s_box[ind] + key[ind%16]);
+
+     tc = s_box[ind];
+     s_box[ind] = s_box[j];
+     s_box[j] = tc;
+  }
+  for( ind = 0; ind < (val ? 516 : 8); ind++)
+  {
+    unsigned char tc;
+    unsigned char t;
+
+    index_i++;
+    index_j += s_box[index_i];
+
+    tc = s_box[index_i];
+    s_box[index_i] = s_box[index_j];
+    s_box[index_j] = tc;
+
+    t = s_box[index_i] + s_box[index_j];
+    data[ind] = data[ind] ^ s_box[t];
+  }
+}