r23455: These buffers may not be null terminated. Ensure we don't run past the
[sfrench/samba-autobuild/.git] / source / heimdal / lib / hcrypto / rsa.h
1 /*
2  * Copyright (c) 2006 Kungliga Tekniska Högskolan
3  * (Royal Institute of Technology, Stockholm, Sweden). 
4  * All rights reserved. 
5  *
6  * Redistribution and use in source and binary forms, with or without 
7  * modification, are permitted provided that the following conditions 
8  * are met: 
9  *
10  * 1. Redistributions of source code must retain the above copyright 
11  *    notice, this list of conditions and the following disclaimer. 
12  *
13  * 2. Redistributions in binary form must reproduce the above copyright 
14  *    notice, this list of conditions and the following disclaimer in the 
15  *    documentation and/or other materials provided with the distribution. 
16  *
17  * 3. Neither the name of the Institute nor the names of its contributors 
18  *    may be used to endorse or promote products derived from this software 
19  *    without specific prior written permission. 
20  *
21  * THIS SOFTWARE IS PROVIDED BY THE INSTITUTE AND CONTRIBUTORS ``AS IS'' AND 
22  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE 
23  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE 
24  * ARE DISCLAIMED.  IN NO EVENT SHALL THE INSTITUTE OR CONTRIBUTORS BE LIABLE 
25  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL 
26  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS 
27  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) 
28  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT 
29  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY 
30  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF 
31  * SUCH DAMAGE. 
32  */
33
34 /*
35  * $Id: rsa.h 19734 2007-01-05 20:26:23Z lha $
36  */
37
38 #ifndef _HEIM_RSA_H
39 #define _HEIM_RSA_H 1
40
41 /* symbol renaming */
42 #define RSA_null_method hc_RSA_null_method
43 #define RSA_imath_method hc_RSA_imath_method
44 #define RSA_new hc_RSA_new
45 #define RSA_new_method hc_RSA_new_method
46 #define RSA_free hc_RSA_free
47 #define RSA_up_ref hc_RSA_up_ref
48 #define RSA_set_default_method hc_RSA_set_default_method
49 #define RSA_get_default_method hc_RSA_get_default_method
50 #define RSA_set_method hc_RSA_set_method
51 #define RSA_get_method hc_RSA_get_method
52 #define RSA_set_app_data hc_RSA_set_app_data
53 #define RSA_get_app_data hc_RSA_get_app_data
54 #define RSA_check_key hc_RSA_check_key
55 #define RSA_size hc_RSA_size
56 #define RSA_public_encrypt hc_RSA_public_encrypt
57 #define RSA_public_decrypt hc_RSA_public_decrypt
58 #define RSA_private_encrypt hc_RSA_private_encrypt
59 #define RSA_private_decrypt hc_RSA_private_decrypt
60 #define RSA_sign hc_RSA_sign
61 #define RSA_verify hc_RSA_verify
62 #define RSA_generate_key_ex hc_RSA_generate_key_ex
63 #define d2i_RSAPrivateKey hc_d2i_RSAPrivateKey
64 #define i2d_RSAPrivateKey hc_i2d_RSAPrivateKey
65 #define i2d_RSAPublicKey hc_i2d_RSAPublicKey
66
67 /*
68  *
69  */
70
71 typedef struct RSA RSA;
72 typedef struct RSA_METHOD RSA_METHOD;
73
74 #include <hcrypto/bn.h>
75 #include <hcrypto/engine.h>
76
77 struct RSA_METHOD {
78     const char *name;
79     int (*rsa_pub_enc)(int,const unsigned char *, unsigned char *, RSA *,int);
80     int (*rsa_pub_dec)(int,const unsigned char *, unsigned char *, RSA *,int);
81     int (*rsa_priv_enc)(int,const unsigned char *, unsigned char *, RSA *,int);
82     int (*rsa_priv_dec)(int,const unsigned char *, unsigned char *, RSA *,int);
83     void *rsa_mod_exp;
84     void *bn_mod_exp;
85     int (*init)(RSA *rsa);
86     int (*finish)(RSA *rsa);
87     int flags;
88     char *app_data;
89     int (*rsa_sign)(int, const unsigned char *, unsigned int,
90                     unsigned char *, unsigned int *, const RSA *);
91     int (*rsa_verify)(int, const unsigned char *, unsigned int,
92                       unsigned char *, unsigned int, const RSA *);
93     int (*rsa_keygen)(RSA *, int, BIGNUM *, BN_GENCB *);
94 };
95
96 struct RSA {
97     int pad;
98     long version;
99     const RSA_METHOD *meth;
100     void *engine;
101     BIGNUM *n;
102     BIGNUM *e;
103     BIGNUM *d;
104     BIGNUM *p;
105     BIGNUM *q;
106     BIGNUM *dmp1;
107     BIGNUM *dmq1;
108     BIGNUM *iqmp;
109     struct rsa_CRYPTO_EX_DATA {
110         void *sk;
111         int dummy;
112     } ex_data;
113     int references;
114     int flags;
115     void *_method_mod_n;
116     void *_method_mod_p;
117     void *_method_mod_q;
118
119     char *bignum_data;
120     void *blinding;
121     void *mt_blinding;
122 };
123
124 #define RSA_FLAG_NO_BLINDING            0x0080
125
126 #define RSA_PKCS1_PADDING               1
127 #define RSA_PKCS1_OAEP_PADDING          4
128 #define RSA_PKCS1_PADDING_SIZE          11
129
130 /*
131  *
132  */
133
134 const RSA_METHOD *RSA_null_method(void);
135 const RSA_METHOD *RSA_imath_method(void);
136
137 /*
138  *
139  */
140
141 RSA *   RSA_new(void);
142 RSA *   RSA_new_method(ENGINE *);
143 void    RSA_free(RSA *);
144 int     RSA_up_ref(RSA *);
145
146 void    RSA_set_default_method(const RSA_METHOD *);
147 const RSA_METHOD * RSA_get_default_method(void);
148
149 const RSA_METHOD * RSA_get_method(const RSA *);
150 int RSA_set_method(RSA *, const RSA_METHOD *);
151
152 int     RSA_set_app_data(RSA *, void *arg);
153 void *  RSA_get_app_data(RSA *);
154
155 int     RSA_check_key(const RSA *);
156 int     RSA_size(const RSA *);
157
158 int     RSA_public_encrypt(int,const unsigned char*,unsigned char*,RSA *,int);
159 int     RSA_private_encrypt(int,const unsigned char*,unsigned char*,RSA *,int);
160 int     RSA_public_decrypt(int,const unsigned char*,unsigned char*,RSA *,int);
161 int     RSA_private_decrypt(int,const unsigned char*,unsigned char*,RSA *,int);
162
163 int RSA_sign(int, const unsigned char *, unsigned int,
164              unsigned char *, unsigned int *, RSA *);
165 int RSA_verify(int, const unsigned char *, unsigned int,
166                unsigned char *, unsigned int, RSA *);
167
168 int     RSA_generate_key_ex(RSA *, int, BIGNUM *, BN_GENCB *);
169
170 RSA *   d2i_RSAPrivateKey(RSA *, const unsigned char **, size_t);
171 int     i2d_RSAPrivateKey(RSA *, unsigned char **);
172
173 int     i2d_RSAPublicKey(RSA *, unsigned char **);
174
175 #endif /* _HEIM_RSA_H */