Merge branch 'acpica' of git://git.kernel.org/pub/scm/linux/kernel/git/lenb/linux...
[sfrench/cifs-2.6.git] / arch / x86 / crypto / aesni-intel_asm.S
1 /*
2  * Implement AES algorithm in Intel AES-NI instructions.
3  *
4  * The white paper of AES-NI instructions can be downloaded from:
5  *   http://softwarecommunity.intel.com/isn/downloads/intelavx/AES-Instructions-Set_WP.pdf
6  *
7  * Copyright (C) 2008, Intel Corp.
8  *    Author: Huang Ying <ying.huang@intel.com>
9  *            Vinodh Gopal <vinodh.gopal@intel.com>
10  *            Kahraman Akdemir
11  *
12  * This program is free software; you can redistribute it and/or modify
13  * it under the terms of the GNU General Public License as published by
14  * the Free Software Foundation; either version 2 of the License, or
15  * (at your option) any later version.
16  */
17
18 #include <linux/linkage.h>
19 #include <asm/inst.h>
20
21 .text
22
23 #define STATE1  %xmm0
24 #define STATE2  %xmm4
25 #define STATE3  %xmm5
26 #define STATE4  %xmm6
27 #define STATE   STATE1
28 #define IN1     %xmm1
29 #define IN2     %xmm7
30 #define IN3     %xmm8
31 #define IN4     %xmm9
32 #define IN      IN1
33 #define KEY     %xmm2
34 #define IV      %xmm3
35
36 #define KEYP    %rdi
37 #define OUTP    %rsi
38 #define INP     %rdx
39 #define LEN     %rcx
40 #define IVP     %r8
41 #define KLEN    %r9d
42 #define T1      %r10
43 #define TKEYP   T1
44 #define T2      %r11
45
46 _key_expansion_128:
47 _key_expansion_256a:
48         pshufd $0b11111111, %xmm1, %xmm1
49         shufps $0b00010000, %xmm0, %xmm4
50         pxor %xmm4, %xmm0
51         shufps $0b10001100, %xmm0, %xmm4
52         pxor %xmm4, %xmm0
53         pxor %xmm1, %xmm0
54         movaps %xmm0, (%rcx)
55         add $0x10, %rcx
56         ret
57
58 _key_expansion_192a:
59         pshufd $0b01010101, %xmm1, %xmm1
60         shufps $0b00010000, %xmm0, %xmm4
61         pxor %xmm4, %xmm0
62         shufps $0b10001100, %xmm0, %xmm4
63         pxor %xmm4, %xmm0
64         pxor %xmm1, %xmm0
65
66         movaps %xmm2, %xmm5
67         movaps %xmm2, %xmm6
68         pslldq $4, %xmm5
69         pshufd $0b11111111, %xmm0, %xmm3
70         pxor %xmm3, %xmm2
71         pxor %xmm5, %xmm2
72
73         movaps %xmm0, %xmm1
74         shufps $0b01000100, %xmm0, %xmm6
75         movaps %xmm6, (%rcx)
76         shufps $0b01001110, %xmm2, %xmm1
77         movaps %xmm1, 16(%rcx)
78         add $0x20, %rcx
79         ret
80
81 _key_expansion_192b:
82         pshufd $0b01010101, %xmm1, %xmm1
83         shufps $0b00010000, %xmm0, %xmm4
84         pxor %xmm4, %xmm0
85         shufps $0b10001100, %xmm0, %xmm4
86         pxor %xmm4, %xmm0
87         pxor %xmm1, %xmm0
88
89         movaps %xmm2, %xmm5
90         pslldq $4, %xmm5
91         pshufd $0b11111111, %xmm0, %xmm3
92         pxor %xmm3, %xmm2
93         pxor %xmm5, %xmm2
94
95         movaps %xmm0, (%rcx)
96         add $0x10, %rcx
97         ret
98
99 _key_expansion_256b:
100         pshufd $0b10101010, %xmm1, %xmm1
101         shufps $0b00010000, %xmm2, %xmm4
102         pxor %xmm4, %xmm2
103         shufps $0b10001100, %xmm2, %xmm4
104         pxor %xmm4, %xmm2
105         pxor %xmm1, %xmm2
106         movaps %xmm2, (%rcx)
107         add $0x10, %rcx
108         ret
109
110 /*
111  * int aesni_set_key(struct crypto_aes_ctx *ctx, const u8 *in_key,
112  *                   unsigned int key_len)
113  */
114 ENTRY(aesni_set_key)
115         movups (%rsi), %xmm0            # user key (first 16 bytes)
116         movaps %xmm0, (%rdi)
117         lea 0x10(%rdi), %rcx            # key addr
118         movl %edx, 480(%rdi)
119         pxor %xmm4, %xmm4               # xmm4 is assumed 0 in _key_expansion_x
120         cmp $24, %dl
121         jb .Lenc_key128
122         je .Lenc_key192
123         movups 0x10(%rsi), %xmm2        # other user key
124         movaps %xmm2, (%rcx)
125         add $0x10, %rcx
126         AESKEYGENASSIST 0x1 %xmm2 %xmm1         # round 1
127         call _key_expansion_256a
128         AESKEYGENASSIST 0x1 %xmm0 %xmm1
129         call _key_expansion_256b
130         AESKEYGENASSIST 0x2 %xmm2 %xmm1         # round 2
131         call _key_expansion_256a
132         AESKEYGENASSIST 0x2 %xmm0 %xmm1
133         call _key_expansion_256b
134         AESKEYGENASSIST 0x4 %xmm2 %xmm1         # round 3
135         call _key_expansion_256a
136         AESKEYGENASSIST 0x4 %xmm0 %xmm1
137         call _key_expansion_256b
138         AESKEYGENASSIST 0x8 %xmm2 %xmm1         # round 4
139         call _key_expansion_256a
140         AESKEYGENASSIST 0x8 %xmm0 %xmm1
141         call _key_expansion_256b
142         AESKEYGENASSIST 0x10 %xmm2 %xmm1        # round 5
143         call _key_expansion_256a
144         AESKEYGENASSIST 0x10 %xmm0 %xmm1
145         call _key_expansion_256b
146         AESKEYGENASSIST 0x20 %xmm2 %xmm1        # round 6
147         call _key_expansion_256a
148         AESKEYGENASSIST 0x20 %xmm0 %xmm1
149         call _key_expansion_256b
150         AESKEYGENASSIST 0x40 %xmm2 %xmm1        # round 7
151         call _key_expansion_256a
152         jmp .Ldec_key
153 .Lenc_key192:
154         movq 0x10(%rsi), %xmm2          # other user key
155         AESKEYGENASSIST 0x1 %xmm2 %xmm1         # round 1
156         call _key_expansion_192a
157         AESKEYGENASSIST 0x2 %xmm2 %xmm1         # round 2
158         call _key_expansion_192b
159         AESKEYGENASSIST 0x4 %xmm2 %xmm1         # round 3
160         call _key_expansion_192a
161         AESKEYGENASSIST 0x8 %xmm2 %xmm1         # round 4
162         call _key_expansion_192b
163         AESKEYGENASSIST 0x10 %xmm2 %xmm1        # round 5
164         call _key_expansion_192a
165         AESKEYGENASSIST 0x20 %xmm2 %xmm1        # round 6
166         call _key_expansion_192b
167         AESKEYGENASSIST 0x40 %xmm2 %xmm1        # round 7
168         call _key_expansion_192a
169         AESKEYGENASSIST 0x80 %xmm2 %xmm1        # round 8
170         call _key_expansion_192b
171         jmp .Ldec_key
172 .Lenc_key128:
173         AESKEYGENASSIST 0x1 %xmm0 %xmm1         # round 1
174         call _key_expansion_128
175         AESKEYGENASSIST 0x2 %xmm0 %xmm1         # round 2
176         call _key_expansion_128
177         AESKEYGENASSIST 0x4 %xmm0 %xmm1         # round 3
178         call _key_expansion_128
179         AESKEYGENASSIST 0x8 %xmm0 %xmm1         # round 4
180         call _key_expansion_128
181         AESKEYGENASSIST 0x10 %xmm0 %xmm1        # round 5
182         call _key_expansion_128
183         AESKEYGENASSIST 0x20 %xmm0 %xmm1        # round 6
184         call _key_expansion_128
185         AESKEYGENASSIST 0x40 %xmm0 %xmm1        # round 7
186         call _key_expansion_128
187         AESKEYGENASSIST 0x80 %xmm0 %xmm1        # round 8
188         call _key_expansion_128
189         AESKEYGENASSIST 0x1b %xmm0 %xmm1        # round 9
190         call _key_expansion_128
191         AESKEYGENASSIST 0x36 %xmm0 %xmm1        # round 10
192         call _key_expansion_128
193 .Ldec_key:
194         sub $0x10, %rcx
195         movaps (%rdi), %xmm0
196         movaps (%rcx), %xmm1
197         movaps %xmm0, 240(%rcx)
198         movaps %xmm1, 240(%rdi)
199         add $0x10, %rdi
200         lea 240-16(%rcx), %rsi
201 .align 4
202 .Ldec_key_loop:
203         movaps (%rdi), %xmm0
204         AESIMC %xmm0 %xmm1
205         movaps %xmm1, (%rsi)
206         add $0x10, %rdi
207         sub $0x10, %rsi
208         cmp %rcx, %rdi
209         jb .Ldec_key_loop
210         xor %rax, %rax
211         ret
212
213 /*
214  * void aesni_enc(struct crypto_aes_ctx *ctx, u8 *dst, const u8 *src)
215  */
216 ENTRY(aesni_enc)
217         movl 480(KEYP), KLEN            # key length
218         movups (INP), STATE             # input
219         call _aesni_enc1
220         movups STATE, (OUTP)            # output
221         ret
222
223 /*
224  * _aesni_enc1:         internal ABI
225  * input:
226  *      KEYP:           key struct pointer
227  *      KLEN:           round count
228  *      STATE:          initial state (input)
229  * output:
230  *      STATE:          finial state (output)
231  * changed:
232  *      KEY
233  *      TKEYP (T1)
234  */
235 _aesni_enc1:
236         movaps (KEYP), KEY              # key
237         mov KEYP, TKEYP
238         pxor KEY, STATE         # round 0
239         add $0x30, TKEYP
240         cmp $24, KLEN
241         jb .Lenc128
242         lea 0x20(TKEYP), TKEYP
243         je .Lenc192
244         add $0x20, TKEYP
245         movaps -0x60(TKEYP), KEY
246         AESENC KEY STATE
247         movaps -0x50(TKEYP), KEY
248         AESENC KEY STATE
249 .align 4
250 .Lenc192:
251         movaps -0x40(TKEYP), KEY
252         AESENC KEY STATE
253         movaps -0x30(TKEYP), KEY
254         AESENC KEY STATE
255 .align 4
256 .Lenc128:
257         movaps -0x20(TKEYP), KEY
258         AESENC KEY STATE
259         movaps -0x10(TKEYP), KEY
260         AESENC KEY STATE
261         movaps (TKEYP), KEY
262         AESENC KEY STATE
263         movaps 0x10(TKEYP), KEY
264         AESENC KEY STATE
265         movaps 0x20(TKEYP), KEY
266         AESENC KEY STATE
267         movaps 0x30(TKEYP), KEY
268         AESENC KEY STATE
269         movaps 0x40(TKEYP), KEY
270         AESENC KEY STATE
271         movaps 0x50(TKEYP), KEY
272         AESENC KEY STATE
273         movaps 0x60(TKEYP), KEY
274         AESENC KEY STATE
275         movaps 0x70(TKEYP), KEY
276         AESENCLAST KEY STATE
277         ret
278
279 /*
280  * _aesni_enc4: internal ABI
281  * input:
282  *      KEYP:           key struct pointer
283  *      KLEN:           round count
284  *      STATE1:         initial state (input)
285  *      STATE2
286  *      STATE3
287  *      STATE4
288  * output:
289  *      STATE1:         finial state (output)
290  *      STATE2
291  *      STATE3
292  *      STATE4
293  * changed:
294  *      KEY
295  *      TKEYP (T1)
296  */
297 _aesni_enc4:
298         movaps (KEYP), KEY              # key
299         mov KEYP, TKEYP
300         pxor KEY, STATE1                # round 0
301         pxor KEY, STATE2
302         pxor KEY, STATE3
303         pxor KEY, STATE4
304         add $0x30, TKEYP
305         cmp $24, KLEN
306         jb .L4enc128
307         lea 0x20(TKEYP), TKEYP
308         je .L4enc192
309         add $0x20, TKEYP
310         movaps -0x60(TKEYP), KEY
311         AESENC KEY STATE1
312         AESENC KEY STATE2
313         AESENC KEY STATE3
314         AESENC KEY STATE4
315         movaps -0x50(TKEYP), KEY
316         AESENC KEY STATE1
317         AESENC KEY STATE2
318         AESENC KEY STATE3
319         AESENC KEY STATE4
320 #.align 4
321 .L4enc192:
322         movaps -0x40(TKEYP), KEY
323         AESENC KEY STATE1
324         AESENC KEY STATE2
325         AESENC KEY STATE3
326         AESENC KEY STATE4
327         movaps -0x30(TKEYP), KEY
328         AESENC KEY STATE1
329         AESENC KEY STATE2
330         AESENC KEY STATE3
331         AESENC KEY STATE4
332 #.align 4
333 .L4enc128:
334         movaps -0x20(TKEYP), KEY
335         AESENC KEY STATE1
336         AESENC KEY STATE2
337         AESENC KEY STATE3
338         AESENC KEY STATE4
339         movaps -0x10(TKEYP), KEY
340         AESENC KEY STATE1
341         AESENC KEY STATE2
342         AESENC KEY STATE3
343         AESENC KEY STATE4
344         movaps (TKEYP), KEY
345         AESENC KEY STATE1
346         AESENC KEY STATE2
347         AESENC KEY STATE3
348         AESENC KEY STATE4
349         movaps 0x10(TKEYP), KEY
350         AESENC KEY STATE1
351         AESENC KEY STATE2
352         AESENC KEY STATE3
353         AESENC KEY STATE4
354         movaps 0x20(TKEYP), KEY
355         AESENC KEY STATE1
356         AESENC KEY STATE2
357         AESENC KEY STATE3
358         AESENC KEY STATE4
359         movaps 0x30(TKEYP), KEY
360         AESENC KEY STATE1
361         AESENC KEY STATE2
362         AESENC KEY STATE3
363         AESENC KEY STATE4
364         movaps 0x40(TKEYP), KEY
365         AESENC KEY STATE1
366         AESENC KEY STATE2
367         AESENC KEY STATE3
368         AESENC KEY STATE4
369         movaps 0x50(TKEYP), KEY
370         AESENC KEY STATE1
371         AESENC KEY STATE2
372         AESENC KEY STATE3
373         AESENC KEY STATE4
374         movaps 0x60(TKEYP), KEY
375         AESENC KEY STATE1
376         AESENC KEY STATE2
377         AESENC KEY STATE3
378         AESENC KEY STATE4
379         movaps 0x70(TKEYP), KEY
380         AESENCLAST KEY STATE1           # last round
381         AESENCLAST KEY STATE2
382         AESENCLAST KEY STATE3
383         AESENCLAST KEY STATE4
384         ret
385
386 /*
387  * void aesni_dec (struct crypto_aes_ctx *ctx, u8 *dst, const u8 *src)
388  */
389 ENTRY(aesni_dec)
390         mov 480(KEYP), KLEN             # key length
391         add $240, KEYP
392         movups (INP), STATE             # input
393         call _aesni_dec1
394         movups STATE, (OUTP)            #output
395         ret
396
397 /*
398  * _aesni_dec1:         internal ABI
399  * input:
400  *      KEYP:           key struct pointer
401  *      KLEN:           key length
402  *      STATE:          initial state (input)
403  * output:
404  *      STATE:          finial state (output)
405  * changed:
406  *      KEY
407  *      TKEYP (T1)
408  */
409 _aesni_dec1:
410         movaps (KEYP), KEY              # key
411         mov KEYP, TKEYP
412         pxor KEY, STATE         # round 0
413         add $0x30, TKEYP
414         cmp $24, KLEN
415         jb .Ldec128
416         lea 0x20(TKEYP), TKEYP
417         je .Ldec192
418         add $0x20, TKEYP
419         movaps -0x60(TKEYP), KEY
420         AESDEC KEY STATE
421         movaps -0x50(TKEYP), KEY
422         AESDEC KEY STATE
423 .align 4
424 .Ldec192:
425         movaps -0x40(TKEYP), KEY
426         AESDEC KEY STATE
427         movaps -0x30(TKEYP), KEY
428         AESDEC KEY STATE
429 .align 4
430 .Ldec128:
431         movaps -0x20(TKEYP), KEY
432         AESDEC KEY STATE
433         movaps -0x10(TKEYP), KEY
434         AESDEC KEY STATE
435         movaps (TKEYP), KEY
436         AESDEC KEY STATE
437         movaps 0x10(TKEYP), KEY
438         AESDEC KEY STATE
439         movaps 0x20(TKEYP), KEY
440         AESDEC KEY STATE
441         movaps 0x30(TKEYP), KEY
442         AESDEC KEY STATE
443         movaps 0x40(TKEYP), KEY
444         AESDEC KEY STATE
445         movaps 0x50(TKEYP), KEY
446         AESDEC KEY STATE
447         movaps 0x60(TKEYP), KEY
448         AESDEC KEY STATE
449         movaps 0x70(TKEYP), KEY
450         AESDECLAST KEY STATE
451         ret
452
453 /*
454  * _aesni_dec4: internal ABI
455  * input:
456  *      KEYP:           key struct pointer
457  *      KLEN:           key length
458  *      STATE1:         initial state (input)
459  *      STATE2
460  *      STATE3
461  *      STATE4
462  * output:
463  *      STATE1:         finial state (output)
464  *      STATE2
465  *      STATE3
466  *      STATE4
467  * changed:
468  *      KEY
469  *      TKEYP (T1)
470  */
471 _aesni_dec4:
472         movaps (KEYP), KEY              # key
473         mov KEYP, TKEYP
474         pxor KEY, STATE1                # round 0
475         pxor KEY, STATE2
476         pxor KEY, STATE3
477         pxor KEY, STATE4
478         add $0x30, TKEYP
479         cmp $24, KLEN
480         jb .L4dec128
481         lea 0x20(TKEYP), TKEYP
482         je .L4dec192
483         add $0x20, TKEYP
484         movaps -0x60(TKEYP), KEY
485         AESDEC KEY STATE1
486         AESDEC KEY STATE2
487         AESDEC KEY STATE3
488         AESDEC KEY STATE4
489         movaps -0x50(TKEYP), KEY
490         AESDEC KEY STATE1
491         AESDEC KEY STATE2
492         AESDEC KEY STATE3
493         AESDEC KEY STATE4
494 .align 4
495 .L4dec192:
496         movaps -0x40(TKEYP), KEY
497         AESDEC KEY STATE1
498         AESDEC KEY STATE2
499         AESDEC KEY STATE3
500         AESDEC KEY STATE4
501         movaps -0x30(TKEYP), KEY
502         AESDEC KEY STATE1
503         AESDEC KEY STATE2
504         AESDEC KEY STATE3
505         AESDEC KEY STATE4
506 .align 4
507 .L4dec128:
508         movaps -0x20(TKEYP), KEY
509         AESDEC KEY STATE1
510         AESDEC KEY STATE2
511         AESDEC KEY STATE3
512         AESDEC KEY STATE4
513         movaps -0x10(TKEYP), KEY
514         AESDEC KEY STATE1
515         AESDEC KEY STATE2
516         AESDEC KEY STATE3
517         AESDEC KEY STATE4
518         movaps (TKEYP), KEY
519         AESDEC KEY STATE1
520         AESDEC KEY STATE2
521         AESDEC KEY STATE3
522         AESDEC KEY STATE4
523         movaps 0x10(TKEYP), KEY
524         AESDEC KEY STATE1
525         AESDEC KEY STATE2
526         AESDEC KEY STATE3
527         AESDEC KEY STATE4
528         movaps 0x20(TKEYP), KEY
529         AESDEC KEY STATE1
530         AESDEC KEY STATE2
531         AESDEC KEY STATE3
532         AESDEC KEY STATE4
533         movaps 0x30(TKEYP), KEY
534         AESDEC KEY STATE1
535         AESDEC KEY STATE2
536         AESDEC KEY STATE3
537         AESDEC KEY STATE4
538         movaps 0x40(TKEYP), KEY
539         AESDEC KEY STATE1
540         AESDEC KEY STATE2
541         AESDEC KEY STATE3
542         AESDEC KEY STATE4
543         movaps 0x50(TKEYP), KEY
544         AESDEC KEY STATE1
545         AESDEC KEY STATE2
546         AESDEC KEY STATE3
547         AESDEC KEY STATE4
548         movaps 0x60(TKEYP), KEY
549         AESDEC KEY STATE1
550         AESDEC KEY STATE2
551         AESDEC KEY STATE3
552         AESDEC KEY STATE4
553         movaps 0x70(TKEYP), KEY
554         AESDECLAST KEY STATE1           # last round
555         AESDECLAST KEY STATE2
556         AESDECLAST KEY STATE3
557         AESDECLAST KEY STATE4
558         ret
559
560 /*
561  * void aesni_ecb_enc(struct crypto_aes_ctx *ctx, const u8 *dst, u8 *src,
562  *                    size_t len)
563  */
564 ENTRY(aesni_ecb_enc)
565         test LEN, LEN           # check length
566         jz .Lecb_enc_ret
567         mov 480(KEYP), KLEN
568         cmp $16, LEN
569         jb .Lecb_enc_ret
570         cmp $64, LEN
571         jb .Lecb_enc_loop1
572 .align 4
573 .Lecb_enc_loop4:
574         movups (INP), STATE1
575         movups 0x10(INP), STATE2
576         movups 0x20(INP), STATE3
577         movups 0x30(INP), STATE4
578         call _aesni_enc4
579         movups STATE1, (OUTP)
580         movups STATE2, 0x10(OUTP)
581         movups STATE3, 0x20(OUTP)
582         movups STATE4, 0x30(OUTP)
583         sub $64, LEN
584         add $64, INP
585         add $64, OUTP
586         cmp $64, LEN
587         jge .Lecb_enc_loop4
588         cmp $16, LEN
589         jb .Lecb_enc_ret
590 .align 4
591 .Lecb_enc_loop1:
592         movups (INP), STATE1
593         call _aesni_enc1
594         movups STATE1, (OUTP)
595         sub $16, LEN
596         add $16, INP
597         add $16, OUTP
598         cmp $16, LEN
599         jge .Lecb_enc_loop1
600 .Lecb_enc_ret:
601         ret
602
603 /*
604  * void aesni_ecb_dec(struct crypto_aes_ctx *ctx, const u8 *dst, u8 *src,
605  *                    size_t len);
606  */
607 ENTRY(aesni_ecb_dec)
608         test LEN, LEN
609         jz .Lecb_dec_ret
610         mov 480(KEYP), KLEN
611         add $240, KEYP
612         cmp $16, LEN
613         jb .Lecb_dec_ret
614         cmp $64, LEN
615         jb .Lecb_dec_loop1
616 .align 4
617 .Lecb_dec_loop4:
618         movups (INP), STATE1
619         movups 0x10(INP), STATE2
620         movups 0x20(INP), STATE3
621         movups 0x30(INP), STATE4
622         call _aesni_dec4
623         movups STATE1, (OUTP)
624         movups STATE2, 0x10(OUTP)
625         movups STATE3, 0x20(OUTP)
626         movups STATE4, 0x30(OUTP)
627         sub $64, LEN
628         add $64, INP
629         add $64, OUTP
630         cmp $64, LEN
631         jge .Lecb_dec_loop4
632         cmp $16, LEN
633         jb .Lecb_dec_ret
634 .align 4
635 .Lecb_dec_loop1:
636         movups (INP), STATE1
637         call _aesni_dec1
638         movups STATE1, (OUTP)
639         sub $16, LEN
640         add $16, INP
641         add $16, OUTP
642         cmp $16, LEN
643         jge .Lecb_dec_loop1
644 .Lecb_dec_ret:
645         ret
646
647 /*
648  * void aesni_cbc_enc(struct crypto_aes_ctx *ctx, const u8 *dst, u8 *src,
649  *                    size_t len, u8 *iv)
650  */
651 ENTRY(aesni_cbc_enc)
652         cmp $16, LEN
653         jb .Lcbc_enc_ret
654         mov 480(KEYP), KLEN
655         movups (IVP), STATE     # load iv as initial state
656 .align 4
657 .Lcbc_enc_loop:
658         movups (INP), IN        # load input
659         pxor IN, STATE
660         call _aesni_enc1
661         movups STATE, (OUTP)    # store output
662         sub $16, LEN
663         add $16, INP
664         add $16, OUTP
665         cmp $16, LEN
666         jge .Lcbc_enc_loop
667         movups STATE, (IVP)
668 .Lcbc_enc_ret:
669         ret
670
671 /*
672  * void aesni_cbc_dec(struct crypto_aes_ctx *ctx, const u8 *dst, u8 *src,
673  *                    size_t len, u8 *iv)
674  */
675 ENTRY(aesni_cbc_dec)
676         cmp $16, LEN
677         jb .Lcbc_dec_just_ret
678         mov 480(KEYP), KLEN
679         add $240, KEYP
680         movups (IVP), IV
681         cmp $64, LEN
682         jb .Lcbc_dec_loop1
683 .align 4
684 .Lcbc_dec_loop4:
685         movups (INP), IN1
686         movaps IN1, STATE1
687         movups 0x10(INP), IN2
688         movaps IN2, STATE2
689         movups 0x20(INP), IN3
690         movaps IN3, STATE3
691         movups 0x30(INP), IN4
692         movaps IN4, STATE4
693         call _aesni_dec4
694         pxor IV, STATE1
695         pxor IN1, STATE2
696         pxor IN2, STATE3
697         pxor IN3, STATE4
698         movaps IN4, IV
699         movups STATE1, (OUTP)
700         movups STATE2, 0x10(OUTP)
701         movups STATE3, 0x20(OUTP)
702         movups STATE4, 0x30(OUTP)
703         sub $64, LEN
704         add $64, INP
705         add $64, OUTP
706         cmp $64, LEN
707         jge .Lcbc_dec_loop4
708         cmp $16, LEN
709         jb .Lcbc_dec_ret
710 .align 4
711 .Lcbc_dec_loop1:
712         movups (INP), IN
713         movaps IN, STATE
714         call _aesni_dec1
715         pxor IV, STATE
716         movups STATE, (OUTP)
717         movaps IN, IV
718         sub $16, LEN
719         add $16, INP
720         add $16, OUTP
721         cmp $16, LEN
722         jge .Lcbc_dec_loop1
723 .Lcbc_dec_ret:
724         movups IV, (IVP)
725 .Lcbc_dec_just_ret:
726         ret