arch/arm/crypto/curve25519-core.S

   1 /* SPDX-License-Identifier: GPL-2.0 OR MIT */
   2 /*
   3  * Copyright (C) 2015-2019 Jason A. Donenfeld <Jason@zx2c4.com>. All Rights Reserved.
   4  *
   5  * Based on public domain code from Daniel J. Bernstein and Peter Schwabe. This
   6  * began from SUPERCOP's curve25519/neon2/scalarmult.s, but has subsequently been
   7  * manually reworked for use in kernel space.
   8  */
   9
  10 #include <linux/linkage.h>
  11
  12 .text
  13 .fpu neon
  14 .arch armv7-a
  15 .align 4
  16
  17 ENTRY(curve25519_neon)
  18         push            {r4-r11, lr}
  19         mov             ip, sp
  20         sub             r3, sp, #704
  21         and             r3, r3, #0xfffffff0
  22         mov             sp, r3
  23         movw            r4, #0
  24         movw            r5, #254
  25         vmov.i32        q0, #1
  26         vshr.u64        q1, q0, #7
  27         vshr.u64        q0, q0, #8
  28         vmov.i32        d4, #19
  29         vmov.i32        d5, #38
  30         add             r6, sp, #480
  31         vst1.8          {d2-d3}, [r6, : 128]!
  32         vst1.8          {d0-d1}, [r6, : 128]!
  33         vst1.8          {d4-d5}, [r6, : 128]
  34         add             r6, r3, #0
  35         vmov.i32        q2, #0
  36         vst1.8          {d4-d5}, [r6, : 128]!
  37         vst1.8          {d4-d5}, [r6, : 128]!
  38         vst1.8          d4, [r6, : 64]
  39         add             r6, r3, #0
  40         movw            r7, #960
  41         sub             r7, r7, #2
  42         neg             r7, r7
  43         sub             r7, r7, r7, LSL #7
  44         str             r7, [r6]
  45         add             r6, sp, #672
  46         vld1.8          {d4-d5}, [r1]!
  47         vld1.8          {d6-d7}, [r1]
  48         vst1.8          {d4-d5}, [r6, : 128]!
  49         vst1.8          {d6-d7}, [r6, : 128]
  50         sub             r1, r6, #16
  51         ldrb            r6, [r1]
  52         and             r6, r6, #248
  53         strb            r6, [r1]
  54         ldrb            r6, [r1, #31]
  55         and             r6, r6, #127
  56         orr             r6, r6, #64
  57         strb            r6, [r1, #31]
  58         vmov.i64        q2, #0xffffffff
  59         vshr.u64        q3, q2, #7
  60         vshr.u64        q2, q2, #6
  61         vld1.8          {d8}, [r2]
  62         vld1.8          {d10}, [r2]
  63         add             r2, r2, #6
  64         vld1.8          {d12}, [r2]
  65         vld1.8          {d14}, [r2]
  66         add             r2, r2, #6
  67         vld1.8          {d16}, [r2]
  68         add             r2, r2, #4
  69         vld1.8          {d18}, [r2]
  70         vld1.8          {d20}, [r2]
  71         add             r2, r2, #6
  72         vld1.8          {d22}, [r2]
  73         add             r2, r2, #2
  74         vld1.8          {d24}, [r2]
  75         vld1.8          {d26}, [r2]
  76         vshr.u64        q5, q5, #26
  77         vshr.u64        q6, q6, #3
  78         vshr.u64        q7, q7, #29
  79         vshr.u64        q8, q8, #6
  80         vshr.u64        q10, q10, #25
  81         vshr.u64        q11, q11, #3
  82         vshr.u64        q12, q12, #12
  83         vshr.u64        q13, q13, #38
  84         vand            q4, q4, q2
  85         vand            q6, q6, q2
  86         vand            q8, q8, q2
  87         vand            q10, q10, q2
  88         vand            q2, q12, q2
  89         vand            q5, q5, q3
  90         vand            q7, q7, q3
  91         vand            q9, q9, q3
  92         vand            q11, q11, q3
  93         vand            q3, q13, q3
  94         add             r2, r3, #48
  95         vadd.i64        q12, q4, q1
  96         vadd.i64        q13, q10, q1
  97         vshr.s64        q12, q12, #26
  98         vshr.s64        q13, q13, #26
  99         vadd.i64        q5, q5, q12
 100         vshl.i64        q12, q12, #26
 101         vadd.i64        q14, q5, q0
 102         vadd.i64        q11, q11, q13
 103         vshl.i64        q13, q13, #26
 104         vadd.i64        q15, q11, q0
 105         vsub.i64        q4, q4, q12
 106         vshr.s64        q12, q14, #25
 107         vsub.i64        q10, q10, q13
 108         vshr.s64        q13, q15, #25
 109         vadd.i64        q6, q6, q12
 110         vshl.i64        q12, q12, #25
 111         vadd.i64        q14, q6, q1
 112         vadd.i64        q2, q2, q13
 113         vsub.i64        q5, q5, q12
 114         vshr.s64        q12, q14, #26
 115         vshl.i64        q13, q13, #25
 116         vadd.i64        q14, q2, q1
 117         vadd.i64        q7, q7, q12
 118         vshl.i64        q12, q12, #26
 119         vadd.i64        q15, q7, q0
 120         vsub.i64        q11, q11, q13
 121         vshr.s64        q13, q14, #26
 122         vsub.i64        q6, q6, q12
 123         vshr.s64        q12, q15, #25
 124         vadd.i64        q3, q3, q13
 125         vshl.i64        q13, q13, #26
 126         vadd.i64        q14, q3, q0
 127         vadd.i64        q8, q8, q12
 128         vshl.i64        q12, q12, #25
 129         vadd.i64        q15, q8, q1
 130         add             r2, r2, #8
 131         vsub.i64        q2, q2, q13
 132         vshr.s64        q13, q14, #25
 133         vsub.i64        q7, q7, q12
 134         vshr.s64        q12, q15, #26
 135         vadd.i64        q14, q13, q13
 136         vadd.i64        q9, q9, q12
 137         vtrn.32         d12, d14
 138         vshl.i64        q12, q12, #26
 139         vtrn.32         d13, d15
 140         vadd.i64        q0, q9, q0
 141         vadd.i64        q4, q4, q14
 142         vst1.8          d12, [r2, : 64]!
 143         vshl.i64        q6, q13, #4
 144         vsub.i64        q7, q8, q12
 145         vshr.s64        q0, q0, #25
 146         vadd.i64        q4, q4, q6
 147         vadd.i64        q6, q10, q0
 148         vshl.i64        q0, q0, #25
 149         vadd.i64        q8, q6, q1
 150         vadd.i64        q4, q4, q13
 151         vshl.i64        q10, q13, #25
 152         vadd.i64        q1, q4, q1
 153         vsub.i64        q0, q9, q0
 154         vshr.s64        q8, q8, #26
 155         vsub.i64        q3, q3, q10
 156         vtrn.32         d14, d0
 157         vshr.s64        q1, q1, #26
 158         vtrn.32         d15, d1
 159         vadd.i64        q0, q11, q8
 160         vst1.8          d14, [r2, : 64]
 161         vshl.i64        q7, q8, #26
 162         vadd.i64        q5, q5, q1
 163         vtrn.32         d4, d6
 164         vshl.i64        q1, q1, #26
 165         vtrn.32         d5, d7
 166         vsub.i64        q3, q6, q7
 167         add             r2, r2, #16
 168         vsub.i64        q1, q4, q1
 169         vst1.8          d4, [r2, : 64]
 170         vtrn.32         d6, d0
 171         vtrn.32         d7, d1
 172         sub             r2, r2, #8
 173         vtrn.32         d2, d10
 174         vtrn.32         d3, d11
 175         vst1.8          d6, [r2, : 64]
 176         sub             r2, r2, #24
 177         vst1.8          d2, [r2, : 64]
 178         add             r2, r3, #96
 179         vmov.i32        q0, #0
 180         vmov.i64        d2, #0xff
 181         vmov.i64        d3, #0
 182         vshr.u32        q1, q1, #7
 183         vst1.8          {d2-d3}, [r2, : 128]!
 184         vst1.8          {d0-d1}, [r2, : 128]!
 185         vst1.8          d0, [r2, : 64]
 186         add             r2, r3, #144
 187         vmov.i32        q0, #0
 188         vst1.8          {d0-d1}, [r2, : 128]!
 189         vst1.8          {d0-d1}, [r2, : 128]!
 190         vst1.8          d0, [r2, : 64]
 191         add             r2, r3, #240
 192         vmov.i32        q0, #0
 193         vmov.i64        d2, #0xff
 194         vmov.i64        d3, #0
 195         vshr.u32        q1, q1, #7
 196         vst1.8          {d2-d3}, [r2, : 128]!
 197         vst1.8          {d0-d1}, [r2, : 128]!
 198         vst1.8          d0, [r2, : 64]
 199         add             r2, r3, #48
 200         add             r6, r3, #192
 201         vld1.8          {d0-d1}, [r2, : 128]!
 202         vld1.8          {d2-d3}, [r2, : 128]!
 203         vld1.8          {d4}, [r2, : 64]
 204         vst1.8          {d0-d1}, [r6, : 128]!
 205         vst1.8          {d2-d3}, [r6, : 128]!
 206         vst1.8          d4, [r6, : 64]
 207 .Lmainloop:
 208         mov             r2, r5, LSR #3
 209         and             r6, r5, #7
 210         ldrb            r2, [r1, r2]
 211         mov             r2, r2, LSR r6
 212         and             r2, r2, #1
 213         str             r5, [sp, #456]
 214         eor             r4, r4, r2
 215         str             r2, [sp, #460]
 216         neg             r2, r4
 217         add             r4, r3, #96
 218         add             r5, r3, #192
 219         add             r6, r3, #144
 220         vld1.8          {d8-d9}, [r4, : 128]!
 221         add             r7, r3, #240
 222         vld1.8          {d10-d11}, [r5, : 128]!
 223         veor            q6, q4, q5
 224         vld1.8          {d14-d15}, [r6, : 128]!
 225         vdup.i32        q8, r2
 226         vld1.8          {d18-d19}, [r7, : 128]!
 227         veor            q10, q7, q9
 228         vld1.8          {d22-d23}, [r4, : 128]!
 229         vand            q6, q6, q8
 230         vld1.8          {d24-d25}, [r5, : 128]!
 231         vand            q10, q10, q8
 232         vld1.8          {d26-d27}, [r6, : 128]!
 233         veor            q4, q4, q6
 234         vld1.8          {d28-d29}, [r7, : 128]!
 235         veor            q5, q5, q6
 236         vld1.8          {d0}, [r4, : 64]
 237         veor            q6, q7, q10
 238         vld1.8          {d2}, [r5, : 64]
 239         veor            q7, q9, q10
 240         vld1.8          {d4}, [r6, : 64]
 241         veor            q9, q11, q12
 242         vld1.8          {d6}, [r7, : 64]
 243         veor            q10, q0, q1
 244         sub             r2, r4, #32
 245         vand            q9, q9, q8
 246         sub             r4, r5, #32
 247         vand            q10, q10, q8
 248         sub             r5, r6, #32
 249         veor            q11, q11, q9
 250         sub             r6, r7, #32
 251         veor            q0, q0, q10
 252         veor            q9, q12, q9
 253         veor            q1, q1, q10
 254         veor            q10, q13, q14
 255         veor            q12, q2, q3
 256         vand            q10, q10, q8
 257         vand            q8, q12, q8
 258         veor            q12, q13, q10
 259         veor            q2, q2, q8
 260         veor            q10, q14, q10
 261         veor            q3, q3, q8
 262         vadd.i32        q8, q4, q6
 263         vsub.i32        q4, q4, q6
 264         vst1.8          {d16-d17}, [r2, : 128]!
 265         vadd.i32        q6, q11, q12
 266         vst1.8          {d8-d9}, [r5, : 128]!
 267         vsub.i32        q4, q11, q12
 268         vst1.8          {d12-d13}, [r2, : 128]!
 269         vadd.i32        q6, q0, q2
 270         vst1.8          {d8-d9}, [r5, : 128]!
 271         vsub.i32        q0, q0, q2
 272         vst1.8          d12, [r2, : 64]
 273         vadd.i32        q2, q5, q7
 274         vst1.8          d0, [r5, : 64]
 275         vsub.i32        q0, q5, q7
 276         vst1.8          {d4-d5}, [r4, : 128]!
 277         vadd.i32        q2, q9, q10
 278         vst1.8          {d0-d1}, [r6, : 128]!
 279         vsub.i32        q0, q9, q10
 280         vst1.8          {d4-d5}, [r4, : 128]!
 281         vadd.i32        q2, q1, q3
 282         vst1.8          {d0-d1}, [r6, : 128]!
 283         vsub.i32        q0, q1, q3
 284         vst1.8          d4, [r4, : 64]
 285         vst1.8          d0, [r6, : 64]
 286         add             r2, sp, #512
 287         add             r4, r3, #96
 288         add             r5, r3, #144
 289         vld1.8          {d0-d1}, [r2, : 128]
 290         vld1.8          {d2-d3}, [r4, : 128]!
 291         vld1.8          {d4-d5}, [r5, : 128]!
 292         vzip.i32        q1, q2
 293         vld1.8          {d6-d7}, [r4, : 128]!
 294         vld1.8          {d8-d9}, [r5, : 128]!
 295         vshl.i32        q5, q1, #1
 296         vzip.i32        q3, q4
 297         vshl.i32        q6, q2, #1
 298         vld1.8          {d14}, [r4, : 64]
 299         vshl.i32        q8, q3, #1
 300         vld1.8          {d15}, [r5, : 64]
 301         vshl.i32        q9, q4, #1
 302         vmul.i32        d21, d7, d1
 303         vtrn.32         d14, d15
 304         vmul.i32        q11, q4, q0
 305         vmul.i32        q0, q7, q0
 306         vmull.s32       q12, d2, d2
 307         vmlal.s32       q12, d11, d1
 308         vmlal.s32       q12, d12, d0
 309         vmlal.s32       q12, d13, d23
 310         vmlal.s32       q12, d16, d22
 311         vmlal.s32       q12, d7, d21
 312         vmull.s32       q10, d2, d11
 313         vmlal.s32       q10, d4, d1
 314         vmlal.s32       q10, d13, d0
 315         vmlal.s32       q10, d6, d23
 316         vmlal.s32       q10, d17, d22
 317         vmull.s32       q13, d10, d4
 318         vmlal.s32       q13, d11, d3
 319         vmlal.s32       q13, d13, d1
 320         vmlal.s32       q13, d16, d0
 321         vmlal.s32       q13, d17, d23
 322         vmlal.s32       q13, d8, d22
 323         vmull.s32       q1, d10, d5
 324         vmlal.s32       q1, d11, d4
 325         vmlal.s32       q1, d6, d1
 326         vmlal.s32       q1, d17, d0
 327         vmlal.s32       q1, d8, d23
 328         vmull.s32       q14, d10, d6
 329         vmlal.s32       q14, d11, d13
 330         vmlal.s32       q14, d4, d4
 331         vmlal.s32       q14, d17, d1
 332         vmlal.s32       q14, d18, d0
 333         vmlal.s32       q14, d9, d23
 334         vmull.s32       q11, d10, d7
 335         vmlal.s32       q11, d11, d6
 336         vmlal.s32       q11, d12, d5
 337         vmlal.s32       q11, d8, d1
 338         vmlal.s32       q11, d19, d0
 339         vmull.s32       q15, d10, d8
 340         vmlal.s32       q15, d11, d17
 341         vmlal.s32       q15, d12, d6
 342         vmlal.s32       q15, d13, d5
 343         vmlal.s32       q15, d19, d1
 344         vmlal.s32       q15, d14, d0
 345         vmull.s32       q2, d10, d9
 346         vmlal.s32       q2, d11, d8
 347         vmlal.s32       q2, d12, d7
 348         vmlal.s32       q2, d13, d6
 349         vmlal.s32       q2, d14, d1
 350         vmull.s32       q0, d15, d1
 351         vmlal.s32       q0, d10, d14
 352         vmlal.s32       q0, d11, d19
 353         vmlal.s32       q0, d12, d8
 354         vmlal.s32       q0, d13, d17
 355         vmlal.s32       q0, d6, d6
 356         add             r2, sp, #480
 357         vld1.8          {d18-d19}, [r2, : 128]!
 358         vmull.s32       q3, d16, d7
 359         vmlal.s32       q3, d10, d15
 360         vmlal.s32       q3, d11, d14
 361         vmlal.s32       q3, d12, d9
 362         vmlal.s32       q3, d13, d8
 363         vld1.8          {d8-d9}, [r2, : 128]
 364         vadd.i64        q5, q12, q9
 365         vadd.i64        q6, q15, q9
 366         vshr.s64        q5, q5, #26
 367         vshr.s64        q6, q6, #26
 368         vadd.i64        q7, q10, q5
 369         vshl.i64        q5, q5, #26
 370         vadd.i64        q8, q7, q4
 371         vadd.i64        q2, q2, q6
 372         vshl.i64        q6, q6, #26
 373         vadd.i64        q10, q2, q4
 374         vsub.i64        q5, q12, q5
 375         vshr.s64        q8, q8, #25
 376         vsub.i64        q6, q15, q6
 377         vshr.s64        q10, q10, #25
 378         vadd.i64        q12, q13, q8
 379         vshl.i64        q8, q8, #25
 380         vadd.i64        q13, q12, q9
 381         vadd.i64        q0, q0, q10
 382         vsub.i64        q7, q7, q8
 383         vshr.s64        q8, q13, #26
 384         vshl.i64        q10, q10, #25
 385         vadd.i64        q13, q0, q9
 386         vadd.i64        q1, q1, q8
 387         vshl.i64        q8, q8, #26
 388         vadd.i64        q15, q1, q4
 389         vsub.i64        q2, q2, q10
 390         vshr.s64        q10, q13, #26
 391         vsub.i64        q8, q12, q8
 392         vshr.s64        q12, q15, #25
 393         vadd.i64        q3, q3, q10
 394         vshl.i64        q10, q10, #26
 395         vadd.i64        q13, q3, q4
 396         vadd.i64        q14, q14, q12
 397         add             r2, r3, #288
 398         vshl.i64        q12, q12, #25
 399         add             r4, r3, #336
 400         vadd.i64        q15, q14, q9
 401         add             r2, r2, #8
 402         vsub.i64        q0, q0, q10
 403         add             r4, r4, #8
 404         vshr.s64        q10, q13, #25
 405         vsub.i64        q1, q1, q12
 406         vshr.s64        q12, q15, #26
 407         vadd.i64        q13, q10, q10
 408         vadd.i64        q11, q11, q12
 409         vtrn.32         d16, d2
 410         vshl.i64        q12, q12, #26
 411         vtrn.32         d17, d3
 412         vadd.i64        q1, q11, q4
 413         vadd.i64        q4, q5, q13
 414         vst1.8          d16, [r2, : 64]!
 415         vshl.i64        q5, q10, #4
 416         vst1.8          d17, [r4, : 64]!
 417         vsub.i64        q8, q14, q12
 418         vshr.s64        q1, q1, #25
 419         vadd.i64        q4, q4, q5
 420         vadd.i64        q5, q6, q1
 421         vshl.i64        q1, q1, #25
 422         vadd.i64        q6, q5, q9
 423         vadd.i64        q4, q4, q10
 424         vshl.i64        q10, q10, #25
 425         vadd.i64        q9, q4, q9
 426         vsub.i64        q1, q11, q1
 427         vshr.s64        q6, q6, #26
 428         vsub.i64        q3, q3, q10
 429         vtrn.32         d16, d2
 430         vshr.s64        q9, q9, #26
 431         vtrn.32         d17, d3
 432         vadd.i64        q1, q2, q6
 433         vst1.8          d16, [r2, : 64]
 434         vshl.i64        q2, q6, #26
 435         vst1.8          d17, [r4, : 64]
 436         vadd.i64        q6, q7, q9
 437         vtrn.32         d0, d6
 438         vshl.i64        q7, q9, #26
 439         vtrn.32         d1, d7
 440         vsub.i64        q2, q5, q2
 441         add             r2, r2, #16
 442         vsub.i64        q3, q4, q7
 443         vst1.8          d0, [r2, : 64]
 444         add             r4, r4, #16
 445         vst1.8          d1, [r4, : 64]
 446         vtrn.32         d4, d2
 447         vtrn.32         d5, d3
 448         sub             r2, r2, #8
 449         sub             r4, r4, #8
 450         vtrn.32         d6, d12
 451         vtrn.32         d7, d13
 452         vst1.8          d4, [r2, : 64]
 453         vst1.8          d5, [r4, : 64]
 454         sub             r2, r2, #24
 455         sub             r4, r4, #24
 456         vst1.8          d6, [r2, : 64]
 457         vst1.8          d7, [r4, : 64]
 458         add             r2, r3, #240
 459         add             r4, r3, #96
 460         vld1.8          {d0-d1}, [r4, : 128]!
 461         vld1.8          {d2-d3}, [r4, : 128]!
 462         vld1.8          {d4}, [r4, : 64]
 463         add             r4, r3, #144
 464         vld1.8          {d6-d7}, [r4, : 128]!
 465         vtrn.32         q0, q3
 466         vld1.8          {d8-d9}, [r4, : 128]!
 467         vshl.i32        q5, q0, #4
 468         vtrn.32         q1, q4
 469         vshl.i32        q6, q3, #4
 470         vadd.i32        q5, q5, q0
 471         vadd.i32        q6, q6, q3
 472         vshl.i32        q7, q1, #4
 473         vld1.8          {d5}, [r4, : 64]
 474         vshl.i32        q8, q4, #4
 475         vtrn.32         d4, d5
 476         vadd.i32        q7, q7, q1
 477         vadd.i32        q8, q8, q4
 478         vld1.8          {d18-d19}, [r2, : 128]!
 479         vshl.i32        q10, q2, #4
 480         vld1.8          {d22-d23}, [r2, : 128]!
 481         vadd.i32        q10, q10, q2
 482         vld1.8          {d24}, [r2, : 64]
 483         vadd.i32        q5, q5, q0
 484         add             r2, r3, #192
 485         vld1.8          {d26-d27}, [r2, : 128]!
 486         vadd.i32        q6, q6, q3
 487         vld1.8          {d28-d29}, [r2, : 128]!
 488         vadd.i32        q8, q8, q4
 489         vld1.8          {d25}, [r2, : 64]
 490         vadd.i32        q10, q10, q2
 491         vtrn.32         q9, q13
 492         vadd.i32        q7, q7, q1
 493         vadd.i32        q5, q5, q0
 494         vtrn.32         q11, q14
 495         vadd.i32        q6, q6, q3
 496         add             r2, sp, #528
 497         vadd.i32        q10, q10, q2
 498         vtrn.32         d24, d25
 499         vst1.8          {d12-d13}, [r2, : 128]!
 500         vshl.i32        q6, q13, #1
 501         vst1.8          {d20-d21}, [r2, : 128]!
 502         vshl.i32        q10, q14, #1
 503         vst1.8          {d12-d13}, [r2, : 128]!
 504         vshl.i32        q15, q12, #1
 505         vadd.i32        q8, q8, q4
 506         vext.32         d10, d31, d30, #0
 507         vadd.i32        q7, q7, q1
 508         vst1.8          {d16-d17}, [r2, : 128]!
 509         vmull.s32       q8, d18, d5
 510         vmlal.s32       q8, d26, d4
 511         vmlal.s32       q8, d19, d9
 512         vmlal.s32       q8, d27, d3
 513         vmlal.s32       q8, d22, d8
 514         vmlal.s32       q8, d28, d2
 515         vmlal.s32       q8, d23, d7
 516         vmlal.s32       q8, d29, d1
 517         vmlal.s32       q8, d24, d6
 518         vmlal.s32       q8, d25, d0
 519         vst1.8          {d14-d15}, [r2, : 128]!
 520         vmull.s32       q2, d18, d4
 521         vmlal.s32       q2, d12, d9
 522         vmlal.s32       q2, d13, d8
 523         vmlal.s32       q2, d19, d3
 524         vmlal.s32       q2, d22, d2
 525         vmlal.s32       q2, d23, d1
 526         vmlal.s32       q2, d24, d0
 527         vst1.8          {d20-d21}, [r2, : 128]!
 528         vmull.s32       q7, d18, d9
 529         vmlal.s32       q7, d26, d3
 530         vmlal.s32       q7, d19, d8
 531         vmlal.s32       q7, d27, d2
 532         vmlal.s32       q7, d22, d7
 533         vmlal.s32       q7, d28, d1
 534         vmlal.s32       q7, d23, d6
 535         vmlal.s32       q7, d29, d0
 536         vst1.8          {d10-d11}, [r2, : 128]!
 537         vmull.s32       q5, d18, d3
 538         vmlal.s32       q5, d19, d2
 539         vmlal.s32       q5, d22, d1
 540         vmlal.s32       q5, d23, d0
 541         vmlal.s32       q5, d12, d8
 542         vst1.8          {d16-d17}, [r2, : 128]
 543         vmull.s32       q4, d18, d8
 544         vmlal.s32       q4, d26, d2
 545         vmlal.s32       q4, d19, d7
 546         vmlal.s32       q4, d27, d1
 547         vmlal.s32       q4, d22, d6
 548         vmlal.s32       q4, d28, d0
 549         vmull.s32       q8, d18, d7
 550         vmlal.s32       q8, d26, d1
 551         vmlal.s32       q8, d19, d6
 552         vmlal.s32       q8, d27, d0
 553         add             r2, sp, #544
 554         vld1.8          {d20-d21}, [r2, : 128]
 555         vmlal.s32       q7, d24, d21
 556         vmlal.s32       q7, d25, d20
 557         vmlal.s32       q4, d23, d21
 558         vmlal.s32       q4, d29, d20
 559         vmlal.s32       q8, d22, d21
 560         vmlal.s32       q8, d28, d20
 561         vmlal.s32       q5, d24, d20
 562         vst1.8          {d14-d15}, [r2, : 128]
 563         vmull.s32       q7, d18, d6
 564         vmlal.s32       q7, d26, d0
 565         add             r2, sp, #624
 566         vld1.8          {d30-d31}, [r2, : 128]
 567         vmlal.s32       q2, d30, d21
 568         vmlal.s32       q7, d19, d21
 569         vmlal.s32       q7, d27, d20
 570         add             r2, sp, #592
 571         vld1.8          {d26-d27}, [r2, : 128]
 572         vmlal.s32       q4, d25, d27
 573         vmlal.s32       q8, d29, d27
 574         vmlal.s32       q8, d25, d26
 575         vmlal.s32       q7, d28, d27
 576         vmlal.s32       q7, d29, d26
 577         add             r2, sp, #576
 578         vld1.8          {d28-d29}, [r2, : 128]
 579         vmlal.s32       q4, d24, d29
 580         vmlal.s32       q8, d23, d29
 581         vmlal.s32       q8, d24, d28
 582         vmlal.s32       q7, d22, d29
 583         vmlal.s32       q7, d23, d28
 584         vst1.8          {d8-d9}, [r2, : 128]
 585         add             r2, sp, #528
 586         vld1.8          {d8-d9}, [r2, : 128]
 587         vmlal.s32       q7, d24, d9
 588         vmlal.s32       q7, d25, d31
 589         vmull.s32       q1, d18, d2
 590         vmlal.s32       q1, d19, d1
 591         vmlal.s32       q1, d22, d0
 592         vmlal.s32       q1, d24, d27
 593         vmlal.s32       q1, d23, d20
 594         vmlal.s32       q1, d12, d7
 595         vmlal.s32       q1, d13, d6
 596         vmull.s32       q6, d18, d1
 597         vmlal.s32       q6, d19, d0
 598         vmlal.s32       q6, d23, d27
 599         vmlal.s32       q6, d22, d20
 600         vmlal.s32       q6, d24, d26
 601         vmull.s32       q0, d18, d0
 602         vmlal.s32       q0, d22, d27
 603         vmlal.s32       q0, d23, d26
 604         vmlal.s32       q0, d24, d31
 605         vmlal.s32       q0, d19, d20
 606         add             r2, sp, #608
 607         vld1.8          {d18-d19}, [r2, : 128]
 608         vmlal.s32       q2, d18, d7
 609         vmlal.s32       q5, d18, d6
 610         vmlal.s32       q1, d18, d21
 611         vmlal.s32       q0, d18, d28
 612         vmlal.s32       q6, d18, d29
 613         vmlal.s32       q2, d19, d6
 614         vmlal.s32       q5, d19, d21
 615         vmlal.s32       q1, d19, d29
 616         vmlal.s32       q0, d19, d9
 617         vmlal.s32       q6, d19, d28
 618         add             r2, sp, #560
 619         vld1.8          {d18-d19}, [r2, : 128]
 620         add             r2, sp, #480
 621         vld1.8          {d22-d23}, [r2, : 128]
 622         vmlal.s32       q5, d19, d7
 623         vmlal.s32       q0, d18, d21
 624         vmlal.s32       q0, d19, d29
 625         vmlal.s32       q6, d18, d6
 626         add             r2, sp, #496
 627         vld1.8          {d6-d7}, [r2, : 128]
 628         vmlal.s32       q6, d19, d21
 629         add             r2, sp, #544
 630         vld1.8          {d18-d19}, [r2, : 128]
 631         vmlal.s32       q0, d30, d8
 632         add             r2, sp, #640
 633         vld1.8          {d20-d21}, [r2, : 128]
 634         vmlal.s32       q5, d30, d29
 635         add             r2, sp, #576
 636         vld1.8          {d24-d25}, [r2, : 128]
 637         vmlal.s32       q1, d30, d28
 638         vadd.i64        q13, q0, q11
 639         vadd.i64        q14, q5, q11
 640         vmlal.s32       q6, d30, d9
 641         vshr.s64        q4, q13, #26
 642         vshr.s64        q13, q14, #26
 643         vadd.i64        q7, q7, q4
 644         vshl.i64        q4, q4, #26
 645         vadd.i64        q14, q7, q3
 646         vadd.i64        q9, q9, q13
 647         vshl.i64        q13, q13, #26
 648         vadd.i64        q15, q9, q3
 649         vsub.i64        q0, q0, q4
 650         vshr.s64        q4, q14, #25
 651         vsub.i64        q5, q5, q13
 652         vshr.s64        q13, q15, #25
 653         vadd.i64        q6, q6, q4
 654         vshl.i64        q4, q4, #25
 655         vadd.i64        q14, q6, q11
 656         vadd.i64        q2, q2, q13
 657         vsub.i64        q4, q7, q4
 658         vshr.s64        q7, q14, #26
 659         vshl.i64        q13, q13, #25
 660         vadd.i64        q14, q2, q11
 661         vadd.i64        q8, q8, q7
 662         vshl.i64        q7, q7, #26
 663         vadd.i64        q15, q8, q3
 664         vsub.i64        q9, q9, q13
 665         vshr.s64        q13, q14, #26
 666         vsub.i64        q6, q6, q7
 667         vshr.s64        q7, q15, #25
 668         vadd.i64        q10, q10, q13
 669         vshl.i64        q13, q13, #26
 670         vadd.i64        q14, q10, q3
 671         vadd.i64        q1, q1, q7
 672         add             r2, r3, #144
 673         vshl.i64        q7, q7, #25
 674         add             r4, r3, #96
 675         vadd.i64        q15, q1, q11
 676         add             r2, r2, #8
 677         vsub.i64        q2, q2, q13
 678         add             r4, r4, #8
 679         vshr.s64        q13, q14, #25
 680         vsub.i64        q7, q8, q7
 681         vshr.s64        q8, q15, #26
 682         vadd.i64        q14, q13, q13
 683         vadd.i64        q12, q12, q8
 684         vtrn.32         d12, d14
 685         vshl.i64        q8, q8, #26
 686         vtrn.32         d13, d15
 687         vadd.i64        q3, q12, q3
 688         vadd.i64        q0, q0, q14
 689         vst1.8          d12, [r2, : 64]!
 690         vshl.i64        q7, q13, #4
 691         vst1.8          d13, [r4, : 64]!
 692         vsub.i64        q1, q1, q8
 693         vshr.s64        q3, q3, #25
 694         vadd.i64        q0, q0, q7
 695         vadd.i64        q5, q5, q3
 696         vshl.i64        q3, q3, #25
 697         vadd.i64        q6, q5, q11
 698         vadd.i64        q0, q0, q13
 699         vshl.i64        q7, q13, #25
 700         vadd.i64        q8, q0, q11
 701         vsub.i64        q3, q12, q3
 702         vshr.s64        q6, q6, #26
 703         vsub.i64        q7, q10, q7
 704         vtrn.32         d2, d6
 705         vshr.s64        q8, q8, #26
 706         vtrn.32         d3, d7
 707         vadd.i64        q3, q9, q6
 708         vst1.8          d2, [r2, : 64]
 709         vshl.i64        q6, q6, #26
 710         vst1.8          d3, [r4, : 64]
 711         vadd.i64        q1, q4, q8
 712         vtrn.32         d4, d14
 713         vshl.i64        q4, q8, #26
 714         vtrn.32         d5, d15
 715         vsub.i64        q5, q5, q6
 716         add             r2, r2, #16
 717         vsub.i64        q0, q0, q4
 718         vst1.8          d4, [r2, : 64]
 719         add             r4, r4, #16
 720         vst1.8          d5, [r4, : 64]
 721         vtrn.32         d10, d6
 722         vtrn.32         d11, d7
 723         sub             r2, r2, #8
 724         sub             r4, r4, #8
 725         vtrn.32         d0, d2
 726         vtrn.32         d1, d3
 727         vst1.8          d10, [r2, : 64]
 728         vst1.8          d11, [r4, : 64]
 729         sub             r2, r2, #24
 730         sub             r4, r4, #24
 731         vst1.8          d0, [r2, : 64]
 732         vst1.8          d1, [r4, : 64]
 733         add             r2, r3, #288
 734         add             r4, r3, #336
 735         vld1.8          {d0-d1}, [r2, : 128]!
 736         vld1.8          {d2-d3}, [r4, : 128]!
 737         vsub.i32        q0, q0, q1
 738         vld1.8          {d2-d3}, [r2, : 128]!
 739         vld1.8          {d4-d5}, [r4, : 128]!
 740         vsub.i32        q1, q1, q2
 741         add             r5, r3, #240
 742         vld1.8          {d4}, [r2, : 64]
 743         vld1.8          {d6}, [r4, : 64]
 744         vsub.i32        q2, q2, q3
 745         vst1.8          {d0-d1}, [r5, : 128]!
 746         vst1.8          {d2-d3}, [r5, : 128]!
 747         vst1.8          d4, [r5, : 64]
 748         add             r2, r3, #144
 749         add             r4, r3, #96
 750         add             r5, r3, #144
 751         add             r6, r3, #192
 752         vld1.8          {d0-d1}, [r2, : 128]!
 753         vld1.8          {d2-d3}, [r4, : 128]!
 754         vsub.i32        q2, q0, q1
 755         vadd.i32        q0, q0, q1
 756         vld1.8          {d2-d3}, [r2, : 128]!
 757         vld1.8          {d6-d7}, [r4, : 128]!
 758         vsub.i32        q4, q1, q3
 759         vadd.i32        q1, q1, q3
 760         vld1.8          {d6}, [r2, : 64]
 761         vld1.8          {d10}, [r4, : 64]
 762         vsub.i32        q6, q3, q5
 763         vadd.i32        q3, q3, q5
 764         vst1.8          {d4-d5}, [r5, : 128]!
 765         vst1.8          {d0-d1}, [r6, : 128]!
 766         vst1.8          {d8-d9}, [r5, : 128]!
 767         vst1.8          {d2-d3}, [r6, : 128]!
 768         vst1.8          d12, [r5, : 64]
 769         vst1.8          d6, [r6, : 64]
 770         add             r2, r3, #0
 771         add             r4, r3, #240
 772         vld1.8          {d0-d1}, [r4, : 128]!
 773         vld1.8          {d2-d3}, [r4, : 128]!
 774         vld1.8          {d4}, [r4, : 64]
 775         add             r4, r3, #336
 776         vld1.8          {d6-d7}, [r4, : 128]!
 777         vtrn.32         q0, q3
 778         vld1.8          {d8-d9}, [r4, : 128]!
 779         vshl.i32        q5, q0, #4
 780         vtrn.32         q1, q4
 781         vshl.i32        q6, q3, #4
 782         vadd.i32        q5, q5, q0
 783         vadd.i32        q6, q6, q3
 784         vshl.i32        q7, q1, #4
 785         vld1.8          {d5}, [r4, : 64]
 786         vshl.i32        q8, q4, #4
 787         vtrn.32         d4, d5
 788         vadd.i32        q7, q7, q1
 789         vadd.i32        q8, q8, q4
 790         vld1.8          {d18-d19}, [r2, : 128]!
 791         vshl.i32        q10, q2, #4
 792         vld1.8          {d22-d23}, [r2, : 128]!
 793         vadd.i32        q10, q10, q2
 794         vld1.8          {d24}, [r2, : 64]
 795         vadd.i32        q5, q5, q0
 796         add             r2, r3, #288
 797         vld1.8          {d26-d27}, [r2, : 128]!
 798         vadd.i32        q6, q6, q3
 799         vld1.8          {d28-d29}, [r2, : 128]!
 800         vadd.i32        q8, q8, q4
 801         vld1.8          {d25}, [r2, : 64]
 802         vadd.i32        q10, q10, q2
 803         vtrn.32         q9, q13
 804         vadd.i32        q7, q7, q1
 805         vadd.i32        q5, q5, q0
 806         vtrn.32         q11, q14
 807         vadd.i32        q6, q6, q3
 808         add             r2, sp, #528
 809         vadd.i32        q10, q10, q2
 810         vtrn.32         d24, d25
 811         vst1.8          {d12-d13}, [r2, : 128]!
 812         vshl.i32        q6, q13, #1
 813         vst1.8          {d20-d21}, [r2, : 128]!
 814         vshl.i32        q10, q14, #1
 815         vst1.8          {d12-d13}, [r2, : 128]!
 816         vshl.i32        q15, q12, #1
 817         vadd.i32        q8, q8, q4
 818         vext.32         d10, d31, d30, #0
 819         vadd.i32        q7, q7, q1
 820         vst1.8          {d16-d17}, [r2, : 128]!
 821         vmull.s32       q8, d18, d5
 822         vmlal.s32       q8, d26, d4
 823         vmlal.s32       q8, d19, d9
 824         vmlal.s32       q8, d27, d3
 825         vmlal.s32       q8, d22, d8
 826         vmlal.s32       q8, d28, d2
 827         vmlal.s32       q8, d23, d7
 828         vmlal.s32       q8, d29, d1
 829         vmlal.s32       q8, d24, d6
 830         vmlal.s32       q8, d25, d0
 831         vst1.8          {d14-d15}, [r2, : 128]!
 832         vmull.s32       q2, d18, d4
 833         vmlal.s32       q2, d12, d9
 834         vmlal.s32       q2, d13, d8
 835         vmlal.s32       q2, d19, d3
 836         vmlal.s32       q2, d22, d2
 837         vmlal.s32       q2, d23, d1
 838         vmlal.s32       q2, d24, d0
 839         vst1.8          {d20-d21}, [r2, : 128]!
 840         vmull.s32       q7, d18, d9
 841         vmlal.s32       q7, d26, d3
 842         vmlal.s32       q7, d19, d8
 843         vmlal.s32       q7, d27, d2
 844         vmlal.s32       q7, d22, d7
 845         vmlal.s32       q7, d28, d1
 846         vmlal.s32       q7, d23, d6
 847         vmlal.s32       q7, d29, d0
 848         vst1.8          {d10-d11}, [r2, : 128]!
 849         vmull.s32       q5, d18, d3
 850         vmlal.s32       q5, d19, d2
 851         vmlal.s32       q5, d22, d1
 852         vmlal.s32       q5, d23, d0
 853         vmlal.s32       q5, d12, d8
 854         vst1.8          {d16-d17}, [r2, : 128]!
 855         vmull.s32       q4, d18, d8
 856         vmlal.s32       q4, d26, d2
 857         vmlal.s32       q4, d19, d7
 858         vmlal.s32       q4, d27, d1
 859         vmlal.s32       q4, d22, d6
 860         vmlal.s32       q4, d28, d0
 861         vmull.s32       q8, d18, d7
 862         vmlal.s32       q8, d26, d1
 863         vmlal.s32       q8, d19, d6
 864         vmlal.s32       q8, d27, d0
 865         add             r2, sp, #544
 866         vld1.8          {d20-d21}, [r2, : 128]
 867         vmlal.s32       q7, d24, d21
 868         vmlal.s32       q7, d25, d20
 869         vmlal.s32       q4, d23, d21
 870         vmlal.s32       q4, d29, d20
 871         vmlal.s32       q8, d22, d21
 872         vmlal.s32       q8, d28, d20
 873         vmlal.s32       q5, d24, d20
 874         vst1.8          {d14-d15}, [r2, : 128]
 875         vmull.s32       q7, d18, d6
 876         vmlal.s32       q7, d26, d0
 877         add             r2, sp, #624
 878         vld1.8          {d30-d31}, [r2, : 128]
 879         vmlal.s32       q2, d30, d21
 880         vmlal.s32       q7, d19, d21
 881         vmlal.s32       q7, d27, d20
 882         add             r2, sp, #592
 883         vld1.8          {d26-d27}, [r2, : 128]
 884         vmlal.s32       q4, d25, d27
 885         vmlal.s32       q8, d29, d27
 886         vmlal.s32       q8, d25, d26
 887         vmlal.s32       q7, d28, d27
 888         vmlal.s32       q7, d29, d26
 889         add             r2, sp, #576
 890         vld1.8          {d28-d29}, [r2, : 128]
 891         vmlal.s32       q4, d24, d29
 892         vmlal.s32       q8, d23, d29
 893         vmlal.s32       q8, d24, d28
 894         vmlal.s32       q7, d22, d29
 895         vmlal.s32       q7, d23, d28
 896         vst1.8          {d8-d9}, [r2, : 128]
 897         add             r2, sp, #528
 898         vld1.8          {d8-d9}, [r2, : 128]
 899         vmlal.s32       q7, d24, d9
 900         vmlal.s32       q7, d25, d31
 901         vmull.s32       q1, d18, d2
 902         vmlal.s32       q1, d19, d1
 903         vmlal.s32       q1, d22, d0
 904         vmlal.s32       q1, d24, d27
 905         vmlal.s32       q1, d23, d20
 906         vmlal.s32       q1, d12, d7
 907         vmlal.s32       q1, d13, d6
 908         vmull.s32       q6, d18, d1
 909         vmlal.s32       q6, d19, d0
 910         vmlal.s32       q6, d23, d27
 911         vmlal.s32       q6, d22, d20
 912         vmlal.s32       q6, d24, d26
 913         vmull.s32       q0, d18, d0
 914         vmlal.s32       q0, d22, d27
 915         vmlal.s32       q0, d23, d26
 916         vmlal.s32       q0, d24, d31
 917         vmlal.s32       q0, d19, d20
 918         add             r2, sp, #608
 919         vld1.8          {d18-d19}, [r2, : 128]
 920         vmlal.s32       q2, d18, d7
 921         vmlal.s32       q5, d18, d6
 922         vmlal.s32       q1, d18, d21
 923         vmlal.s32       q0, d18, d28
 924         vmlal.s32       q6, d18, d29
 925         vmlal.s32       q2, d19, d6
 926         vmlal.s32       q5, d19, d21
 927         vmlal.s32       q1, d19, d29
 928         vmlal.s32       q0, d19, d9
 929         vmlal.s32       q6, d19, d28
 930         add             r2, sp, #560
 931         vld1.8          {d18-d19}, [r2, : 128]
 932         add             r2, sp, #480
 933         vld1.8          {d22-d23}, [r2, : 128]
 934         vmlal.s32       q5, d19, d7
 935         vmlal.s32       q0, d18, d21
 936         vmlal.s32       q0, d19, d29
 937         vmlal.s32       q6, d18, d6
 938         add             r2, sp, #496
 939         vld1.8          {d6-d7}, [r2, : 128]
 940         vmlal.s32       q6, d19, d21
 941         add             r2, sp, #544
 942         vld1.8          {d18-d19}, [r2, : 128]
 943         vmlal.s32       q0, d30, d8
 944         add             r2, sp, #640
 945         vld1.8          {d20-d21}, [r2, : 128]
 946         vmlal.s32       q5, d30, d29
 947         add             r2, sp, #576
 948         vld1.8          {d24-d25}, [r2, : 128]
 949         vmlal.s32       q1, d30, d28
 950         vadd.i64        q13, q0, q11
 951         vadd.i64        q14, q5, q11
 952         vmlal.s32       q6, d30, d9
 953         vshr.s64        q4, q13, #26
 954         vshr.s64        q13, q14, #26
 955         vadd.i64        q7, q7, q4
 956         vshl.i64        q4, q4, #26
 957         vadd.i64        q14, q7, q3
 958         vadd.i64        q9, q9, q13
 959         vshl.i64        q13, q13, #26
 960         vadd.i64        q15, q9, q3
 961         vsub.i64        q0, q0, q4
 962         vshr.s64        q4, q14, #25
 963         vsub.i64        q5, q5, q13
 964         vshr.s64        q13, q15, #25
 965         vadd.i64        q6, q6, q4
 966         vshl.i64        q4, q4, #25
 967         vadd.i64        q14, q6, q11
 968         vadd.i64        q2, q2, q13
 969         vsub.i64        q4, q7, q4
 970         vshr.s64        q7, q14, #26
 971         vshl.i64        q13, q13, #25
 972         vadd.i64        q14, q2, q11
 973         vadd.i64        q8, q8, q7
 974         vshl.i64        q7, q7, #26
 975         vadd.i64        q15, q8, q3
 976         vsub.i64        q9, q9, q13
 977         vshr.s64        q13, q14, #26
 978         vsub.i64        q6, q6, q7
 979         vshr.s64        q7, q15, #25
 980         vadd.i64        q10, q10, q13
 981         vshl.i64        q13, q13, #26
 982         vadd.i64        q14, q10, q3
 983         vadd.i64        q1, q1, q7
 984         add             r2, r3, #288
 985         vshl.i64        q7, q7, #25
 986         add             r4, r3, #96
 987         vadd.i64        q15, q1, q11
 988         add             r2, r2, #8
 989         vsub.i64        q2, q2, q13
 990         add             r4, r4, #8
 991         vshr.s64        q13, q14, #25
 992         vsub.i64        q7, q8, q7
 993         vshr.s64        q8, q15, #26
 994         vadd.i64        q14, q13, q13
 995         vadd.i64        q12, q12, q8
 996         vtrn.32         d12, d14
 997         vshl.i64        q8, q8, #26
 998         vtrn.32         d13, d15
 999         vadd.i64        q3, q12, q3
1000         vadd.i64        q0, q0, q14
1001         vst1.8          d12, [r2, : 64]!
1002         vshl.i64        q7, q13, #4
1003         vst1.8          d13, [r4, : 64]!
1004         vsub.i64        q1, q1, q8
1005         vshr.s64        q3, q3, #25
1006         vadd.i64        q0, q0, q7
1007         vadd.i64        q5, q5, q3
1008         vshl.i64        q3, q3, #25
1009         vadd.i64        q6, q5, q11
1010         vadd.i64        q0, q0, q13
1011         vshl.i64        q7, q13, #25
1012         vadd.i64        q8, q0, q11
1013         vsub.i64        q3, q12, q3
1014         vshr.s64        q6, q6, #26
1015         vsub.i64        q7, q10, q7
1016         vtrn.32         d2, d6
1017         vshr.s64        q8, q8, #26
1018         vtrn.32         d3, d7
1019         vadd.i64        q3, q9, q6
1020         vst1.8          d2, [r2, : 64]
1021         vshl.i64        q6, q6, #26
1022         vst1.8          d3, [r4, : 64]
1023         vadd.i64        q1, q4, q8
1024         vtrn.32         d4, d14
1025         vshl.i64        q4, q8, #26
1026         vtrn.32         d5, d15
1027         vsub.i64        q5, q5, q6
1028         add             r2, r2, #16
1029         vsub.i64        q0, q0, q4
1030         vst1.8          d4, [r2, : 64]
1031         add             r4, r4, #16
1032         vst1.8          d5, [r4, : 64]
1033         vtrn.32         d10, d6
1034         vtrn.32         d11, d7
1035         sub             r2, r2, #8
1036         sub             r4, r4, #8
1037         vtrn.32         d0, d2
1038         vtrn.32         d1, d3
1039         vst1.8          d10, [r2, : 64]
1040         vst1.8          d11, [r4, : 64]
1041         sub             r2, r2, #24
1042         sub             r4, r4, #24
1043         vst1.8          d0, [r2, : 64]
1044         vst1.8          d1, [r4, : 64]
1045         add             r2, sp, #512
1046         add             r4, r3, #144
1047         add             r5, r3, #192
1048         vld1.8          {d0-d1}, [r2, : 128]
1049         vld1.8          {d2-d3}, [r4, : 128]!
1050         vld1.8          {d4-d5}, [r5, : 128]!
1051         vzip.i32        q1, q2
1052         vld1.8          {d6-d7}, [r4, : 128]!
1053         vld1.8          {d8-d9}, [r5, : 128]!
1054         vshl.i32        q5, q1, #1
1055         vzip.i32        q3, q4
1056         vshl.i32        q6, q2, #1
1057         vld1.8          {d14}, [r4, : 64]
1058         vshl.i32        q8, q3, #1
1059         vld1.8          {d15}, [r5, : 64]
1060         vshl.i32        q9, q4, #1
1061         vmul.i32        d21, d7, d1
1062         vtrn.32         d14, d15
1063         vmul.i32        q11, q4, q0
1064         vmul.i32        q0, q7, q0
1065         vmull.s32       q12, d2, d2
1066         vmlal.s32       q12, d11, d1
1067         vmlal.s32       q12, d12, d0
1068         vmlal.s32       q12, d13, d23
1069         vmlal.s32       q12, d16, d22
1070         vmlal.s32       q12, d7, d21
1071         vmull.s32       q10, d2, d11
1072         vmlal.s32       q10, d4, d1
1073         vmlal.s32       q10, d13, d0
1074         vmlal.s32       q10, d6, d23
1075         vmlal.s32       q10, d17, d22
1076         vmull.s32       q13, d10, d4
1077         vmlal.s32       q13, d11, d3
1078         vmlal.s32       q13, d13, d1
1079         vmlal.s32       q13, d16, d0
1080         vmlal.s32       q13, d17, d23
1081         vmlal.s32       q13, d8, d22
1082         vmull.s32       q1, d10, d5
1083         vmlal.s32       q1, d11, d4
1084         vmlal.s32       q1, d6, d1
1085         vmlal.s32       q1, d17, d0
1086         vmlal.s32       q1, d8, d23
1087         vmull.s32       q14, d10, d6
1088         vmlal.s32       q14, d11, d13
1089         vmlal.s32       q14, d4, d4
1090         vmlal.s32       q14, d17, d1
1091         vmlal.s32       q14, d18, d0
1092         vmlal.s32       q14, d9, d23
1093         vmull.s32       q11, d10, d7
1094         vmlal.s32       q11, d11, d6
1095         vmlal.s32       q11, d12, d5
1096         vmlal.s32       q11, d8, d1
1097         vmlal.s32       q11, d19, d0
1098         vmull.s32       q15, d10, d8
1099         vmlal.s32       q15, d11, d17
1100         vmlal.s32       q15, d12, d6
1101         vmlal.s32       q15, d13, d5
1102         vmlal.s32       q15, d19, d1
1103         vmlal.s32       q15, d14, d0
1104         vmull.s32       q2, d10, d9
1105         vmlal.s32       q2, d11, d8
1106         vmlal.s32       q2, d12, d7
1107         vmlal.s32       q2, d13, d6
1108         vmlal.s32       q2, d14, d1
1109         vmull.s32       q0, d15, d1
1110         vmlal.s32       q0, d10, d14
1111         vmlal.s32       q0, d11, d19
1112         vmlal.s32       q0, d12, d8
1113         vmlal.s32       q0, d13, d17
1114         vmlal.s32       q0, d6, d6
1115         add             r2, sp, #480
1116         vld1.8          {d18-d19}, [r2, : 128]!
1117         vmull.s32       q3, d16, d7
1118         vmlal.s32       q3, d10, d15
1119         vmlal.s32       q3, d11, d14
1120         vmlal.s32       q3, d12, d9
1121         vmlal.s32       q3, d13, d8
1122         vld1.8          {d8-d9}, [r2, : 128]
1123         vadd.i64        q5, q12, q9
1124         vadd.i64        q6, q15, q9
1125         vshr.s64        q5, q5, #26
1126         vshr.s64        q6, q6, #26
1127         vadd.i64        q7, q10, q5
1128         vshl.i64        q5, q5, #26
1129         vadd.i64        q8, q7, q4
1130         vadd.i64        q2, q2, q6
1131         vshl.i64        q6, q6, #26
1132         vadd.i64        q10, q2, q4
1133         vsub.i64        q5, q12, q5
1134         vshr.s64        q8, q8, #25
1135         vsub.i64        q6, q15, q6
1136         vshr.s64        q10, q10, #25
1137         vadd.i64        q12, q13, q8
1138         vshl.i64        q8, q8, #25
1139         vadd.i64        q13, q12, q9
1140         vadd.i64        q0, q0, q10
1141         vsub.i64        q7, q7, q8
1142         vshr.s64        q8, q13, #26
1143         vshl.i64        q10, q10, #25
1144         vadd.i64        q13, q0, q9
1145         vadd.i64        q1, q1, q8
1146         vshl.i64        q8, q8, #26
1147         vadd.i64        q15, q1, q4
1148         vsub.i64        q2, q2, q10
1149         vshr.s64        q10, q13, #26
1150         vsub.i64        q8, q12, q8
1151         vshr.s64        q12, q15, #25
1152         vadd.i64        q3, q3, q10
1153         vshl.i64        q10, q10, #26
1154         vadd.i64        q13, q3, q4
1155         vadd.i64        q14, q14, q12
1156         add             r2, r3, #144
1157         vshl.i64        q12, q12, #25
1158         add             r4, r3, #192
1159         vadd.i64        q15, q14, q9
1160         add             r2, r2, #8
1161         vsub.i64        q0, q0, q10
1162         add             r4, r4, #8
1163         vshr.s64        q10, q13, #25
1164         vsub.i64        q1, q1, q12
1165         vshr.s64        q12, q15, #26
1166         vadd.i64        q13, q10, q10
1167         vadd.i64        q11, q11, q12
1168         vtrn.32         d16, d2
1169         vshl.i64        q12, q12, #26
1170         vtrn.32         d17, d3
1171         vadd.i64        q1, q11, q4
1172         vadd.i64        q4, q5, q13
1173         vst1.8          d16, [r2, : 64]!
1174         vshl.i64        q5, q10, #4
1175         vst1.8          d17, [r4, : 64]!
1176         vsub.i64        q8, q14, q12
1177         vshr.s64        q1, q1, #25
1178         vadd.i64        q4, q4, q5
1179         vadd.i64        q5, q6, q1
1180         vshl.i64        q1, q1, #25
1181         vadd.i64        q6, q5, q9
1182         vadd.i64        q4, q4, q10
1183         vshl.i64        q10, q10, #25
1184         vadd.i64        q9, q4, q9
1185         vsub.i64        q1, q11, q1
1186         vshr.s64        q6, q6, #26
1187         vsub.i64        q3, q3, q10
1188         vtrn.32         d16, d2
1189         vshr.s64        q9, q9, #26
1190         vtrn.32         d17, d3
1191         vadd.i64        q1, q2, q6
1192         vst1.8          d16, [r2, : 64]
1193         vshl.i64        q2, q6, #26
1194         vst1.8          d17, [r4, : 64]
1195         vadd.i64        q6, q7, q9
1196         vtrn.32         d0, d6
1197         vshl.i64        q7, q9, #26
1198         vtrn.32         d1, d7
1199         vsub.i64        q2, q5, q2
1200         add             r2, r2, #16
1201         vsub.i64        q3, q4, q7
1202         vst1.8          d0, [r2, : 64]
1203         add             r4, r4, #16
1204         vst1.8          d1, [r4, : 64]
1205         vtrn.32         d4, d2
1206         vtrn.32         d5, d3
1207         sub             r2, r2, #8
1208         sub             r4, r4, #8
1209         vtrn.32         d6, d12
1210         vtrn.32         d7, d13
1211         vst1.8          d4, [r2, : 64]
1212         vst1.8          d5, [r4, : 64]
1213         sub             r2, r2, #24
1214         sub             r4, r4, #24
1215         vst1.8          d6, [r2, : 64]
1216         vst1.8          d7, [r4, : 64]
1217         add             r2, r3, #336
1218         add             r4, r3, #288
1219         vld1.8          {d0-d1}, [r2, : 128]!
1220         vld1.8          {d2-d3}, [r4, : 128]!
1221         vadd.i32        q0, q0, q1
1222         vld1.8          {d2-d3}, [r2, : 128]!
1223         vld1.8          {d4-d5}, [r4, : 128]!
1224         vadd.i32        q1, q1, q2
1225         add             r5, r3, #288
1226         vld1.8          {d4}, [r2, : 64]
1227         vld1.8          {d6}, [r4, : 64]
1228         vadd.i32        q2, q2, q3
1229         vst1.8          {d0-d1}, [r5, : 128]!
1230         vst1.8          {d2-d3}, [r5, : 128]!
1231         vst1.8          d4, [r5, : 64]
1232         add             r2, r3, #48
1233         add             r4, r3, #144
1234         vld1.8          {d0-d1}, [r4, : 128]!
1235         vld1.8          {d2-d3}, [r4, : 128]!
1236         vld1.8          {d4}, [r4, : 64]
1237         add             r4, r3, #288
1238         vld1.8          {d6-d7}, [r4, : 128]!
1239         vtrn.32         q0, q3
1240         vld1.8          {d8-d9}, [r4, : 128]!
1241         vshl.i32        q5, q0, #4
1242         vtrn.32         q1, q4
1243         vshl.i32        q6, q3, #4
1244         vadd.i32        q5, q5, q0
1245         vadd.i32        q6, q6, q3
1246         vshl.i32        q7, q1, #4
1247         vld1.8          {d5}, [r4, : 64]
1248         vshl.i32        q8, q4, #4
1249         vtrn.32         d4, d5
1250         vadd.i32        q7, q7, q1
1251         vadd.i32        q8, q8, q4
1252         vld1.8          {d18-d19}, [r2, : 128]!
1253         vshl.i32        q10, q2, #4
1254         vld1.8          {d22-d23}, [r2, : 128]!
1255         vadd.i32        q10, q10, q2
1256         vld1.8          {d24}, [r2, : 64]
1257         vadd.i32        q5, q5, q0
1258         add             r2, r3, #240
1259         vld1.8          {d26-d27}, [r2, : 128]!
1260         vadd.i32        q6, q6, q3
1261         vld1.8          {d28-d29}, [r2, : 128]!
1262         vadd.i32        q8, q8, q4
1263         vld1.8          {d25}, [r2, : 64]
1264         vadd.i32        q10, q10, q2
1265         vtrn.32         q9, q13
1266         vadd.i32        q7, q7, q1
1267         vadd.i32        q5, q5, q0
1268         vtrn.32         q11, q14
1269         vadd.i32        q6, q6, q3
1270         add             r2, sp, #528
1271         vadd.i32        q10, q10, q2
1272         vtrn.32         d24, d25
1273         vst1.8          {d12-d13}, [r2, : 128]!
1274         vshl.i32        q6, q13, #1
1275         vst1.8          {d20-d21}, [r2, : 128]!
1276         vshl.i32        q10, q14, #1
1277         vst1.8          {d12-d13}, [r2, : 128]!
1278         vshl.i32        q15, q12, #1
1279         vadd.i32        q8, q8, q4
1280         vext.32         d10, d31, d30, #0
1281         vadd.i32        q7, q7, q1
1282         vst1.8          {d16-d17}, [r2, : 128]!
1283         vmull.s32       q8, d18, d5
1284         vmlal.s32       q8, d26, d4
1285         vmlal.s32       q8, d19, d9
1286         vmlal.s32       q8, d27, d3
1287         vmlal.s32       q8, d22, d8
1288         vmlal.s32       q8, d28, d2
1289         vmlal.s32       q8, d23, d7
1290         vmlal.s32       q8, d29, d1
1291         vmlal.s32       q8, d24, d6
1292         vmlal.s32       q8, d25, d0
1293         vst1.8          {d14-d15}, [r2, : 128]!
1294         vmull.s32       q2, d18, d4
1295         vmlal.s32       q2, d12, d9
1296         vmlal.s32       q2, d13, d8
1297         vmlal.s32       q2, d19, d3
1298         vmlal.s32       q2, d22, d2
1299         vmlal.s32       q2, d23, d1
1300         vmlal.s32       q2, d24, d0
1301         vst1.8          {d20-d21}, [r2, : 128]!
1302         vmull.s32       q7, d18, d9
1303         vmlal.s32       q7, d26, d3
1304         vmlal.s32       q7, d19, d8
1305         vmlal.s32       q7, d27, d2
1306         vmlal.s32       q7, d22, d7
1307         vmlal.s32       q7, d28, d1
1308         vmlal.s32       q7, d23, d6
1309         vmlal.s32       q7, d29, d0
1310         vst1.8          {d10-d11}, [r2, : 128]!
1311         vmull.s32       q5, d18, d3
1312         vmlal.s32       q5, d19, d2
1313         vmlal.s32       q5, d22, d1
1314         vmlal.s32       q5, d23, d0
1315         vmlal.s32       q5, d12, d8
1316         vst1.8          {d16-d17}, [r2, : 128]!
1317         vmull.s32       q4, d18, d8
1318         vmlal.s32       q4, d26, d2
1319         vmlal.s32       q4, d19, d7
1320         vmlal.s32       q4, d27, d1
1321         vmlal.s32       q4, d22, d6
1322         vmlal.s32       q4, d28, d0
1323         vmull.s32       q8, d18, d7
1324         vmlal.s32       q8, d26, d1
1325         vmlal.s32       q8, d19, d6
1326         vmlal.s32       q8, d27, d0
1327         add             r2, sp, #544
1328         vld1.8          {d20-d21}, [r2, : 128]
1329         vmlal.s32       q7, d24, d21
1330         vmlal.s32       q7, d25, d20
1331         vmlal.s32       q4, d23, d21
1332         vmlal.s32       q4, d29, d20
1333         vmlal.s32       q8, d22, d21
1334         vmlal.s32       q8, d28, d20
1335         vmlal.s32       q5, d24, d20
1336         vst1.8          {d14-d15}, [r2, : 128]
1337         vmull.s32       q7, d18, d6
1338         vmlal.s32       q7, d26, d0
1339         add             r2, sp, #624
1340         vld1.8          {d30-d31}, [r2, : 128]
1341         vmlal.s32       q2, d30, d21
1342         vmlal.s32       q7, d19, d21
1343         vmlal.s32       q7, d27, d20
1344         add             r2, sp, #592
1345         vld1.8          {d26-d27}, [r2, : 128]
1346         vmlal.s32       q4, d25, d27
1347         vmlal.s32       q8, d29, d27
1348         vmlal.s32       q8, d25, d26
1349         vmlal.s32       q7, d28, d27
1350         vmlal.s32       q7, d29, d26
1351         add             r2, sp, #576
1352         vld1.8          {d28-d29}, [r2, : 128]
1353         vmlal.s32       q4, d24, d29
1354         vmlal.s32       q8, d23, d29
1355         vmlal.s32       q8, d24, d28
1356         vmlal.s32       q7, d22, d29
1357         vmlal.s32       q7, d23, d28
1358         vst1.8          {d8-d9}, [r2, : 128]
1359         add             r2, sp, #528
1360         vld1.8          {d8-d9}, [r2, : 128]
1361         vmlal.s32       q7, d24, d9
1362         vmlal.s32       q7, d25, d31
1363         vmull.s32       q1, d18, d2
1364         vmlal.s32       q1, d19, d1
1365         vmlal.s32       q1, d22, d0
1366         vmlal.s32       q1, d24, d27
1367         vmlal.s32       q1, d23, d20
1368         vmlal.s32       q1, d12, d7
1369         vmlal.s32       q1, d13, d6
1370         vmull.s32       q6, d18, d1
1371         vmlal.s32       q6, d19, d0
1372         vmlal.s32       q6, d23, d27
1373         vmlal.s32       q6, d22, d20
1374         vmlal.s32       q6, d24, d26
1375         vmull.s32       q0, d18, d0
1376         vmlal.s32       q0, d22, d27
1377         vmlal.s32       q0, d23, d26
1378         vmlal.s32       q0, d24, d31
1379         vmlal.s32       q0, d19, d20
1380         add             r2, sp, #608
1381         vld1.8          {d18-d19}, [r2, : 128]
1382         vmlal.s32       q2, d18, d7
1383         vmlal.s32       q5, d18, d6
1384         vmlal.s32       q1, d18, d21
1385         vmlal.s32       q0, d18, d28
1386         vmlal.s32       q6, d18, d29
1387         vmlal.s32       q2, d19, d6
1388         vmlal.s32       q5, d19, d21
1389         vmlal.s32       q1, d19, d29
1390         vmlal.s32       q0, d19, d9
1391         vmlal.s32       q6, d19, d28
1392         add             r2, sp, #560
1393         vld1.8          {d18-d19}, [r2, : 128]
1394         add             r2, sp, #480
1395         vld1.8          {d22-d23}, [r2, : 128]
1396         vmlal.s32       q5, d19, d7
1397         vmlal.s32       q0, d18, d21
1398         vmlal.s32       q0, d19, d29
1399         vmlal.s32       q6, d18, d6
1400         add             r2, sp, #496
1401         vld1.8          {d6-d7}, [r2, : 128]
1402         vmlal.s32       q6, d19, d21
1403         add             r2, sp, #544
1404         vld1.8          {d18-d19}, [r2, : 128]
1405         vmlal.s32       q0, d30, d8
1406         add             r2, sp, #640
1407         vld1.8          {d20-d21}, [r2, : 128]
1408         vmlal.s32       q5, d30, d29
1409         add             r2, sp, #576
1410         vld1.8          {d24-d25}, [r2, : 128]
1411         vmlal.s32       q1, d30, d28
1412         vadd.i64        q13, q0, q11
1413         vadd.i64        q14, q5, q11
1414         vmlal.s32       q6, d30, d9
1415         vshr.s64        q4, q13, #26
1416         vshr.s64        q13, q14, #26
1417         vadd.i64        q7, q7, q4
1418         vshl.i64        q4, q4, #26
1419         vadd.i64        q14, q7, q3
1420         vadd.i64        q9, q9, q13
1421         vshl.i64        q13, q13, #26
1422         vadd.i64        q15, q9, q3
1423         vsub.i64        q0, q0, q4
1424         vshr.s64        q4, q14, #25
1425         vsub.i64        q5, q5, q13
1426         vshr.s64        q13, q15, #25
1427         vadd.i64        q6, q6, q4
1428         vshl.i64        q4, q4, #25
1429         vadd.i64        q14, q6, q11
1430         vadd.i64        q2, q2, q13
1431         vsub.i64        q4, q7, q4
1432         vshr.s64        q7, q14, #26
1433         vshl.i64        q13, q13, #25
1434         vadd.i64        q14, q2, q11
1435         vadd.i64        q8, q8, q7
1436         vshl.i64        q7, q7, #26
1437         vadd.i64        q15, q8, q3
1438         vsub.i64        q9, q9, q13
1439         vshr.s64        q13, q14, #26
1440         vsub.i64        q6, q6, q7
1441         vshr.s64        q7, q15, #25
1442         vadd.i64        q10, q10, q13
1443         vshl.i64        q13, q13, #26
1444         vadd.i64        q14, q10, q3
1445         vadd.i64        q1, q1, q7
1446         add             r2, r3, #240
1447         vshl.i64        q7, q7, #25
1448         add             r4, r3, #144
1449         vadd.i64        q15, q1, q11
1450         add             r2, r2, #8
1451         vsub.i64        q2, q2, q13
1452         add             r4, r4, #8
1453         vshr.s64        q13, q14, #25
1454         vsub.i64        q7, q8, q7
1455         vshr.s64        q8, q15, #26
1456         vadd.i64        q14, q13, q13
1457         vadd.i64        q12, q12, q8
1458         vtrn.32         d12, d14
1459         vshl.i64        q8, q8, #26
1460         vtrn.32         d13, d15
1461         vadd.i64        q3, q12, q3
1462         vadd.i64        q0, q0, q14
1463         vst1.8          d12, [r2, : 64]!
1464         vshl.i64        q7, q13, #4
1465         vst1.8          d13, [r4, : 64]!
1466         vsub.i64        q1, q1, q8
1467         vshr.s64        q3, q3, #25
1468         vadd.i64        q0, q0, q7
1469         vadd.i64        q5, q5, q3
1470         vshl.i64        q3, q3, #25
1471         vadd.i64        q6, q5, q11
1472         vadd.i64        q0, q0, q13
1473         vshl.i64        q7, q13, #25
1474         vadd.i64        q8, q0, q11
1475         vsub.i64        q3, q12, q3
1476         vshr.s64        q6, q6, #26
1477         vsub.i64        q7, q10, q7
1478         vtrn.32         d2, d6
1479         vshr.s64        q8, q8, #26
1480         vtrn.32         d3, d7
1481         vadd.i64        q3, q9, q6
1482         vst1.8          d2, [r2, : 64]
1483         vshl.i64        q6, q6, #26
1484         vst1.8          d3, [r4, : 64]
1485         vadd.i64        q1, q4, q8
1486         vtrn.32         d4, d14
1487         vshl.i64        q4, q8, #26
1488         vtrn.32         d5, d15
1489         vsub.i64        q5, q5, q6
1490         add             r2, r2, #16
1491         vsub.i64        q0, q0, q4
1492         vst1.8          d4, [r2, : 64]
1493         add             r4, r4, #16
1494         vst1.8          d5, [r4, : 64]
1495         vtrn.32         d10, d6
1496         vtrn.32         d11, d7
1497         sub             r2, r2, #8
1498         sub             r4, r4, #8
1499         vtrn.32         d0, d2
1500         vtrn.32         d1, d3
1501         vst1.8          d10, [r2, : 64]
1502         vst1.8          d11, [r4, : 64]
1503         sub             r2, r2, #24
1504         sub             r4, r4, #24
1505         vst1.8          d0, [r2, : 64]
1506         vst1.8          d1, [r4, : 64]
1507         ldr             r2, [sp, #456]
1508         ldr             r4, [sp, #460]
1509         subs            r5, r2, #1
1510         bge             .Lmainloop
1511         add             r1, r3, #144
1512         add             r2, r3, #336
1513         vld1.8          {d0-d1}, [r1, : 128]!
1514         vld1.8          {d2-d3}, [r1, : 128]!
1515         vld1.8          {d4}, [r1, : 64]
1516         vst1.8          {d0-d1}, [r2, : 128]!
1517         vst1.8          {d2-d3}, [r2, : 128]!
1518         vst1.8          d4, [r2, : 64]
1519         movw            r1, #0
1520 .Linvertloop:
1521         add             r2, r3, #144
1522         movw            r4, #0
1523         movw            r5, #2
1524         cmp             r1, #1
1525         moveq           r5, #1
1526         addeq           r2, r3, #336
1527         addeq           r4, r3, #48
1528         cmp             r1, #2
1529         moveq           r5, #1
1530         addeq           r2, r3, #48
1531         cmp             r1, #3
1532         moveq           r5, #5
1533         addeq           r4, r3, #336
1534         cmp             r1, #4
1535         moveq           r5, #10
1536         cmp             r1, #5
1537         moveq           r5, #20
1538         cmp             r1, #6
1539         moveq           r5, #10
1540         addeq           r2, r3, #336
1541         addeq           r4, r3, #336
1542         cmp             r1, #7
1543         moveq           r5, #50
1544         cmp             r1, #8
1545         moveq           r5, #100
1546         cmp             r1, #9
1547         moveq           r5, #50
1548         addeq           r2, r3, #336
1549         cmp             r1, #10
1550         moveq           r5, #5
1551         addeq           r2, r3, #48
1552         cmp             r1, #11
1553         moveq           r5, #0
1554         addeq           r2, r3, #96
1555         add             r6, r3, #144
1556         add             r7, r3, #288
1557         vld1.8          {d0-d1}, [r6, : 128]!
1558         vld1.8          {d2-d3}, [r6, : 128]!
1559         vld1.8          {d4}, [r6, : 64]
1560         vst1.8          {d0-d1}, [r7, : 128]!
1561         vst1.8          {d2-d3}, [r7, : 128]!
1562         vst1.8          d4, [r7, : 64]
1563         cmp             r5, #0
1564         beq             .Lskipsquaringloop
1565 .Lsquaringloop:
1566         add             r6, r3, #288
1567         add             r7, r3, #288
1568         add             r8, r3, #288
1569         vmov.i32        q0, #19
1570         vmov.i32        q1, #0
1571         vmov.i32        q2, #1
1572         vzip.i32        q1, q2
1573         vld1.8          {d4-d5}, [r7, : 128]!
1574         vld1.8          {d6-d7}, [r7, : 128]!
1575         vld1.8          {d9}, [r7, : 64]
1576         vld1.8          {d10-d11}, [r6, : 128]!
1577         add             r7, sp, #384
1578         vld1.8          {d12-d13}, [r6, : 128]!
1579         vmul.i32        q7, q2, q0
1580         vld1.8          {d8}, [r6, : 64]
1581         vext.32         d17, d11, d10, #1
1582         vmul.i32        q9, q3, q0
1583         vext.32         d16, d10, d8, #1
1584         vshl.u32        q10, q5, q1
1585         vext.32         d22, d14, d4, #1
1586         vext.32         d24, d18, d6, #1
1587         vshl.u32        q13, q6, q1
1588         vshl.u32        d28, d8, d2
1589         vrev64.i32      d22, d22
1590         vmul.i32        d1, d9, d1
1591         vrev64.i32      d24, d24
1592         vext.32         d29, d8, d13, #1
1593         vext.32         d0, d1, d9, #1
1594         vrev64.i32      d0, d0
1595         vext.32         d2, d9, d1, #1
1596         vext.32         d23, d15, d5, #1
1597         vmull.s32       q4, d20, d4
1598         vrev64.i32      d23, d23
1599         vmlal.s32       q4, d21, d1
1600         vrev64.i32      d2, d2
1601         vmlal.s32       q4, d26, d19
1602         vext.32         d3, d5, d15, #1
1603         vmlal.s32       q4, d27, d18
1604         vrev64.i32      d3, d3
1605         vmlal.s32       q4, d28, d15
1606         vext.32         d14, d12, d11, #1
1607         vmull.s32       q5, d16, d23
1608         vext.32         d15, d13, d12, #1
1609         vmlal.s32       q5, d17, d4
1610         vst1.8          d8, [r7, : 64]!
1611         vmlal.s32       q5, d14, d1
1612         vext.32         d12, d9, d8, #0
1613         vmlal.s32       q5, d15, d19
1614         vmov.i64        d13, #0
1615         vmlal.s32       q5, d29, d18
1616         vext.32         d25, d19, d7, #1
1617         vmlal.s32       q6, d20, d5
1618         vrev64.i32      d25, d25
1619         vmlal.s32       q6, d21, d4
1620         vst1.8          d11, [r7, : 64]!
1621         vmlal.s32       q6, d26, d1
1622         vext.32         d9, d10, d10, #0
1623         vmlal.s32       q6, d27, d19
1624         vmov.i64        d8, #0
1625         vmlal.s32       q6, d28, d18
1626         vmlal.s32       q4, d16, d24
1627         vmlal.s32       q4, d17, d5
1628         vmlal.s32       q4, d14, d4
1629         vst1.8          d12, [r7, : 64]!
1630         vmlal.s32       q4, d15, d1
1631         vext.32         d10, d13, d12, #0
1632         vmlal.s32       q4, d29, d19
1633         vmov.i64        d11, #0
1634         vmlal.s32       q5, d20, d6
1635         vmlal.s32       q5, d21, d5
1636         vmlal.s32       q5, d26, d4
1637         vext.32         d13, d8, d8, #0
1638         vmlal.s32       q5, d27, d1
1639         vmov.i64        d12, #0
1640         vmlal.s32       q5, d28, d19
1641         vst1.8          d9, [r7, : 64]!
1642         vmlal.s32       q6, d16, d25
1643         vmlal.s32       q6, d17, d6
1644         vst1.8          d10, [r7, : 64]
1645         vmlal.s32       q6, d14, d5
1646         vext.32         d8, d11, d10, #0
1647         vmlal.s32       q6, d15, d4
1648         vmov.i64        d9, #0
1649         vmlal.s32       q6, d29, d1
1650         vmlal.s32       q4, d20, d7
1651         vmlal.s32       q4, d21, d6
1652         vmlal.s32       q4, d26, d5
1653         vext.32         d11, d12, d12, #0
1654         vmlal.s32       q4, d27, d4
1655         vmov.i64        d10, #0
1656         vmlal.s32       q4, d28, d1
1657         vmlal.s32       q5, d16, d0
1658         sub             r6, r7, #32
1659         vmlal.s32       q5, d17, d7
1660         vmlal.s32       q5, d14, d6
1661         vext.32         d30, d9, d8, #0
1662         vmlal.s32       q5, d15, d5
1663         vld1.8          {d31}, [r6, : 64]!
1664         vmlal.s32       q5, d29, d4
1665         vmlal.s32       q15, d20, d0
1666         vext.32         d0, d6, d18, #1
1667         vmlal.s32       q15, d21, d25
1668         vrev64.i32      d0, d0
1669         vmlal.s32       q15, d26, d24
1670         vext.32         d1, d7, d19, #1
1671         vext.32         d7, d10, d10, #0
1672         vmlal.s32       q15, d27, d23
1673         vrev64.i32      d1, d1
1674         vld1.8          {d6}, [r6, : 64]
1675         vmlal.s32       q15, d28, d22
1676         vmlal.s32       q3, d16, d4
1677         add             r6, r6, #24
1678         vmlal.s32       q3, d17, d2
1679         vext.32         d4, d31, d30, #0
1680         vmov            d17, d11
1681         vmlal.s32       q3, d14, d1
1682         vext.32         d11, d13, d13, #0
1683         vext.32         d13, d30, d30, #0
1684         vmlal.s32       q3, d15, d0
1685         vext.32         d1, d8, d8, #0
1686         vmlal.s32       q3, d29, d3
1687         vld1.8          {d5}, [r6, : 64]
1688         sub             r6, r6, #16
1689         vext.32         d10, d6, d6, #0
1690         vmov.i32        q1, #0xffffffff
1691         vshl.i64        q4, q1, #25
1692         add             r7, sp, #480
1693         vld1.8          {d14-d15}, [r7, : 128]
1694         vadd.i64        q9, q2, q7
1695         vshl.i64        q1, q1, #26
1696         vshr.s64        q10, q9, #26
1697         vld1.8          {d0}, [r6, : 64]!
1698         vadd.i64        q5, q5, q10
1699         vand            q9, q9, q1
1700         vld1.8          {d16}, [r6, : 64]!
1701         add             r6, sp, #496
1702         vld1.8          {d20-d21}, [r6, : 128]
1703         vadd.i64        q11, q5, q10
1704         vsub.i64        q2, q2, q9
1705         vshr.s64        q9, q11, #25
1706         vext.32         d12, d5, d4, #0
1707         vand            q11, q11, q4
1708         vadd.i64        q0, q0, q9
1709         vmov            d19, d7
1710         vadd.i64        q3, q0, q7
1711         vsub.i64        q5, q5, q11
1712         vshr.s64        q11, q3, #26
1713         vext.32         d18, d11, d10, #0
1714         vand            q3, q3, q1
1715         vadd.i64        q8, q8, q11
1716         vadd.i64        q11, q8, q10
1717         vsub.i64        q0, q0, q3
1718         vshr.s64        q3, q11, #25
1719         vand            q11, q11, q4
1720         vadd.i64        q3, q6, q3
1721         vadd.i64        q6, q3, q7
1722         vsub.i64        q8, q8, q11
1723         vshr.s64        q11, q6, #26
1724         vand            q6, q6, q1
1725         vadd.i64        q9, q9, q11
1726         vadd.i64        d25, d19, d21
1727         vsub.i64        q3, q3, q6
1728         vshr.s64        d23, d25, #25
1729         vand            q4, q12, q4
1730         vadd.i64        d21, d23, d23
1731         vshl.i64        d25, d23, #4
1732         vadd.i64        d21, d21, d23
1733         vadd.i64        d25, d25, d21
1734         vadd.i64        d4, d4, d25
1735         vzip.i32        q0, q8
1736         vadd.i64        d12, d4, d14
1737         add             r6, r8, #8
1738         vst1.8          d0, [r6, : 64]
1739         vsub.i64        d19, d19, d9
1740         add             r6, r6, #16
1741         vst1.8          d16, [r6, : 64]
1742         vshr.s64        d22, d12, #26
1743         vand            q0, q6, q1
1744         vadd.i64        d10, d10, d22
1745         vzip.i32        q3, q9
1746         vsub.i64        d4, d4, d0
1747         sub             r6, r6, #8
1748         vst1.8          d6, [r6, : 64]
1749         add             r6, r6, #16
1750         vst1.8          d18, [r6, : 64]
1751         vzip.i32        q2, q5
1752         sub             r6, r6, #32
1753         vst1.8          d4, [r6, : 64]
1754         subs            r5, r5, #1
1755         bhi             .Lsquaringloop
1756 .Lskipsquaringloop:
1757         mov             r2, r2
1758         add             r5, r3, #288
1759         add             r6, r3, #144
1760         vmov.i32        q0, #19
1761         vmov.i32        q1, #0
1762         vmov.i32        q2, #1
1763         vzip.i32        q1, q2
1764         vld1.8          {d4-d5}, [r5, : 128]!
1765         vld1.8          {d6-d7}, [r5, : 128]!
1766         vld1.8          {d9}, [r5, : 64]
1767         vld1.8          {d10-d11}, [r2, : 128]!
1768         add             r5, sp, #384
1769         vld1.8          {d12-d13}, [r2, : 128]!
1770         vmul.i32        q7, q2, q0
1771         vld1.8          {d8}, [r2, : 64]
1772         vext.32         d17, d11, d10, #1
1773         vmul.i32        q9, q3, q0
1774         vext.32         d16, d10, d8, #1
1775         vshl.u32        q10, q5, q1
1776         vext.32         d22, d14, d4, #1
1777         vext.32         d24, d18, d6, #1
1778         vshl.u32        q13, q6, q1
1779         vshl.u32        d28, d8, d2
1780         vrev64.i32      d22, d22
1781         vmul.i32        d1, d9, d1
1782         vrev64.i32      d24, d24
1783         vext.32         d29, d8, d13, #1
1784         vext.32         d0, d1, d9, #1
1785         vrev64.i32      d0, d0
1786         vext.32         d2, d9, d1, #1
1787         vext.32         d23, d15, d5, #1
1788         vmull.s32       q4, d20, d4
1789         vrev64.i32      d23, d23
1790         vmlal.s32       q4, d21, d1
1791         vrev64.i32      d2, d2
1792         vmlal.s32       q4, d26, d19
1793         vext.32         d3, d5, d15, #1
1794         vmlal.s32       q4, d27, d18
1795         vrev64.i32      d3, d3
1796         vmlal.s32       q4, d28, d15
1797         vext.32         d14, d12, d11, #1
1798         vmull.s32       q5, d16, d23
1799         vext.32         d15, d13, d12, #1
1800         vmlal.s32       q5, d17, d4
1801         vst1.8          d8, [r5, : 64]!
1802         vmlal.s32       q5, d14, d1
1803         vext.32         d12, d9, d8, #0
1804         vmlal.s32       q5, d15, d19
1805         vmov.i64        d13, #0
1806         vmlal.s32       q5, d29, d18
1807         vext.32         d25, d19, d7, #1
1808         vmlal.s32       q6, d20, d5
1809         vrev64.i32      d25, d25
1810         vmlal.s32       q6, d21, d4
1811         vst1.8          d11, [r5, : 64]!
1812         vmlal.s32       q6, d26, d1
1813         vext.32         d9, d10, d10, #0
1814         vmlal.s32       q6, d27, d19
1815         vmov.i64        d8, #0
1816         vmlal.s32       q6, d28, d18
1817         vmlal.s32       q4, d16, d24
1818         vmlal.s32       q4, d17, d5
1819         vmlal.s32       q4, d14, d4
1820         vst1.8          d12, [r5, : 64]!
1821         vmlal.s32       q4, d15, d1
1822         vext.32         d10, d13, d12, #0
1823         vmlal.s32       q4, d29, d19
1824         vmov.i64        d11, #0
1825         vmlal.s32       q5, d20, d6
1826         vmlal.s32       q5, d21, d5
1827         vmlal.s32       q5, d26, d4
1828         vext.32         d13, d8, d8, #0
1829         vmlal.s32       q5, d27, d1
1830         vmov.i64        d12, #0
1831         vmlal.s32       q5, d28, d19
1832         vst1.8          d9, [r5, : 64]!
1833         vmlal.s32       q6, d16, d25
1834         vmlal.s32       q6, d17, d6
1835         vst1.8          d10, [r5, : 64]
1836         vmlal.s32       q6, d14, d5
1837         vext.32         d8, d11, d10, #0
1838         vmlal.s32       q6, d15, d4
1839         vmov.i64        d9, #0
1840         vmlal.s32       q6, d29, d1
1841         vmlal.s32       q4, d20, d7
1842         vmlal.s32       q4, d21, d6
1843         vmlal.s32       q4, d26, d5
1844         vext.32         d11, d12, d12, #0
1845         vmlal.s32       q4, d27, d4
1846         vmov.i64        d10, #0
1847         vmlal.s32       q4, d28, d1
1848         vmlal.s32       q5, d16, d0
1849         sub             r2, r5, #32
1850         vmlal.s32       q5, d17, d7
1851         vmlal.s32       q5, d14, d6
1852         vext.32         d30, d9, d8, #0
1853         vmlal.s32       q5, d15, d5
1854         vld1.8          {d31}, [r2, : 64]!
1855         vmlal.s32       q5, d29, d4
1856         vmlal.s32       q15, d20, d0
1857         vext.32         d0, d6, d18, #1
1858         vmlal.s32       q15, d21, d25
1859         vrev64.i32      d0, d0
1860         vmlal.s32       q15, d26, d24
1861         vext.32         d1, d7, d19, #1
1862         vext.32         d7, d10, d10, #0
1863         vmlal.s32       q15, d27, d23
1864         vrev64.i32      d1, d1
1865         vld1.8          {d6}, [r2, : 64]
1866         vmlal.s32       q15, d28, d22
1867         vmlal.s32       q3, d16, d4
1868         add             r2, r2, #24
1869         vmlal.s32       q3, d17, d2
1870         vext.32         d4, d31, d30, #0
1871         vmov            d17, d11
1872         vmlal.s32       q3, d14, d1
1873         vext.32         d11, d13, d13, #0
1874         vext.32         d13, d30, d30, #0
1875         vmlal.s32       q3, d15, d0
1876         vext.32         d1, d8, d8, #0
1877         vmlal.s32       q3, d29, d3
1878         vld1.8          {d5}, [r2, : 64]
1879         sub             r2, r2, #16
1880         vext.32         d10, d6, d6, #0
1881         vmov.i32        q1, #0xffffffff
1882         vshl.i64        q4, q1, #25
1883         add             r5, sp, #480
1884         vld1.8          {d14-d15}, [r5, : 128]
1885         vadd.i64        q9, q2, q7
1886         vshl.i64        q1, q1, #26
1887         vshr.s64        q10, q9, #26
1888         vld1.8          {d0}, [r2, : 64]!
1889         vadd.i64        q5, q5, q10
1890         vand            q9, q9, q1
1891         vld1.8          {d16}, [r2, : 64]!
1892         add             r2, sp, #496
1893         vld1.8          {d20-d21}, [r2, : 128]
1894         vadd.i64        q11, q5, q10
1895         vsub.i64        q2, q2, q9
1896         vshr.s64        q9, q11, #25
1897         vext.32         d12, d5, d4, #0
1898         vand            q11, q11, q4
1899         vadd.i64        q0, q0, q9
1900         vmov            d19, d7
1901         vadd.i64        q3, q0, q7
1902         vsub.i64        q5, q5, q11
1903         vshr.s64        q11, q3, #26
1904         vext.32         d18, d11, d10, #0
1905         vand            q3, q3, q1
1906         vadd.i64        q8, q8, q11
1907         vadd.i64        q11, q8, q10
1908         vsub.i64        q0, q0, q3
1909         vshr.s64        q3, q11, #25
1910         vand            q11, q11, q4
1911         vadd.i64        q3, q6, q3
1912         vadd.i64        q6, q3, q7
1913         vsub.i64        q8, q8, q11
1914         vshr.s64        q11, q6, #26
1915         vand            q6, q6, q1
1916         vadd.i64        q9, q9, q11
1917         vadd.i64        d25, d19, d21
1918         vsub.i64        q3, q3, q6
1919         vshr.s64        d23, d25, #25
1920         vand            q4, q12, q4
1921         vadd.i64        d21, d23, d23
1922         vshl.i64        d25, d23, #4
1923         vadd.i64        d21, d21, d23
1924         vadd.i64        d25, d25, d21
1925         vadd.i64        d4, d4, d25
1926         vzip.i32        q0, q8
1927         vadd.i64        d12, d4, d14
1928         add             r2, r6, #8
1929         vst1.8          d0, [r2, : 64]
1930         vsub.i64        d19, d19, d9
1931         add             r2, r2, #16
1932         vst1.8          d16, [r2, : 64]
1933         vshr.s64        d22, d12, #26
1934         vand            q0, q6, q1
1935         vadd.i64        d10, d10, d22
1936         vzip.i32        q3, q9
1937         vsub.i64        d4, d4, d0
1938         sub             r2, r2, #8
1939         vst1.8          d6, [r2, : 64]
1940         add             r2, r2, #16
1941         vst1.8          d18, [r2, : 64]
1942         vzip.i32        q2, q5
1943         sub             r2, r2, #32
1944         vst1.8          d4, [r2, : 64]
1945         cmp             r4, #0
1946         beq             .Lskippostcopy
1947         add             r2, r3, #144
1948         mov             r4, r4
1949         vld1.8          {d0-d1}, [r2, : 128]!
1950         vld1.8          {d2-d3}, [r2, : 128]!
1951         vld1.8          {d4}, [r2, : 64]
1952         vst1.8          {d0-d1}, [r4, : 128]!
1953         vst1.8          {d2-d3}, [r4, : 128]!
1954         vst1.8          d4, [r4, : 64]
1955 .Lskippostcopy:
1956         cmp             r1, #1
1957         bne             .Lskipfinalcopy
1958         add             r2, r3, #288
1959         add             r4, r3, #144
1960         vld1.8          {d0-d1}, [r2, : 128]!
1961         vld1.8          {d2-d3}, [r2, : 128]!
1962         vld1.8          {d4}, [r2, : 64]
1963         vst1.8          {d0-d1}, [r4, : 128]!
1964         vst1.8          {d2-d3}, [r4, : 128]!
1965         vst1.8          d4, [r4, : 64]
1966 .Lskipfinalcopy:
1967         add             r1, r1, #1
1968         cmp             r1, #12
1969         blo             .Linvertloop
1970         add             r1, r3, #144
1971         ldr             r2, [r1], #4
1972         ldr             r3, [r1], #4
1973         ldr             r4, [r1], #4
1974         ldr             r5, [r1], #4
1975         ldr             r6, [r1], #4
1976         ldr             r7, [r1], #4
1977         ldr             r8, [r1], #4
1978         ldr             r9, [r1], #4
1979         ldr             r10, [r1], #4
1980         ldr             r1, [r1]
1981         add             r11, r1, r1, LSL #4
1982         add             r11, r11, r1, LSL #1
1983         add             r11, r11, #16777216
1984         mov             r11, r11, ASR #25
1985         add             r11, r11, r2
1986         mov             r11, r11, ASR #26
1987         add             r11, r11, r3
1988         mov             r11, r11, ASR #25
1989         add             r11, r11, r4
1990         mov             r11, r11, ASR #26
1991         add             r11, r11, r5
1992         mov             r11, r11, ASR #25
1993         add             r11, r11, r6
1994         mov             r11, r11, ASR #26
1995         add             r11, r11, r7
1996         mov             r11, r11, ASR #25
1997         add             r11, r11, r8
1998         mov             r11, r11, ASR #26
1999         add             r11, r11, r9
2000         mov             r11, r11, ASR #25
2001         add             r11, r11, r10
2002         mov             r11, r11, ASR #26
2003         add             r11, r11, r1
2004         mov             r11, r11, ASR #25
2005         add             r2, r2, r11
2006         add             r2, r2, r11, LSL #1
2007         add             r2, r2, r11, LSL #4
2008         mov             r11, r2, ASR #26
2009         add             r3, r3, r11
2010         sub             r2, r2, r11, LSL #26
2011         mov             r11, r3, ASR #25
2012         add             r4, r4, r11
2013         sub             r3, r3, r11, LSL #25
2014         mov             r11, r4, ASR #26
2015         add             r5, r5, r11
2016         sub             r4, r4, r11, LSL #26
2017         mov             r11, r5, ASR #25
2018         add             r6, r6, r11
2019         sub             r5, r5, r11, LSL #25
2020         mov             r11, r6, ASR #26
2021         add             r7, r7, r11
2022         sub             r6, r6, r11, LSL #26
2023         mov             r11, r7, ASR #25
2024         add             r8, r8, r11
2025         sub             r7, r7, r11, LSL #25
2026         mov             r11, r8, ASR #26
2027         add             r9, r9, r11
2028         sub             r8, r8, r11, LSL #26
2029         mov             r11, r9, ASR #25
2030         add             r10, r10, r11
2031         sub             r9, r9, r11, LSL #25
2032         mov             r11, r10, ASR #26
2033         add             r1, r1, r11
2034         sub             r10, r10, r11, LSL #26
2035         mov             r11, r1, ASR #25
2036         sub             r1, r1, r11, LSL #25
2037         add             r2, r2, r3, LSL #26
2038         mov             r3, r3, LSR #6
2039         add             r3, r3, r4, LSL #19
2040         mov             r4, r4, LSR #13
2041         add             r4, r4, r5, LSL #13
2042         mov             r5, r5, LSR #19
2043         add             r5, r5, r6, LSL #6
2044         add             r6, r7, r8, LSL #25
2045         mov             r7, r8, LSR #7
2046         add             r7, r7, r9, LSL #19
2047         mov             r8, r9, LSR #13
2048         add             r8, r8, r10, LSL #12
2049         mov             r9, r10, LSR #20
2050         add             r1, r9, r1, LSL #6
2051         str             r2, [r0]
2052         str             r3, [r0, #4]
2053         str             r4, [r0, #8]
2054         str             r5, [r0, #12]
2055         str             r6, [r0, #16]
2056         str             r7, [r0, #20]
2057         str             r8, [r0, #24]
2058         str             r1, [r0, #28]
2059         movw            r0, #0
2060         mov             sp, ip
2061         pop             {r4-r11, pc}
2062 ENDPROC(curve25519_neon)