/*
 *  Copyright 2011 The LibYuv Project Authors. All rights reserved.
 *
 *  Use of this source code is governed by a BSD-style license
 *  that can be found in the LICENSE file in the root of the source
 *  tree. An additional intellectual property rights grant can be found
 *  in the file PATENTS. All contributing project authors may
 *  be found in the AUTHORS file in the root of the source tree.
 */

#include "libyuv/rotate_row.h"
#include "libyuv/row.h"

#include "libyuv/basic_types.h"

#ifdef __cplusplus
namespace libyuv {
extern "C" {
#endif

#if !defined(LIBYUV_DISABLE_NEON) && defined(__ARM_NEON__) && \
    !defined(__aarch64__)

void TransposeWx8_NEON(const uint8_t* src,
                       int src_stride,
                       uint8_t* dst,
                       int dst_stride,
                       int width) {
  const uint8_t* temp;
  asm volatile(
      // loops are on blocks of 8. loop will stop when
      // counter gets to or below 0. starting the counter
      // at w-8 allow for this
      "sub         %[width], #8                  \n"

      "1:          \n"
      "mov         %[temp], %[src]               \n"
      "vld1.8      {d0}, [%[temp]], %[src_stride] \n"
      "vld1.8      {d1}, [%[temp]], %[src_stride] \n"
      "vld1.8      {d2}, [%[temp]], %[src_stride] \n"
      "vld1.8      {d3}, [%[temp]], %[src_stride] \n"
      "vld1.8      {d4}, [%[temp]], %[src_stride] \n"
      "vld1.8      {d5}, [%[temp]], %[src_stride] \n"
      "vld1.8      {d6}, [%[temp]], %[src_stride] \n"
      "vld1.8      {d7}, [%[temp]]               \n"
      "add         %[src], #8                    \n"

      "vtrn.8      d1, d0                        \n"
      "vtrn.8      d3, d2                        \n"
      "vtrn.8      d5, d4                        \n"
      "vtrn.8      d7, d6                        \n"
      "subs        %[width], #8                  \n"

      "vtrn.16     d1, d3                        \n"
      "vtrn.16     d0, d2                        \n"
      "vtrn.16     d5, d7                        \n"
      "vtrn.16     d4, d6                        \n"

      "vtrn.32     d1, d5                        \n"
      "vtrn.32     d0, d4                        \n"
      "vtrn.32     d3, d7                        \n"
      "vtrn.32     d2, d6                        \n"

      "vrev16.8    q0, q0                        \n"
      "vrev16.8    q1, q1                        \n"
      "vrev16.8    q2, q2                        \n"
      "vrev16.8    q3, q3                        \n"

      "mov         %[temp], %[dst]               \n"
      "vst1.8      {d1}, [%[temp]], %[dst_stride] \n"
      "vst1.8      {d0}, [%[temp]], %[dst_stride] \n"
      "vst1.8      {d3}, [%[temp]], %[dst_stride] \n"
      "vst1.8      {d2}, [%[temp]], %[dst_stride] \n"
      "vst1.8      {d5}, [%[temp]], %[dst_stride] \n"
      "vst1.8      {d4}, [%[temp]], %[dst_stride] \n"
      "vst1.8      {d7}, [%[temp]], %[dst_stride] \n"
      "vst1.8      {d6}, [%[temp]]               \n"
      "add         %[dst], %[dst], %[dst_stride], lsl #3 \n"

      "bge         1b                            \n"
      : [temp] "=&r"(temp),            // %[temp]
        [src] "+r"(src),               // %[src]
        [dst] "+r"(dst),               // %[dst]
        [width] "+r"(width)            // %[width]
      : [src_stride] "r"(src_stride),  // %[src_stride]
        [dst_stride] "r"(dst_stride)   // %[dst_stride]
      : "memory", "cc", "q0", "q1", "q2", "q3");
}

void TransposeUVWx8_NEON(const uint8_t* src,
                         int src_stride,
                         uint8_t* dst_a,
                         int dst_stride_a,
                         uint8_t* dst_b,
                         int dst_stride_b,
                         int width) {
  const uint8_t* temp;
  asm volatile(
      // loops are on blocks of 8. loop will stop when
      // counter gets to or below 0. starting the counter
      // at w-8 allow for this
      "sub         %[width], #8                  \n"

      "1:          \n"
      "mov         %[temp], %[src]               \n"
      "vld2.8      {d0,  d1},  [%[temp]], %[src_stride] \n"
      "vld2.8      {d2,  d3},  [%[temp]], %[src_stride] \n"
      "vld2.8      {d4,  d5},  [%[temp]], %[src_stride] \n"
      "vld2.8      {d6,  d7},  [%[temp]], %[src_stride] \n"
      "vld2.8      {d16, d17}, [%[temp]], %[src_stride] \n"
      "vld2.8      {d18, d19}, [%[temp]], %[src_stride] \n"
      "vld2.8      {d20, d21}, [%[temp]], %[src_stride] \n"
      "vld2.8      {d22, d23}, [%[temp]]         \n"
      "add         %[src], #8*2                  \n"

      "vtrn.8      q1, q0                        \n"
      "vtrn.8      q3, q2                        \n"
      "vtrn.8      q9, q8                        \n"
      "vtrn.8      q11, q10                      \n"
      "subs        %[width], #8                  \n"

      "vtrn.16     q1, q3                        \n"
      "vtrn.16     q0, q2                        \n"
      "vtrn.16     q9, q11                       \n"
      "vtrn.16     q8, q10                       \n"

      "vtrn.32     q1, q9                        \n"
      "vtrn.32     q0, q8                        \n"
      "vtrn.32     q3, q11                       \n"
      "vtrn.32     q2, q10                       \n"

      "vrev16.8    q0, q0                        \n"
      "vrev16.8    q1, q1                        \n"
      "vrev16.8    q2, q2                        \n"
      "vrev16.8    q3, q3                        \n"
      "vrev16.8    q8, q8                        \n"
      "vrev16.8    q9, q9                        \n"
      "vrev16.8    q10, q10                      \n"
      "vrev16.8    q11, q11                      \n"

      "mov         %[temp], %[dst_a]             \n"
      "vst1.8      {d2},  [%[temp]], %[dst_stride_a] \n"
      "vst1.8      {d0},  [%[temp]], %[dst_stride_a] \n"
      "vst1.8      {d6},  [%[temp]], %[dst_stride_a] \n"
      "vst1.8      {d4},  [%[temp]], %[dst_stride_a] \n"
      "vst1.8      {d18}, [%[temp]], %[dst_stride_a] \n"
      "vst1.8      {d16}, [%[temp]], %[dst_stride_a] \n"
      "vst1.8      {d22}, [%[temp]], %[dst_stride_a] \n"
      "vst1.8      {d20}, [%[temp]]              \n"
      "add         %[dst_a], %[dst_a], %[dst_stride_a], lsl #3 \n"

      "mov         %[temp], %[dst_b]             \n"
      "vst1.8      {d3},  [%[temp]], %[dst_stride_b] \n"
      "vst1.8      {d1},  [%[temp]], %[dst_stride_b] \n"
      "vst1.8      {d7},  [%[temp]], %[dst_stride_b] \n"
      "vst1.8      {d5},  [%[temp]], %[dst_stride_b] \n"
      "vst1.8      {d19}, [%[temp]], %[dst_stride_b] \n"
      "vst1.8      {d17}, [%[temp]], %[dst_stride_b] \n"
      "vst1.8      {d23}, [%[temp]], %[dst_stride_b] \n"
      "vst1.8      {d21}, [%[temp]]              \n"
      "add         %[dst_b], %[dst_b], %[dst_stride_b], lsl #3 \n"

      "bge         1b                            \n"
      : [temp] "=&r"(temp),                // %[temp]
        [src] "+r"(src),                   // %[src]
        [dst_a] "+r"(dst_a),               // %[dst_a]
        [dst_b] "+r"(dst_b),               // %[dst_b]
        [width] "+r"(width)                // %[width]
      : [src_stride] "r"(src_stride),      // %[src_stride]
        [dst_stride_a] "r"(dst_stride_a),  // %[dst_stride_a]
        [dst_stride_b] "r"(dst_stride_b)   // %[dst_stride_b]
      : "memory", "cc", "q0", "q1", "q2", "q3", "q8", "q9", "q10", "q11");
}

// Transpose 32 bit values (ARGB)
void Transpose4x4_32_NEON(const uint8_t* src,
                          int src_stride,
                          uint8_t* dst,
                          int dst_stride,
                          int width) {
  const uint8_t* src1 = src + src_stride;
  const uint8_t* src2 = src1 + src_stride;
  const uint8_t* src3 = src2 + src_stride;
  uint8_t* dst1 = dst + dst_stride;
  uint8_t* dst2 = dst1 + dst_stride;
  uint8_t* dst3 = dst2 + dst_stride;
  asm volatile(
      // Main loop transpose 4x4.  Read a column, write a row.
      "1:          \n"
      "vld4.32     {d0[0], d2[0], d4[0], d6[0]}, [%0], %9 \n"
      "vld4.32     {d0[1], d2[1], d4[1], d6[1]}, [%1], %9 \n"
      "vld4.32     {d1[0], d3[0], d5[0], d7[0]}, [%2], %9 \n"
      "vld4.32     {d1[1], d3[1], d5[1], d7[1]}, [%3], %9 \n"
      "subs        %8, %8, #4                    \n"  // w -= 4
      "vst1.8      {q0}, [%4]!                   \n"
      "vst1.8      {q1}, [%5]!                   \n"
      "vst1.8      {q2}, [%6]!                   \n"
      "vst1.8      {q3}, [%7]!                   \n"
      "bgt         1b                            \n"

      : "+r"(src),                      // %0
        "+r"(src1),                     // %1
        "+r"(src2),                     // %2
        "+r"(src3),                     // %3
        "+r"(dst),                      // %4
        "+r"(dst1),                     // %5
        "+r"(dst2),                     // %6
        "+r"(dst3),                     // %7
        "+r"(width)                     // %8
      : "r"((ptrdiff_t)src_stride * 4)  // %9
      : "memory", "cc", "q0", "q1", "q2", "q3");
}

#endif  // defined(__ARM_NEON__) && !defined(__aarch64__)

#ifdef __cplusplus
}  // extern "C"
}  // namespace libyuv
#endif
