SIMD：位包有符号整数

可以使用“位打包”技术来压缩无符号整数：在无符号整数块中，仅存储有效位，从而当块中的所有整数都“小”时进行数据压缩。该方法被称为FOR https://www.elastic.co/blog/frame-of-reference-and-roaring-bitmaps（参照系）。

有SIMD图书馆 https://github.com/awesome-simd/awesome-simd非常有效地做到这一点。

现在我想使用类似FOR的技术来编码signed整数，例如来自未排序的无符号整数的差异序列。每个有符号整数的符号需要存储在某处，有两种选择：

1. 将符号存储在单独的数据块中。这增加了开销。
2. 将符号与每个有符号整数的绝对值存储在一起。

我现在正在遵循路径2。 2-s 补码在 MSB（最高有效位）中具有符号位，因此不适用于 FOR 那样的位打包。一种可能性是将符号存储在 lsb（最低有效位）中。以这种方式存储有符号整数是非常不寻常的，据我所知，没有指令支持这种方式。现在的问题是：可以使用 SIMD 指令对这些 lsb 有符号整数进行有效编码/解码吗？

我认为AVX-512_mm_testn_epi32_mask可用于从每个 uint32 中提取 lsb，后跟一个移位，然后是两个mask_extract某种？相当复杂。

未经测试ZigZag https://developers.google.com/protocol-buffers/docs/encoding#types使用 SSE2 处理 64 位整数的 C 示例：

（注意：SSE2 缺少一些 64 位指令...）

#include <emmintrin.h>


// from comment by Peter-Cordes 
__m128i zigzag_encode_epi64(__m128i v) {
    __m128i signmask = _mm_shuffle_epi32(v, _MM_SHUFFLE(3,3,1,1));
    signmask = _mm_srai_epi32(signmask, 31);
    return _mm_xor_si128(_mm_add_epi64(v, v), signmask);
}


__m128i zigzag_decode_epi64 (__m128i v) {
    __m128i signmask = _mm_and_si128(_mm_set_epi32(0, 1, 0, 1), v);
    signmask = _mm_sub_epi64(_mm_setzero_si128(), signmask);
    return _mm_xor_si128(_mm_srli_epi64(v, 1), signmask);
}


// no constant
__m128i zigzag_decodev3_epi64 (__m128i v) {
    __m128i t = _mm_srli_epi64(v, 1);
    __m128i signmask = _mm_sub_epi64(_mm_slli_epi64(t, 1), v);
    return _mm_xor_si128(t, signmask);
}

Zigzag 对于按位变体很有用。然而，字节组变体可能希望“从可变位宽进行符号扩展”。

32 位示例

我更喜欢比较而不是算术移位。我假设 - 当展开时 - 比较的延迟会降低 1 个周期。

__m128i zigzag_encode_epi32 (__m128i v) {
    __m128i signmask =_mm_cmpgt_epi32(_mm_setzero_si128(), v);
    return _mm_xor_si128(_mm_add_epi32(v, v), signmask);
}


__m128i zigzag_decode_epi32 (__m128i v) {
    const __m128i m = _mm_set1_epi32(1);
    __m128i signmask =_mm_cmpeq_epi32(_mm_and_si128(m, v), m);
    return _mm_xor_si128(_mm_srli_epi32(v, 1), signmask);
}


__m128i delta_encode_epi32 (__m128i v, __m128i prev) {
    return _mm_sub_epi32(v, _mm_alignr_epi8(v, prev, 12));
}


// prefix sum (see many of answers around stackoverflow...)
__m128i delta_decode_epi32 (__m128i v, __m128i prev) {
    prev = _mm_shuffle_epi32(prev, _MM_SHUFFLE(3,3,3,3)); // [P P P P]
    v = _mm_add_epi32(v, _mm_slli_si128(v, 4)); // [A AB BC CD]
    prev = _mm_add_epi32(prev, v); // [PA PAB PBC PCD]
    v = _mm_slli_si128(v, 8); // [0 0 A AB]
    return _mm_add_epi32(prev, v); // [PA PAB PABC PABCD]
}


__m128i delta_zigzag_encode_epi32 (__m128i v, __m128i prev) {
    return zigzag_encode_epi32(delta_encode_epi32(v, prev));
}


__m128i delta_zigzag_decode_epi32 (__m128i v, __m128i prev) {
    return delta_decode_epi32(zigzag_decode_epi32(v), prev);
}

注意：增量编码在编码时转置元素然后在解码期间再次转置它们会更快（往返/解码）；水平前缀和确实很慢。然而，确定每批中要转置的最佳元素数量似乎是一个难题。