为什么在使用 pshufb shuffle 作为半字节查找表之前需要屏蔽？

这段代码来自https://github.com/WojciechMula/sse-popcount/blob/master/popcnt-avx2-lookup.cpp https://github.com/WojciechMula/sse-popcount/blob/master/popcnt-avx2-lookup.cpp.

std::uint64_t popcnt_AVX2_lookup(const uint8_t* data, const size_t n) {

    size_t i = 0;

    const __m256i lookup = _mm256_setr_epi8(
        /* 0 */ 0, /* 1 */ 1, /* 2 */ 1, /* 3 */ 2,
        /* 4 */ 1, /* 5 */ 2, /* 6 */ 2, /* 7 */ 3,
        /* 8 */ 1, /* 9 */ 2, /* a */ 2, /* b */ 3,
        /* c */ 2, /* d */ 3, /* e */ 3, /* f */ 4,

        /* 0 */ 0, /* 1 */ 1, /* 2 */ 1, /* 3 */ 2,
        /* 4 */ 1, /* 5 */ 2, /* 6 */ 2, /* 7 */ 3,
        /* 8 */ 1, /* 9 */ 2, /* a */ 2, /* b */ 3,
        /* c */ 2, /* d */ 3, /* e */ 3, /* f */ 4
    );

    const __m256i low_mask = _mm256_set1_epi8(0x0f);

    __m256i acc = _mm256_setzero_si256();

#define ITER { \
        const __m256i vec = _mm256_loadu_si256(reinterpret_cast<const __m256i*>(data + i)); \
        const __m256i lo  = _mm256_and_si256(vec, low_mask); \
\\\     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ why do we need this? 
        const __m256i hi  = _mm256_and_si256(_mm256_srli_epi16(vec, 4), low_mask); \
        const __m256i popcnt1 = _mm256_shuffle_epi8(lookup, lo); \
        const __m256i popcnt2 = _mm256_shuffle_epi8(lookup, hi); \
        local = _mm256_add_epi8(local, popcnt1); \
        local = _mm256_add_epi8(local, popcnt2); \
        i += 32; \
    }

    while (i + 8*32 <= n) {
        __m256i local = _mm256_setzero_si256();
        ITER ITER ITER ITER
        ITER ITER ITER ITER
        acc = _mm256_add_epi64(acc, _mm256_sad_epu8(local, _mm256_setzero_si256()));
    }

...rest are unrelated to the question

该代码用于替换builtin_popcnt 函数，该函数以二进制格式计算给定输入中1 的数量。 令我困扰的是这两行：

const __m256i lo  = _mm256_and_si256(vec, low_mask); \
const __m256i hi  = _mm256_and_si256(_mm256_srli_epi16(vec, 4), low_mask); \

根据英特尔内在指南 ,the _mm256_shuffle_epi8指令仅查看打包字符 b 的低 4 位：

__m256i _mm256_shuffle_epi8 (__m256i a, __m256i b)
FOR j := 0 to 15
    i := j*8
    IF b[i+7] == 1
        dst[i+7:i] := 0
    ELSE
        index[3:0] := b[i+3:i] 
\\\     ^^^^^^^^^^^^^^^^^^^^^^ only look at lower 4 bits
        dst[i+7:i] := a[index*8+7:index*8]
    FI
    IF b[128+i+7] == 1
        dst[128+i+7:128+i] := 0
    ELSE
        index[3:0] := b[128+i+3:128+i]
        dst[128+i+7:128+i] := a[128+index*8+7:128+index*8]
    FI
ENDFOR
dst[MAX:256] := 0

所以如果我没记错的话，你可以这样做

const __m256i lo  = vec; \
const __m256i hi  = _mm256_srli_epi16(vec, 4); \

我是 AVX 新手，如果有什么问题请告诉我。

[v]pshufb不幸的是，查看输出元素的高位为零。在您引用的伪代码中：

    IF b[i+7] == 1                 # if high-bit set
        dst[i+7:i] := 0            # zero that output element
    ELSE
         ... the part you were looking at   # else index the source

内在函数指南仅在伪代码中介绍它，而不是文本。
和往常一样，asm 手动输入 https://www.felixcloutier.com/x86/pshufb描述更具描述性：

如果设置了随机控制掩码的每个字节的最高有效位（位[7]），则将常量零写入结果字节中

它对于某些问题很有用，但对于pshufb作为半字节查找表，它确实需要 2[v]pand指示。包括高半字节，因为 x86 没有 SIMD 字节移位。最狭窄的存在psrlw16 位元素，因此即使每隔一个字节也会被垃圾移位到其高位。除非已知您的输入数据始终清除这些位位置。

AVX-512VBMI（Ice Lake 及更新版本）vpermb https://www.felixcloutier.com/x86/vpermb没有这个缺点，但它是车道交叉的，因此它在支持它的 CPU 上有 3c 延迟，而不是 1。幸运的是，与 Ice Lake 不同的是，它在 Ice Lake 上仍然只有 1 uopvperm2tw and vpermt2b即使在冰湖上（https://uops.info https://uops.info).

但在任何未来通过解码为 2x 256 位一半来执行 AVX-512 的 CPU 上，它可能会更慢，就像未来的一些英特尔效率核心一样。 （我猜，Alder Lake E 核具有 128 位宽 EU，并且已经将 256 位向量分成两半，并且支持每条指令 4 个微指令的 AVX-512 将开始变得愚蠢。不幸的是，英特尔没有设计一种仅以 128 和 256 位宽度公开新 AVX-512 功能的方法（例如屏蔽和更好的随机播放，vpternlogd, etc.))

Zen 4 可以高效处理 512 位指令，仍然是单微指令，最坏情况下只有 256 位指令一半的吞吐量，相同的微指令占用一个执行单元 2 个周期。

因此，与 Zen 1 不同，在 Zen 1 中，车道交叉 AVX1/2 会随机播放vpermq and vperm2f128是几个 uop，因为洗牌单元实际上只有 128 位宽，Zen 4 的吞吐量为 1/时钟vpermb zmm，与 2/时钟vpermb ymm/xmm。 512 位版本有 6 个周期延迟，ymm 为 4 个周期，xmm 为 2 个周期。 （https://uops.info/ https://uops.info/)

Using vpermb作为直接替代品vpshufb，LUT 仍然可以从 16 字节源广播加载，因为它只是在每个通道中重复。然后，只要索引 0、16、32 和 48 都读取相同的值，您就可以将第 4 个以上的位保留为不为零，等等。

或者当然它开辟了更广泛的 LUT 的可能性，例如极其高效的 base64 编码vpmultishiftqb用于并行位域提取。 （https://github.com/aklomp/base64/blob/master/lib/arch/avx512/enc_reshuffle_translate.c https://github.com/aklomp/base64/blob/master/lib/arch/avx512/enc_reshuffle_translate.c or https://github.com/WojciechMula/base64simd https://github.com/WojciechMula/base64simd)