我观察到一个系统std::fill
在一个大的std::vector<int>
设置恒定值时明显且持续变慢0
与恒定值相比1
或动态值:
5.8 GiB/秒 vs 7.5 GiB/秒
然而,对于较小的数据量,结果是不同的,其中fill(0)
是比较快的:
具有多个线程,数据大小为 4 GiB,fill(1)
显示出更高的斜率,但达到的峰值比fill(0)
(51 GiB/秒与 90 GiB/秒):
这就提出了第二个问题,为什么峰值带宽fill(1)
低得多。
测试系统是双路 Intel Xeon CPU E5-2680 v3,频率设置为 2.5 GHz(通过/sys/cpufreq
)配备 8x16 GiB DDR4-2133。我用 GCC 6.1.0 进行了测试(-O3
)和英特尔编译器 17.0.1(-fast
),两者得到相同的结果。GOMP_CPU_AFFINITY=0,12,1,13,2,14,3,15,4,16,5,17,6,18,7,19,8,20,9,21,10,22,11,23
已设置。 Strem/add/24 线程在系统上获得 85 GiB/s。
我能够在不同的 Haswell 双插槽服务器系统上重现这种效果,但不能在任何其他架构上重现。例如,在 Sandy Bridge EP 上,内存性能相同,而在缓存中fill(0)
速度要快得多。
这是重现的代码:
#include <algorithm>
#include <cstdlib>
#include <iostream>
#include <omp.h>
#include <vector>
using value = int;
using vector = std::vector<value>;
constexpr size_t write_size = 8ll * 1024 * 1024 * 1024;
constexpr size_t max_data_size = 4ll * 1024 * 1024 * 1024;
void __attribute__((noinline)) fill0(vector& v) {
std::fill(v.begin(), v.end(), 0);
}
void __attribute__((noinline)) fill1(vector& v) {
std::fill(v.begin(), v.end(), 1);
}
void bench(size_t data_size, int nthreads) {
#pragma omp parallel num_threads(nthreads)
{
vector v(data_size / (sizeof(value) * nthreads));
auto repeat = write_size / data_size;
#pragma omp barrier
auto t0 = omp_get_wtime();
for (auto r = 0; r < repeat; r++)
fill0(v);
#pragma omp barrier
auto t1 = omp_get_wtime();
for (auto r = 0; r < repeat; r++)
fill1(v);
#pragma omp barrier
auto t2 = omp_get_wtime();
#pragma omp master
std::cout << data_size << ", " << nthreads << ", " << write_size / (t1 - t0) << ", "
<< write_size / (t2 - t1) << "\n";
}
}
int main(int argc, const char* argv[]) {
std::cout << "size,nthreads,fill0,fill1\n";
for (size_t bytes = 1024; bytes <= max_data_size; bytes *= 2) {
bench(bytes, 1);
}
for (size_t bytes = 1024; bytes <= max_data_size; bytes *= 2) {
bench(bytes, omp_get_max_threads());
}
for (int nthreads = 1; nthreads <= omp_get_max_threads(); nthreads++) {
bench(max_data_size, nthreads);
}
}
所呈现的结果编译g++ fillbench.cpp -O3 -o fillbench_gcc -fopenmp
.