在我的计算机上安装的 192GB RAM 中,我有 188GB RAM 以上 4GB(硬件地址 0x100000000)由 Linux 内核在启动时保留(mem=4G memmap=188G$4G)。数据采集内核模块使用 DMA 将数据累积到用作环形缓冲区的大区域中。用户空间应用程序将此环形缓冲区映射到用户空间,然后在准备好后从当前位置的环形缓冲区复制块进行处理。
使用 memcpy 从 mmap 区域复制这些 16MB 块的效果并不符合我的预期。看来性能取决于启动时保留的内存大小(稍后映射到用户空间)。http://www.wurmsdobler.org/files/resmem.zip http://www.wurmsdobler.org/files/resmem.zip包含实现 mmap 文件操作的内核模块的源代码:
module_param(resmem_hwaddr, ulong, S_IRUSR);
module_param(resmem_length, ulong, S_IRUSR);
//...
static int resmem_mmap(struct file *filp, struct vm_area_struct *vma) {
remap_pfn_range(vma, vma->vm_start,
resmem_hwaddr >> PAGE_SHIFT,
resmem_length, vma->vm_page_prot);
return 0;
}
和一个测试应用程序,其本质上是(删除检查):
#define BLOCKSIZE ((size_t)16*1024*1024)
int resMemFd = ::open(RESMEM_DEV, O_RDWR | O_SYNC);
unsigned long resMemLength = 0;
::ioctl(resMemFd, RESMEM_IOC_LENGTH, &resMemLength);
void* resMemBase = ::mmap(0, resMemLength, PROT_READ | PROT_WRITE, MAP_SHARED, resMemFd, 4096);
char* source = ((char*)resMemBase) + RESMEM_HEADER_SIZE;
char* destination = new char[BLOCKSIZE];
struct timeval start, end;
gettimeofday(&start, NULL);
memcpy(destination, source, BLOCKSIZE);
gettimeofday(&end, NULL);
float time = (end.tv_sec - start.tv_sec)*1000.0f + (end.tv_usec - start.tv_usec)/1000.0f;
std::cout << "memcpy from mmap'ed to malloc'ed: " << time << "ms (" << BLOCKSIZE/1000.0f/time << "MB/s)" << std::endl;
我在 Ubuntu 10.04.4、Linux 2.6.32、SuperMicro 1026GT-TF-FM109 上对不同大小的保留 RAM (resmem_length) 的 16MB 数据块进行了 memcpy 测试:
| | 1GB | 4GB | 16GB | 64GB | 128GB | 188GB
|run 1 | 9.274ms (1809.06MB/s) | 11.503ms (1458.51MB/s) | 11.333ms (1480.39MB/s) | 9.326ms (1798.97MB/s) | 213.892ms ( 78.43MB/s) | 206.476ms ( 81.25MB/s)
|run 2 | 4.255ms (3942.94MB/s) | 4.249ms (3948.51MB/s) | 4.257ms (3941.09MB/s) | 4.298ms (3903.49MB/s) | 208.269ms ( 80.55MB/s) | 200.627ms ( 83.62MB/s)
我的观察是:
从第一次到第二次运行,memcpy 从 mmap'ed 到 malloc'ed 似乎受益于内容可能已经缓存在某个地方。
从 >64GB 开始,性能会显着下降,这在使用 memcpy 时都可以注意到。
我想了解为什么会这样。也许 Linux 内核开发人员小组中的某个人认为:64GB 对于任何人来说都应该足够了(这是否引起了注意?)
亲切的问候,
彼得