将大数据写入套接字时最小化副本

我正在编写一个处理图像（大数据）的应用程序服务器。在将图像数据发送回客户端时，我试图尽量减少副本。我需要发送给客户端的处理后的图像位于从 jemalloc 获得的缓冲区中。我想到的将数据发送回客户端的方式是：

1）简单的写调用。

// Allocate buffer buf.
// Store image data in this buffer.
write(socket, buf, len);

2）我通过 mmap 而不是 jemalloc 获取缓冲区，尽管我认为 jemalloc 已经使用 mmap 创建了缓冲区。然后我进行一个简单的调用 write。

buf = mmap(file, len);  // Imagine proper options.
// Store image data in this buffer.
write(socket, buf, len);

3）我像以前一样通过mmap获取缓冲区。然后我使用 sendfile 发送数据：

buf = mmap(in_fd, len);  // Imagine proper options.
// Store image data in this buffer.
int rc;
rc = sendfile(out_fd, file, &offset, count);
// Deal with rc.

鉴于 jemalloc 可能首先通过 mmap 分配内存，看起来 (1) 和 (2) 可能会做同样的事情。不过我不确定（3）。这真的会带来任何好处吗？图4就这个article http://www.linuxjournal.com/article/6345?page=0,1在 Linux 上，零复制方法表明可以使用 sendfile 来阻止进一步的复制：

没有数据复制到套接字缓冲区中。相反，只有描述符 有关数据的位置和长度的信息是 附加到套接字缓冲区。 DMA引擎直接传递数据 来自内核缓冲区到协议引擎，从而消除 剩余的最终副本。

如果一切顺利的话，这似乎是一场胜利。我不知道我的映射缓冲区是否算作内核缓冲区。我也不知道什么时候重新使用这个缓冲区是安全的。由于 fd 和长度是附加到套接字缓冲区的唯一内容，因此我假设内核实际上将此数据异步写入套接字。如果确实如此，sendfile 的返回意味着什么？我如何知道何时重新使用该缓冲区？

所以我的问题是：

1. 将大缓冲区（在我的例子中是图像）写入套接字的最快方法是什么？图像保存在内存中。
2. 在映射文件上调用 sendfile 是个好主意吗？如果是，有什么问题吗？这会带来任何胜利吗？

看来我的怀疑是正确的。我从中得到了我的信息article https://systemsnotes.wordpress.com/2013/03/24/sendfile-on-memory-mapped-files/。引用其中：

此外，这些网络写入系统调用（包括 sendfile）可能并且 在许多情况下，确实会在该方法通过 TCP 发送数据之前返回 呼叫已被确认。这些方法一旦所有数据就返回 被写入套接字缓冲区（sk buff）并被推送到 TCP 写队列，TCP 引擎可以从那时起单独管理。在 换句话说，sendfile 返回的最后一个 TCP 发送窗口是 实际上没有发送到远程主机，而是排队。在以下情况下 支持分散-聚集 DMA，没有单独的缓冲区 保存这些字节，而不是缓冲区（sk buffs）只保存指向 操作系统缓冲区高速缓存的页面，文件内容所在的位置。 如果我们修改内容，这可能会导致竞争条件 与最后一个 TCP 发送窗口中的数据相对应的文件 返回发送文件。因此 TCP 引擎可能会发送新写入的 数据传输到远程主机，而不是我们最初想要的 发送。

假设映射文件中的缓冲区甚至被认为是“DMA-able”，似乎没有办法知道何时可以安全地重新使用它，而无需来自实际客户端的明确确认（通过网络）。我可能不得不坚持简单的写入调用并产生额外的副本。有一个paper https://systemsnotes.files.wordpress.com/2013/03/paper.pdf（也来自文章）有更多细节。

Edit: This article http://ogris.de/howtos/splice.html在拼接调用上也显示出问题。引用它：

请注意，将数据从 mmap 缓冲区拼接到网络时 套接字，不可能说出所有数据何时已发送。即使 splice() 返回时，网络堆栈可能尚未发送所有数据。所以 重用缓冲区可能会覆盖未发送的数据。