发送者和接收者根据请求通过 ssh 传输文件？

我创建了一个程序，它迭代一堆文件并调用其中的一些文件：

scp <file> user@host:<remotefile>

然而，就我而言，可能有数千个小文件需要传输，而 scp 正在为每个文件打开一个新的 ssh 连接，这会产生相当大的开销。

我想知道是否没有解决方案可以让一个进程保持运行以维持连接，并且我可以向它发送“请求”以复制单个文件。

理想情况下，我正在寻找一些发送方和接收方程序的组合，以便我可以在开始时启动单个进程 (1)：

ssh user@host receiverprogram

对于每个文件，我调用一个命令 (2)：

senderprogram <file> <remotefile>

并将 (2) 的输出通过管道传输到 (1) 的输入，这将导致文件被传输。最后，我可以向进程 (1) 发送一些终止信号。

优选地，发送器和接收器程序是用于Unix的开源C程序。他们可以使用套接字而不是管道或任何其他创造性的解决方案进行通信。

然而，它是一个重要制约因素每个文件在我迭代它时都会被传输：收集文件列表然后调用一个实例是不可接受的scp最后一次传输所有文件。另外，我只能通过简单的 shell 访问接收主机。

Update:我找到了使用 ssh 的多路复用功能来解决连接开销问题的解决方案，请参阅下面我自己的答案。然而，我正在开始赏金，因为我很好奇是否存在我在此处描述的发送者/接收者程序。似乎应该存在一些可以使用的东西，例如xmodem/ymodem/zmodem？

我从另一个角度找到了解决方案。自从,OpenSSH支持会话复用：单个连接可以承载多个登录或文件传输会话。这避免了每个连接的设置成本。

对于问题的情况，我可以首先打开一个连接并设置一个控制主机（-M）与插座（-S）在特定位置。我不需要会话（-N).

ssh user@host -M -S /tmp/%r@%h:%p -N

接下来，我可以调用scp对于每个文件并指示它使用相同的套接字：

scp -o 'ControlPath /tmp/%r@%h:%p' <file> user@host:<remotefile>

该命令几乎立即开始复制！

您还可以使用控制套接字进行普通 ssh 连接，然后该连接将立即打开：

ssh user@host -S /tmp/%r@%h:%p

如果控制套接字不再可用（例如，因为您杀死了主服务器），则会恢复到正常连接。更多信息请参见本文 http://www.debian-administration.org/articles/290.