同时多个 wget -r 一个站点？

任何带有选项的命令/wget？

对于多线程递归地同时下载站点？

我找到了一个不错的解决方案。

阅读原文位于http://www.linuxquestions.org/questions/linux-networking-3/wget-multi-threaded-downloading-457375/

wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url] &

您认为合适的复制次数可以有尽可能多的进程 下载。这不像一个适当的多线程应用程序那么优雅， 但只需少量的开销就可以完成工作。 这里的关键是“-N”开关。这意味着仅传输文件 如果它比磁盘上的内容新。这将（主要）防止 每个进程都从不同的进程下载相同的文件 已经下载了，但跳过该文件并下载其他文件 进程尚未下载。它使用时间戳作为执行操作的手段 这就是轻微的开销。

它对我来说非常有用，并且节省了很多时间。不要有太多 进程，因为这可能会使网站的连接饱和并勾选 主人。最多保持在 4 个左右。然而，数字是 仅受两端CPU和网络带宽的限制。