我在用aria2c
下载以文本文件形式组织的相当大的 url 列表(~6000)。
基于此gist https://gist.github.com/jonbakerfish/0f7877c050b648169e0958ea2e2c6aca,我使用以下脚本下载所有文件:
#!/bin/bash
aria2c -j5 -i list.txt -c --save-session out.txt
has_error=`wc -l < out.txt`
while [ $has_error -gt 0 ]
do
echo "still has $has_error errors, rerun aria2 to download ..."
aria2c -j5 -i list.txt -c --save-session out.txt
has_error=`wc -l < out.txt`
sleep 10
done
### PS: one line solution, just loop 1000 times
### seq 1000 | parallel -j1 aria2c -i list.txt -c
这节省了所有aria2c
输出到文本文件中,如果至少出现一个下载错误,则尝试再次下载所有网址。
问题是:由于我的网址列表太大,这变得非常低效。如果 30 个文件导致下载错误(例如,由于服务器超时),则整个列表将再次循环 30 次。
所以,问题是:有什么办法可以告诉aria2c
仅保存失败的下载,然后尝试仅重新下载这些文件?
None
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)