使用 Wget 跳过成功下载的文件

所以我有这个 Bash 子例程来使用 wget 下载文件，现在我的问题是如何跳过成功下载的文件。该脚本会下载很多文件，一旦下载失败，它会重新下载所有文件，覆盖那些从一开始就成功的下载（可能会因为重新下载而不完整）。

那么如何跳过那些下载成功的文件呢？

DownloadFile() {
  paramURL=$1
  paramFilename=$2

  if [ $flag_archive_fetch = "false"  ];
  then
      wget "--timeout=180" "--tries=5" "$paramURL" "-O" "${scratch_dir}$paramFilename"
  else
      unzip -o "$archive_file" "$paramFilename" -d "${scratch_dir}"
  fi

  touch "${scratch_dir}$paramFilename"
}

您可以利用 Wget--continue（恢复损坏的下载）和--timestamping http://www.gnu.org/software/wget/manual/html_node/Time_002dStamping-Usage.html（仅当覆盖成功下载的文件时Last-modified属性已更改，否则跳过下载）

wget "--continue ‐‐timestamping --timeout=180" "--tries=5" "$paramURL" "-O" "${scratch_dir}$paramFilename"

另一种选择是使用--no-clobber代替--timestamping，它会跳过已经下载的文件而不检查Last-modified属性，

 wget "--continue ‐‐no-clobber --timeout=180" "--tries=5" "$paramURL" "-O" "${scratch_dir}$paramFilename"