如何使用多个变量并行运行多个curl请求

Set Up

我目前有以下脚本可以用来下载文件curl，使用具有多个变量的 ref 文件。当我创建脚本时，它适合我的需求，但是随着参考文件变得更大并且我通过以下方式请求的数据curl生成需要更长的时间，我的脚本现在需要太多时间才能完成。

客观的

我希望能够更新这个脚本，所以我有curl在多个文件准备好时请求并下载它们 - 而不是等待每个文件被顺序请求和下载。

我环顾四周，发现我可以使用xargs or parallel然而，为了实现这一目标，根据我过去看到的问题、YouTube 视频和其他论坛帖子，我一直无法找到一个示例来解释是否可以使用多个变量来实现这一目标。

有人可以确认这是否可行以及哪种工具更适合实现这一目标？我当前的脚本配置是否正确，或者我是否需要对其进行大量修改以添加这些命令？

我怀疑这可能是以前提出过的问题，但我可能只是没有找到正确的问题。

帐户列表.tsv

client1 account1    123 platform1   50
client2 account1    234 platform1   66
client3 account1    344 platform1   78
client3 account2    321 platform1   209
client3 account2    321 platform2   342
client4 account1    505 platform1   69

下载.sh

#!/bin/bash
set -eu

user="user"
pwd="pwd"
D1=$(date "+%Y-%m-%d" -d "1 days ago")
D2=$(date "+%Y-%m-%d" -d "1 days ago")
curr=$D2
cheese=$(pwd)

curl -o /dev/null -s -S -L -f -c cookiejar 'https://url/auth/' -d name=$user -d passwd=$pwd

while true; do

        while IFS=$'    ' read -r client account accountid platform platformid
        do
                curl -o /dev/null -s -S -f -b cookiejar -c cookiejar 'https://url/auth/' -d account=$accountid
                curl -sSfL -o "$client€$account@$platform£$curr.xlsx" -J -b cookiejar -c cookiejar "https://url/platform=$platformid&date=$curr"
        done < account-list.tsv

        [ "$curr" \< "$D1" ] || break
        curr=$( date +%Y-%m-%d --date "$curr +1 day" ) ## used in instances where I need to grade data for past date ranges.

done

exit

使用 GNU Parallel 并行获取 100 个条目看起来像这样：

#!/bin/bash
set -eu

user="user"
pwd="pwd"
D1=$(date "+%Y-%m-%d" -d "1 days ago")
D2=$(date "+%Y-%m-%d" -d "1 days ago")
curr=$D2
cheese=$(pwd)

curl -o /dev/null -s -S -L -f -c cookiejar 'https://url/auth/' -d name=$user -d passwd=$pwd

fetch_one() {
    client="$1"
    account="$2"
    accountid="$3"
    platform="$4"
    platformid="$5"

    curl -o /dev/null -s -S -f -b cookiejar -c cookiejar 'https://url/auth/' -d account=$accountid
    curl -sSfL -o "$client€$account@$platform£$curr.xlsx" -J -b cookiejar -c cookiejar "https://url/platform=$platformid&date=$curr"
}
export -f fetch_one

while true; do
    cat account-list.tsv | parallel -j100 --colsep '\t' fetch_one
    [ "$curr" \< "$D1" ] || break
    curr=$( date +%Y-%m-%d --date "$curr +1 day" ) ## used in instances where I need to grade data for past date ranges.
done

exit