我应该使用多个 HttpClient 来进行批量异步 GET 请求吗？

我有一个场景，我需要在尽可能短的时间内发出大量 GET 请求（想想大约 1000 个）。

我知道通常最好保留一个客户端并尽可能重用它：

// Create Single HTTP Client
HttpClient client = new HttpClient();

// Create all tasks
for (int x = 0; x < 1000; x++)
{
    tasks.Add(ProcessURLAsync($"https://someapi.com/request/{x}", client, x));
}

// wait for all tasks to complete.
Task.WaitAll(tasks.ToArray());

...

static async Task<string> ProcessURLAsync(string url, HttpClient client, int x)
{
    var response = await client.GetStringAsync(url);

    ParseResponse(response.Result, x);

    return response;
}

但完成所有请求大约需要 70 秒。

另一方面，如果我事先创建多个客户端并在它们之间分发请求，则需要大约 3 秒才能完成：

// Create arbitrary number of clients
while (clients.Count < maxClients)
{
    clients.Add(new HttpClient());
}

// Create all tasks
for (int x = 0; x < 1000; x++)
{
    tasks.Add(ProcessURLAsync(
        $"https://someapi.com/request/{x}", clients[x % maxClients], x));
}

// Same same code as above

由于所请求数据的性质，我需要保持结果连续或传递与请求关联的索引。

假设无法更改 API 以更好地格式化请求的数据，并且所有请求must在继续之前完成，这个解决方案是明智的还是我错过了一个更聪明的选择？

（为了简洁起见，我使用了任意数量的HttpClient而我会创建一个池HttpClient一旦收到响应就释放客户端，并且仅在没有空闲时创建一个新客户端）

我建议进行两个主要更改。

1. 删除等待，以便可以同时进行多个下载 时间。
2. Set 默认连接限制 https://learn.microsoft.com/en-us/dotnet/api/system.net.servicepointmanager.defaultconnectionlimit?view=netframework-4.7.2到更大的数字（例如 50）。