有没有在 GCP Composer Airflow 上安装私有依赖项的成功案例？

背景信息

通常在容器环境中，我可以使用以下命令轻松安装我的私有依赖项：requirements.txt像这样：

--index-url https://user:pass@some_repo.jfrog.io/some_repo/api/pypi/pypi/simple

some-private-lib

套餐"some-private-lib"是我想安装的那个。

Issue

在 GCP Composer 环境中，我尝试使用 GCloud 命令（gcloud composer environments update ENV_NAME --update-pypi-packages-from-file ./requirements.txt --location LOCATION), 但它抱怨requirements.txt不遵循 PEP-508 中定义的格式。然后我发现了这个官方指南 https://cloud.google.com/composer/docs/how-to/using/installing-python-dependencies#install-private关于如何从私人仓库安装依赖项，但还不是很清楚。按照指南中的说明，我创建了一个文件pip.conf包含以下内容：

[global]
extra-index-url=https://user:pass@some_repo.jfrog.io/some_repo/api/pypi/pypi/simple

然后将其放入我环境的 GCS 存储桶中：gs://us-central1-xxxx-bucket/config/pip/pip.conf.

现在我运行命令（gcloud composer environments update ENV_NAME --update-pypi-packages-from-file ./requirements.txt --location LOCATION）再次，与requirements.txt仅包含一行：some-private-lib。它因一个非常不透明的错误而失败：failed: Failed to install PyPI packages.

Question

我做错了什么？还有其他可用的解决方法吗？谢谢！

当我们尝试在 Composer 中安装软件包时，我们也遇到了很多问题，然后我们将代码容器化并使用KubernetesPodOperator https://cloud.google.com/composer/docs/how-to/using/using-kubernetes-pod-operator而不是 Python 运算符。