如何使用pipenv安装PyTorch并将其保存到Pipfile和Pipfile.lock？

我目前正在使用 Pipenv 来维护特定项目中使用的 Python 包。到目前为止，我尝试过的大多数下载都按预期运行；也就是说，我输入pipenv install [package]它将包安装到虚拟环境中，然后将包信息记录到 Pipfile 和 Pipfile.lock 中。

但是，我在安装 PyTorch 时遇到了一些问题。

我尝试过跑步pipenv install torch，但每次锁定步骤都会失败。相反，我尝试使用以下命令直接从 PyTorch 网站强制下载

pipenv run pip install torch===1.6.0 torchvision===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html

它确实安装了！如果我跑pipenv graph它显示了 torch 和 torchvision 及其依赖项。但仍然存在一个问题：torch 和 torchvision 都没有保存到 Pipfile 和 Pipfile.lock 中。

关于如何实现这一点有什么想法吗？

当你使用pipenv run pip install <package>，跳过自定义pipenv更新Pipfile和Pipfile.lock的操作。基本上相当于做一个简单的pip install <package>就好像你没有/使用一样pipenv.

更新 Pipfile 的唯一方法是使用pipenv install.

不幸的是，当我发布这篇文章时，pipenv没有对应的pip's -f/--find-links option https://stackoverflow.com/q/57647989/2745495。最好的解决方案是将 pytorch 的“https://download.pytorch.org/whl/” URL 指定为替代包索引 https://pipenv-fork.readthedocs.io/en/latest/advanced.html#specifying-package-indexes，通过将其添加为[[source]]在你的 Pipfile 中。看来自穆罕默德的回答 https://stackoverflow.com/a/68336073/2745495 and 米奇·麦克马伯斯的回答 https://stackoverflow.com/a/71181971/2745495描述了如何做到这一点。我建议尝试这些答案。

一个不太优雅且相当糟糕的替代方案是手动找到正确的火炬轮（.whl）您需要的链接，这通常意味着从以下位置查找正确的链接https://download.pytorch.org/whl/torch_stable.html https://download.pytorch.org/whl/torch_stable.html。然后，使用以下命令创建/修改 Pipfile具体软件包版本 https://pipenv-fork.readthedocs.io/en/latest/basics.html#specifying-versions-of-a-package以及轮子的 URL：

[[source]]
name = "pypi"
url = "https://pypi.org/simple"
verify_ssl = true

[requires]
python_version = "3.8"

[packages]
torch = {version = "==1.6.0", file = "https://download.pytorch.org/whl/cpu/torch-1.6.0-cp38-none-macosx_10_9_x86_64.whl"}
torchvision = {version = "==0.7.0", file = "https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl"}

然后就做正常的事pipenv install.

您可以使用以下命令确认安装pipenv install --verbose:

Collecting torch==1.6.0
  ...
  Looking up "https://download.pytorch.org/whl/cpu/torch-1.6.0-cp38-none-macosx_10_9_x86_64.whl" in the cache
  Current age based on date: 8
  Starting new HTTPS connection (1): download.pytorch.org:443
  https://download.pytorch.org:443 "GET /whl/cpu/torch-1.6.0-cp38-none-macosx_10_9_x86_64.whl HTTP/1.1" 304 0
  ...
  Added torch==1.6.0 from https://download.pytorch.org/whl/cpu/torch-1.6.0-cp38-none-macosx_10_9_x86_64.whl#egg=torch 
...
Successfully installed torch-1.6.0

Collecting torchvision==0.7.0
  ...
  Looking up "https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl" in the cache
  Current age based on date: 8
  Starting new HTTPS connection (1): download.pytorch.org:443
  https://download.pytorch.org:443 "GET /whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl HTTP/1.1" 304 0
  ...
  Added torchvision==0.7.0 from https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl#egg=torchvision
...
Successfully installed torchvision-0.7.0

这还会向 Pipfile.lock 添加条目：

"torch": {
    "file": "https://download.pytorch.org/whl/cpu/torch-1.6.0-cp38-none-macosx_10_9_x86_64.whl",
    "hashes": [
        ...
    ],
    "index": "pypi",
    "version": "==1.6.0"
},
"torchvision": {
    "file": "https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl",
    "hashes": [
        ...
    ],
    "index": "pypi",
    "version": "==0.7.0"
}

这样，您现在就拥有了 Pipfile 和 Pipfile.lock，您可以在开发应用程序时将其签入/提交到版本控制并跟踪/管理。

您还可以从命令行执行此操作，而不是手动编辑 Pipfile：

(temp) $ pipenv install --verbose "https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl"
Installing https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl...
...
Adding torchvision to Pipfile's [packages]...
✔ Installation Succeeded

这还应该向 Pipfile 添加一个条目：

[packages]
...
torchvision = {file = "https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl"}

当然，这一切都取决于找出您真正需要的轮子。这可以通过首先使用普通的pip install <package>与-f/--find-links选项针对https://download.pytorch.org/whl/torch_stable.html https://download.pytorch.org/whl/torch_stable.htmlURL，然后检查它使用哪个轮子。

1. 首先我们先来了解一下正确的.whl文件与pip install

   $ pipenv run pip install --verbose torchvision==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
   Looking in links: https://download.pytorch.org/whl/torch_stable.html
   ...
   Collecting torchvision==0.7.0
     Downloading torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl (387 kB)
   ...
   

2. Remove pip install-来自虚拟环境的东西

   $ pipenv clean
   

3. Repeat installation but using pipenv install

   $ pipenv install --verbose "https://download.pytorch.org/whl/torchvision-0.7.0-cp38-cp38-macosx_10_9_x86_64.whl"
   

   • 只需组合“https://download.pytorch.org/whl/”+.whl步骤 1 中的文件名

使用它可能看起来有点倒退pip install首先然后将其复制到pipenv，但这里的目标是让pipenv更新 Pipfile 和 Pipfile.lock（以支持确定性构建）并“记录”您的环境以进行版本控制。