如何减少anaconda目录下的文件数量?

2024-02-27

我在计算集群上运行 conda 环境,其中每个“项目”的文件总数受到限制(最多 200k 个文件)。我只创建了几个 conda 环境(anaconda for Python 2.7;每个环境中安装了约 200 个 python 和 R 包;环境之间的包重叠很高),并且已经达到了文件数量限制。即使在使用时conda clean -a仅删除一小部分文件。我的 conda 环境(例如 boost)中的一些 python 包包含超过 10k 个文件,而 clean 不会减少此数量。

有什么办法可以greatly减少作为 conda 环境一部分存储的文件数量?


Anaconda使用硬链接来减少磁盘消耗space。但如果对文件数量施加限制,则每个硬链接都很重要。

正如评论中所讨论的,使用 Miniconda 而不是 Anaconda,并仅安装您实际需要的软件包可能会有所帮助。

如果这还不够,我建议将多个环境合并为一个。这样,重叠的包的硬链接就会减少。当然,这与环境的用途相反,但这就是解决方法的本质。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何减少anaconda目录下的文件数量? 的相关文章

随机推荐