程序员经验分享-hwhale

Tensorflow编译运行很长时间

2023-12-26

所以我正在尝试编译TensorFlow来自源头（使用 2019 年 1 月 31 日的 git 存储库中的克隆）。我从他们的 shell 脚本安装了 Bazel (https://github.com/bazelbuild/bazel/releases/download/0.21.0/bazel-0.21.0-installer-linux-x86_64.sh https://github.com/bazelbuild/bazel/releases/download/0.21.0/bazel-0.21.0-installer-linux-x86_64.sh).

我执行了./configure在tensorflow代码中并提供了默认设置，除了添加我的机器特定的-m选项（-mavx2 -mfma）并将python指向正确的python3位置（/usr/bin/py3）。然后我按照张量流指令运行以下命令：

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package //tensorflow:libtensorflow_framework.so //tensorflow:libtensorflow.so

现在它继续运行又运行，我还没有看到它完成（尽管我限制让它运行最多大约 10 小时）。它产生大量的信息：有关有符号和无符号整数的警告以及到达非空函数末尾的控制。这些似乎都不是致命的。编译继续进行，两个数字继续增长（“[N，NNN / X，XXX] 4 个操作正在运行”），并且文件通过“编译”进行滴答。

该机器是一个 EC2 实例，RAM 约为 16GiB，CPU 是“Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz”，我相信是 4 核，有足够的 HDD 空间（尽管编译似乎相当吃力）一点，> 1GiB)

对这里发生的事情有什么想法吗？


不幸的是，有些程序可能需要很长时间才能编译。对于您的设置中的张量流来说，几个小时的编译并不奇怪。

有报道称需要 50 分钟在速度相当快的机器上 https://gist.github.com/Brainiarc7/6d6c3f23ea057775b72c52817759b25c#gistcomment-2621082

此问题的解决方案是使用 pip 提供的预编译二进制文件，可以在此处找到说明：https://www.tensorflow.org/install/pip.html https://www.tensorflow.org/install/pip.html

基本上你可以这样做：

pip install tensorflow

如果您需要特定的旧版本，例如 1.15，您可以执行以下操作：

pip install tensorflow==1.15

对于 GPU 支持，您添加-gpu到包名称，如下所示：

pip install tensorflow-gpu

And:

pip install tensorflow-gpu==1.15
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

tensorflow

Compilation

bazel

Tensorflow编译运行很长时间 的相关文章

  • 打印 scrapy 请求的“响应”

    我正在尝试学习 scrapy 在遵循教程的同时 我正在尝试进行细微的调整 我想简单地从请求中获取响应内容 然后我会将响应传递到教程代码中 但我无法发出请求并获取响应内容 建议就好 from scrapy http import Respon

  • 在 Python 中使用 XPath 和 LXML

    我有一个 python 脚本 用于解析 XML 并将某些感兴趣的元素导出到 csv 文件中 我现在尝试更改脚本以允许根据条件过滤 XML 文件 等效的 XPath 查询将是 DC Events Confirmation contains T

  • 如何使用pycaffe重构caffe网络

    我想要的是 加载网络后 我将分解一些特定的图层并保存新的网络 例如 原网 数据 gt conv1 gt conv2 gt fc1 gt fc2 gt softmax New net 数据 gt conv1 1 gt conv1 2 gt c

  • 如何在 Ubuntu 上安装 Python 模块

    我刚刚用Python写了一个函数 然后 我想将其做成模块并安装在我的 Ubuntu 11 04 上 这就是我所做的 创建 setup py 和 function py 文件 使用 Python2 7 setup py sdist 构建分发文

  • Python：当前目录是否自动包含在路径中？

    Python 3 4 通过阅读其他一些 SO 问题 似乎如果moduleName py文件位于当前目录之外 如果要导入它 必须将其添加到路径中sys path insert 0 path to application app folder

  • python中函数变量的作用域

    假设我们有两个函数 def ftpConnect ftp FTP server ftp login ftp cwd path def getFileList ftpConnect files ftp nlst print files 如果我

  • 反加入熊猫

    我有两个表 我想附加它们 以便仅保留表 A 中的所有数据 并且仅在其键唯一时添加表 B 中的数据 键值在表 A 和 B 中是唯一的 但在某些情况下键将出现在表 A 和 B 中 我认为执行此操作的方法将涉及某种过滤联接 反联接 以获取表 B

  • 字典的嵌套列表

    我正在尝试创建dict通过嵌套list groups Group1 A B Group2 C D L y x 0 for y in x if y x 0 for x in groups d k v for d in L for k v in

  • 我可以使用 dask 创建 multivariate_normal 矩阵吗？

    有点相关这个帖子 https stackoverflow com questions 52337612 random multivariate normal on a dask array 我正在尝试复制multivariate norma

  • 字典中列表中仅有的几个索引的总和

    如果我有这种类型的字典 a dictionary dog white 3 5 black 6 7 Brown 23 1 cat gray 5 6 brown 4 9 bird blue 3 5 green 1 2 yellow 4 9 mo

  • 使用循环将对象添加到列表（python）

    我正在尝试使用 while 循环将对象添加到列表中 基本上这就是我想做的 class x pass choice raw input pick what you want to do while choice 0 if choice 1 E

  • 负整数的Python表示

    gt gt gt x 4 gt gt gt print b format x x 4 100 gt gt gt mask 0xFFFFFFFF gt gt gt print b format x mask x mask 4294967292

  • 如何逐像素绘制正方形（Python，PIL）

    在空白画布上 我想使用 Pillow 逐像素绘制一个正方形 我尝试使用 img putpixel 30 60 155 155 55 绘制一个像素 但它没有执行任何操作 from PIL import Image def newImg img

  • FastText - 由于 C++ 扩展未能分配内存，无法加载 model.bin

    我正在尝试使用 FastText Python APIhttps pypi python org pypi fasttext https pypi python org pypi fasttext虽然 据我所知 此 API 无法加载较新的

  • 在 pip.conf 中指定多个可信主机

    这是我尝试在我的中设置的 etc pip conf global trusted host pypi org files pythonhosted org 但是 它无法正常工作 参考 https pip pypa io en stable

  • Python Flask 是否定义了路由顺序？

    在我看来 我的设置类似于以下内容 app route test def test app route

  • WindowsError：[错误 5] 访问被拒绝

    我一直在尝试终止一个进程 但我的所有选项都给出了 Windows 访问被拒绝错误 我通过以下方式打开进程 一个python脚本 test subprocess Popen sys executable testsc py 我想杀死那个进程

  • 是否可以写一个负的python类型注释

    这可能听起来不合理 但现在我需要否定类型注释 我的意思是这样的 an int Not Iterable a string Iterable 这是因为我为一个函数编写了一个重载 而 mypy 不理解我 我的功能看起来像这样 overload

  • 从 dask 数据框中的日期时间序列获取年份和星期？

    如果我有一个 Pandas 数据框和一个日期时间类型的列 我可以按如下方式获取年份 df year df date dt year 对于 dask 数据框 这是行不通的 如果我先计算 像这样 df year df date compute

  • 如何使用 Django (Python) 登录表单？

    我在 Django 中构建了一个登录表单 现在我遇到了路由问题 当我选择登录按钮时 表单不会发送正确的遮阳篷 我认为前端的表单无法从 查看 py 文件 所以它不会发送任何 awnser 并且登录过程无法工作 该表单是一个简单的静态 html

随机推荐

  • 帮我完成这个 SQL 查询

    我有一个 SQL Server CE 3 5 表 交易 具有以下架构 ID 交易日期 Category 描述 Amount Query SELECT Transaction Date SUM Amount FROM Transactions

  • 如何在并行执行specflow时仅在测试运行之前和之后执行一次

    我必须在测试执行之前和之后运行数据库脚本 但是如果我在测试运行之前提到它会为每个线程运行多次 但我只需要在测试执行中运行一次意味着它会成为所有线程的顶部 例如 挂钩文件 BeforeTestRun public static void Be

  • Spark“限制”不并行运行？

    我有一个简单的连接 我限制了侧面 在解释计划中 我看到在执行限制之前有一个 ExchangeSingle 操作 实际上我看到在这个阶段集群中只有一个任务在运行 这当然会极大地影响性能 消除限制可以消除单个任务瓶颈 但会延长连接时间 因为它适

  • .NET 中的线程安全集合

    当需要线程安全集合 例如 Set 时 当今的标准是什么 我自己同步它 还是有一个本质上线程安全的集合 NET 4 0 Framework 在 NET 4 0 Framework 中引入了几个线程安全集合System Collections

  • 如何访问轻量级 K3s 中的 api 控制器配置

    通常可以在常规 Kubernetes 的 etc kubernetes manifests kube apiserver yaml 中找到 在 rancher K3s 中 这就是我能找到的全部 我正在尝试调整一些设置 以便我可以启用自定义自

  • 在C#中创建spy++的函数“查找窗口...”

    我想在 C 中创建与间谍 相同的函数 查找窗口 我尝试过WINAPI的这个功能 HWND WINAPI WindowFromPoint in POINT Point http msdn microsoft com en US library

  • 使用 Jackson 时，System.out.println(new ObjectMapper().readTree(jsonStringObject));打印 JSON，键和值之间有随机空格

    非常奇怪的行为 当我刚刚打印System out println jsonStringObject 它正确且良好地打印 JSON 但是当我使用 Jackson 的 API 时 即new ObjectMapper readTree jsonS

  • Spring MVC中的UTF-8编码问题

    我有一个 Spring MVC bean 我想通过设置编码 UTF 8 返回土耳其字符 但虽然我的字符串是 但它返回为 而且当我查看响应页面 即 Internet Explorer 页面 时 编码是西欧 ISO 而不是 UTF 8 这是代码

  • IBM Worklight v6.0 - 将应用程序添加到移动测试工作台时出错

    我有一个 Worklight 应用程序 并从中创建了一个 apk 文件 创建了一个测试项目 将 apk 文件添加到工作台时 出现错误 应用程序xxx apk无法导入 它要么是无效的 要么是 它包含不支持的特定功能 尝试打开工作灯工作区的 l

  • pm2 守护进程在几个小时后终止

    我有一个 Node js Express 应用程序 它实现了一组 REST API 并且我正在尝试使用 pm2 来管理其部署 该应用程序启动正常 使用pm2 start ecosystem config js 并保持可用几个小时 但 pm2

  • Bootstrap ScrollSpy 上的简单缓动

    我认为对于那些了解 javascript jquery 的人来说这是一个非常简单的问题 我对这一切都很陌生 无法做到 我发现计算导航栏偏移的代码如下所示 var offset 50 navbar li a click function ev

  • 如何强制列表对象输入“double”

    代码 a lt structure list X Days c 10 38 66 101 129 185 283 374 Names X Days Then a is like X Days 1 10 38 66 101 129 185 2

  • 使用 https 时基于主机的 nginx 代理

    我需要使用 Nginx 作为 SSL 代理 它根据子域将流量转发到不同的后端 我似乎到处都应该定义多个 server 部分 但这对于 SSL 来说不能正常工作 这样做时 我始终会在第一个虚拟主机中处理 SSL 因为在处理 https 流量之

  • 无法在 macOS Monterey 12.3 上安装 psycopg2-binary

    我一直在尝试为我的 django 项目安装 psycopg2 binary 但到目前为止没有任何效果 它不断要求pg config文件 据我所知 只有在构建 psycopg2 时才需要该文件 那么 这里发生了什么 Collecting ps

  • VS 2013 ASP.NET调试时无法修改代码

    我正在处理一个 ASP NET 2 0 项目 该项目已从 vs 2005 gt 2010 gt 2013 升级 在 vs 2005 和 2010 中 我可以在调试时修改代码 保存更改并重新加载应用了更改的页面 现在与 2013 年相比 我无

  • 在 C 中区分 typedef 的类型/标记名称有哪些优点？

    一些代码库使用不同的标识符tag和type eg typedef struct foo int bar foo 代替 typedef struct foo int bar foo 这里详细解释了这些差异 C 中 struct 和 typed

  • 在 R 中的 for 循环中创建列

    我在 R 中有一个数据框 我想在 for 循环中创建新列 在过去的两天里我尝试了很多事情但没有成功 最后 我确实找到了一个似乎可行的解决方案 但看起来并不那么直接 我想知道是否有人有更优雅的方法来做到这一点 抱歉 如果这个问题已经得到解决

  • 使用 D3.js 为每个数据成员附加多个非嵌套元素

    我想使用 d3 创建多个非嵌套元素来创建如下结构 div p from data 0 p p from data 0 p p from data 1 p p from data 1 p p from data 2 p p from data

  • TSQL - 如何判断 SQL 是否是集群的？

    有没有办法使用 TSQL CMD 脚本或 VB 脚本来告诉 1 如果 SQL Server 集群在服务器上 并且 2 是否是主动节点 Thanks 这两个都可以使用找到 SELECT FROM fn virtualservernodes 如

  • Tensorflow编译运行很长时间

    所以我正在尝试编译TensorFlow来自源头 使用 2019 年 1 月 31 日的 git 存储库中的克隆 我从他们的 shell 脚本安装了 Bazel https github com bazelbuild bazel releas

热门标签