程序员经验分享-hwhale

Tensorflow Data Augmentation 给出警告：Using a while_loop for conversion

2023-11-22

我按照官方的TensorFlow使用数据增强tutorial。 首先，我创建一个具有增强层的顺序模型：

def _getAugmentationFunction(self):
    if not self.augmentation:
        return None
    pipeline = []
    
    pipeline.append(layers.RandomFlip('horizontal_and_vertical'))
    pipeline.append(layers.RandomRotation(30))
    pipeline.append(layers.RandomTranslation(0.1, 0.1, fill_mode='nearest'))
    pipeline.append(layers.RandomBrightness(0.1, value_range=(0.0, 1.0)))

    model =  Sequential(pipeline)
    return lambda x, y: (model(x, training=True), y)

然后，我在数据集上使用映射函数：

data_augmentation = self._getAugmentationFunction()
self.train_data = self.train_data.map(data_augmentation,
                                      num_parallel_calls=AUTOTUNE)

该代码按预期工作，但我收到以下警告：

WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting StatelessRandomUniformV2
WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting StatelessRandomUniformV2
WARNING:tensorflow:Using a while_loop for converting ImageProjectiveTransformV3
WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting StatelessRandomUniformV2
WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting StatelessRandomUniformV2
WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting StatelessRandomUniformV2
WARNING:tensorflow:Using a while_loop for converting ImageProjectiveTransformV3
WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting Bitcast
WARNING:tensorflow:Using a while_loop for converting StatelessRandomUniformV2

警告的原因是什么以及如何解决？ 我使用的是 TF v2.9.1


这不仅仅是警告 - 这些层非常慢！就我而言，一个 epoch 的时间从 30 秒增加到几分钟。

这似乎是 keras 版本 2.9 和 2.10 中的一个错误（包含在tensorflow中）：https://github.com/keras-team/keras-cv/issues/581

它可以在 TF v2.8.3 上正常工作 - 没有错误消息，并且训练速度很快。

在我的 arch 系统上 – 我已经通过安装python-tensorflow-opt-cuda封装使用pacman– 我发出以下命令解决了该问题：

python -m pip install tensorflow-gpu==2.8.3
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

tensorflow

Keras

dataaugmentation

Tensorflow Data Augmentation 给出警告：Using a while_loop for conversion 的相关文章

  • LSTM 批次与时间步

    我按照 TensorFlow RNN 教程创建了 LSTM 模型 然而 在这个过程中 我对 批次 和 时间步长 之间的差异 如果有的话 感到困惑 并且我希望得到帮助来澄清这个问题 教程代码 见下文 本质上是根据指定数量的步骤创建 批次 wi

  • 张量流急切模块错误

    我的操作系统是 Ubuntu 16 04 Python版本是3 5 张量流版本是14 0 当我尝试为 TF Eager 模块编写简单代码时 import tensorflow as tf import tensorflow contrib

  • OutOfRangeError（请参阅上面的回溯）：FIFOQueue '_1_batch/fifo_queue' 已关闭并且元素不足（请求 32，当前大小 0）

    我在使用队列中张量流读取图像时遇到问题 请让我知道我犯了什么错误 下面是代码 import tensorflow as tf slim tf contrib slim from tensorflow python framework imp

  • keras 层教程和示例

    我正在尝试编码和学习不同的神经网络模型 我对输入维度有很多复杂性 我正在寻找一些教程 显示层的差异以及如何设置每个层的输入和输出 Keras 文档 https keras io layers core 向您展示所有input shape每层

  • 将预训练的手套词嵌入与 scikit-learn 结合使用

    我已经使用 keras 来使用预先训练的词嵌入 但我不太确定如何在 scikit learn 模型上执行此操作 我也需要在 sklearn 中执行此操作 因为我正在使用vecstack集成 keras 序列模型和 sklearn 模型 这就

  • TensorFlow：有没有办法将冻结图转换为检查点模型？

    可以将检查点模型转换为冻结图 ckpt 文件转换为 pb 文件 但是 是否有反向方法将 pb 文件再次转换为检查点文件 我想它需要将常量转换回变量 有没有办法将正确的常量识别为变量并将它们恢复回检查点模型 目前支持将变量转换为常量 http

  • Native TF 与 Keras TF 性能比较

    我使用本机和后端张量流创建了完全相同的网络 但在使用多个不同参数进行了多个小时的测试后 仍然无法弄清楚为什么 keras 优于本机张量流并产生更好 稍微但更好 的结果 Keras 是否实现了不同的权重初始化方法 或者执行除 tf train

  • Tensorflow `tf.layers.batch_normalization` 不会向 `tf.GraphKeys.UPDATE_OPS` 添加更新操作

    以下代码 复制 粘贴可运行 说明了如何使用tf layers batch normalization import tensorflow as tf bn tf layers batch normalization tf constant

  • 没有带有张量板的图表

    我正在读一本关于 Tensorflow 的书 我发现了这段代码 from future import absolute import from future import division from future import print

  • 从tensorflow_cc和tensorflow_framework生成静态库

    据我了解 使用 bazel 我只能生产libtensorflow cc so and libtensorflow framework so 我需要生产静态库与位置无关 fPIC 因为稍后我会将它们链接到我自己的动态库 I found 这个答

  • 在 Tensorflow 对象检测 API 中绘制验证损失

    我正在使用 Tensorflow 对象检测 API 来检测和定位图像中的一类对象 为了这些目的 我使用预先训练的faster rcnn resnet50 coco 2018 01 28 model 我想在训练模型后检测拟合不足 过度拟合 我

  • 在不同的 GPU 上同时训练多个 keras/tensorflow 模型

    我想在 Jupyter Notebook 中同时在多个 GPU 上训练多个模型 我正在使用 4GPU 的节点上工作 我想将一个 GPU 分配给一个模型并同时训练 4 个不同的模型 现在 我通过 例如 为一台笔记本选择 GPU import

  • ValueError：张量：（...）不是该图的元素

    我正在使用 keras 的预训练模型 在尝试获取预测时出现错误 我在烧瓶服务器中有以下代码 from NeuralNetwork import app route uploadMultipleImages methods POST def

  • ValueError：没有为“dense_input”提供数据

    我正在使用以下简单的代码使用tensorflow加载csv并使用keras执行建模 无法弄清楚这个错误 import tensorflow as tf train dataset fp tf keras utils get file fna

  • 张量流如何处理无法存储在一个盒子中的大变量

    我想通过训练超过十亿特征维度的数据来训练 DNN 模型 因此第一层权重矩阵的形状将为 1 000 000 000 512 这个权重矩阵太大 无法存储在一个盒子中 目前有没有什么解决方案来处理这么大的变量 例如将大的权重矩阵划分为多个框 Up

  • 如何在 keras 中添加可训练的 hadamard 产品层？

    我试图在训练样本中引入稀疏性 我的数据矩阵的大小为 比如说 NxP 我想将其传递到一个层 keras 层 该层的权重大小与输入大小相同 即可训练权重矩阵W的形状为NxP 我想对这一层的输入矩阵进行哈达玛乘积 逐元素乘法 W 按元素与输入相乘

  • TensorFlow：带有轴选项的 bincount

    在 TensorFlow 中 我可以使用 tf bincount 获取数组中每个元素的计数 x tf placeholder tf int32 None freq tf bincount x tf Session run freq feed

  • TensorFlow：在训练时更改变量

    如果我将输入管道从 feed dict 更改为 tf data dataset 如何在每次迭代后的训练期间更改网络内参数的值 澄清一下 旧代码看起来像这样 Define Training Step model is some class t

  • 张量流服务错误：参数无效：JSON 对象：没有命名输入

    我正在尝试使用 Amazon Sagemaker 训练模型 并且希望使用 Tensorflow 服务来为其提供服务 为了实现这一目标 我将模型下载到 Tensorflow 服务 docker 并尝试从那里提供服务 Sagemaker 的训练

  • 如何将张量流模型部署到azure ml工作台

    我在用Azure ML Workbench执行二元分类 到目前为止 一切正常 我有很好的准确性 我想将模型部署为用于推理的 Web 服务 我真的不知道从哪里开始 azure 提供了这个doc https learn microsoft co

随机推荐

  • Apache 403 错误，(13)权限被拒绝：访问/被拒绝，Fedora 16

    我刚刚在 Fedora 16 上设置了 apache 但我无法让我的虚拟主机工作 虽然 localhost phpmyadmin 工作正常 我在我的 httpd conf 中得到了这个

  • C 中的向量化三角函数？

    我希望计算高度并行的三角函数 以 1024 为单位 并且我想至少利用现代架构所具有的一些并行性 当我编译一个块时 for int i 0 i

  • Android AlarmManager - RTC_WAKEUP 与 ELAPSED_REALTIME_WAKEUP

    有人可以向我解释一下两者之间的区别吗AlarmManager RTC WAKEUP and AlarmManager ELAPSED REALTIME WAKEUP 我已阅读文档 但仍然不真正理解使用其中之一的含义 示例代码 alarmMa

  • 如何在 PostScript 中获取字符串的高度度量？

    您可以使用当前字体获取字符串的宽度stringwidth尽管这实际上将偏移坐标推送到堆栈上 但 y 值似乎总是无用的 有没有办法确定字符串的确切高度 可能包括或不包括下降部分 stringwidth正如它所说 不返回字符串的高度 在我查看的

  • 使用 jest 模拟 AWS.DynamoDB.DocumentClient 的构造函数

    我有一个如下所示的函数 function connect const secret secret const key key const region region const client new AWS DynamoDB secret

  • git hooks 及其工作原理

    所以我试图让 hudson 使用 post receive hook 进行构建 在我的本地 git 存储库中 我将 post receive sample 设置为 post receive chmod 755 并添加到行中 usr bin

  • 为什么不锁定基于价值的类别

    The docs说你不应该锁定基于值的 Java 类的实例 例如Optional因为代码 如果它试图区分对基于值的类的相等值的两个引用 通过诉诸同步间接地 可能会产生不可预测的结果 为什么Java的基于值的类不应该被序列化 断言 由于未来的

  • 创建通用 UIViewController 初始化

    我正在尝试创建一个UIViewController我可以使用它来初始化新实例的扩展 对于我的项目中的每个视图控制器 我都有一个相应的故事板 i e EditSomethingViewController swift EditSomethin

  • “架构 x86_64 的未定义符号：”

    我正在尝试在 mac os x Mavericks 10 9 3 64 位上编译此库 http www openfec org downloads html 我完全按照自述文件进行操作 并收到此错误 链接 C 共享库 bin Release

  • 如何在 React Native 中重新加载 TabNavigator 上的视图点击

    我想在用户每次更改选项卡时重新加载 tabNavigator 当用户更改选项卡时 不会调用 React Native 的生命周期方法 那么如何在 TabNavigator 中重新加载选项卡 下面的示例有两个选项卡 1 主页 2 事件 现在我

  • 使用带有插入符训练的神经网络并调整参数

    因此 我读了一篇论文 该论文使用神经网络来建模数据集 该数据集与我当前使用的数据集类似 我有 160 个描述符变量 我想为 160 个案例建模 回归建模 我读过的论文使用了以下参数 对于每次分割 我们都为 10 个单独的训练测试折叠中的每一

  • 即使 FirebaseListAdapter 中没有要填充的视图，如何关闭进度条？

    我使用 FirebaseUI FirebaseListAdapter 加载数据需要一些时间 我想显示一个旋转的圆圈 我可以通过在 populateView 中将视图可见性设置为不可见来关闭进度条 但如果没有要填充的视图 则它不起作用 这要怎

  • React-native：命令“run-android”无法识别。可能是npm install造成的

    最近 当我安装react native包时 我开始遇到这个问题 例如 react navigation 到我的项目中 一大堆软件包被删除 包括react 我认为是re act native 然后当我尝试运行命令时 run android 它

  • 插件包中的 dylib @executable_path 路径问题

    我正在开发一个插件包 say MyPlugIn bundle 申请 say BigApp app 该捆绑包需要 dylib say MyPlugIn bundle Contents Resources library dylib 我已经重新

  • Google App Engine 中的 Jinja2

    我已经开始使用Jinja2作为我在 Google App Engine 上的模板引擎 Python 我的问题是 字节码缓存在生产中有效吗 它在开发服务器上运行得很好 但我在某处读到字节码缓存取决于marshal模块 App Engine 不

  • 考虑将事件处理程序标记为“被动”以使页面响应更快

    我使用锤子进行拖动 加载其他东西时它会变得不稳定 正如这条警告消息告诉我的那样 由于以下原因 touchstart 输入事件的处理延迟了 X 毫秒 主线程正忙 考虑将事件处理程序标记为 被动 使页面更具响应性 所以我尝试像这样向听众添加 被

  • Django 重定向到上一个视图

    我在页面 x 和页面 y 上有一个重定向到页面 z 的按钮 在 z 页上 我有一个需要填写的表格 保存后 我想重定向到页面 x 或 y 以我最初所在的页面为准 通常 您在视图中使用 重定向 并指定要重定向到的页面 但遇到这样的情况你会怎么做

  • 从内容页设置母版页的属性，并从 ASP.NET 中的另一个内容页获取该属性值

    我有一个包含一种属性名称事件类型的母版页 现在我想从内容页面设置此属性 然后该属性值应该可用于另一个内容页面 这可以用asp net实现吗 如果是的话请帮助我 是的 我的内容页面已经继承了另一个不是主页面的页面 如果此属性是您添加到母版页的

  • Hibernate 与 PostGIS Geometry 持续失败

    相关上一个问题 我有一个 Spring Roo 应用程序 使用 Hibernate 将 Geometry 对象写入使用 JTS 的 PostGIS 数据库 我相信我已经解决了定义 Geometry 对象时遇到的问题 现在 Hibernate

  • Tensorflow Data Augmentation 给出警告：Using a while_loop for conversion

    我按照官方的TensorFlow使用数据增强tutorial 首先 我创建一个具有增强层的顺序模型 def getAugmentationFunction self if not self augmentation return None

热门标签