未知步骤数 - 在 Google Colab Pro 上训练卷积神经网络

2024-01-12

我正在尝试运行(训练)我的CNN at Google Colab Pro,当我运行我的代码时,一切都很好,但它不知道步骤数,因此创建了一个无限循环。

Mounted at /content/drive
2.2.0-rc3
Found 10018 images belonging to 2 classes.
Found 1336 images belonging to 2 classes.
WARNING:tensorflow:`period` argument is deprecated. Please use `save_freq` to specify the frequency in number of batches seen.
Epoch 1/300
      8/Unknown - 364s 45s/step - loss: 54.9278 - accuracy: 0.5410

我在用ImageDataGenerator()用于加载图像。我该如何修复它?


迭代器不存储任何内容,它动态生成数据。当您使用数据集或数据集迭代器时,您必须提供steps_per_epoch。迭代器的长度在迭代之前是未知的。你可以明确地通过len(datafiles)进入.fit功能。因此,您需要提供steps_per_epoch,如下所示。

model.fit_generator(
    train_data_gen,
    steps_per_epoch=total_train // batch_size,
    epochs=epochs,
    validation_data=val_data_gen,
    validation_steps=total_val // batch_size
)

提到了更多细节here https://www.tensorflow.org/api_docs/python/tf/keras/Model#fit

steps_per_epoch:整数或无。总步数(批次 样本),然后声明一个时期结束并开始下一个时期 时代。使用 TensorFlow 数据等输入张量进行训练时 张量,默认 None 等于您的样本数 数据集除以批量大小,如果无法确定则为 1。 如果 x 是 tf.data 数据集,并且 'steps_per_epoch' 为 None,则纪元 将运行直到输入数据集耗尽。这个说法不 支持数组输入。

我注意到您正在使用二元分类。使用时还要记住一件事ImageDataGenerator是提供class_mode如下所示。否则,将会出现错误(在 keras 中)或 50% 的准确率(在 tf.keras 中)。

train_data_gen = train_image_generator.flow_from_directory(batch_size=batch_size,
                                                           directory=train_dir,
                                                           shuffle=True,
                                                           target_size=(IMG_HEIGHT, IMG_WIDTH),class_mode='binary') #
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

未知步骤数 - 在 Google Colab Pro 上训练卷积神经网络 的相关文章

  • 将 Pytorch 模型 .pth 转换为 onnx 模型

    我有一个预训练的模型 其格式为 pth 扩展名 我想将其转换为 Tensorflow protobuf 但我没有找到任何方法来做到这一点 我见过 onnx 可以将模型从 pytorch 转换为 onnx 然后从 onnx 转换为 Tenso
  • 有没有办法在bigquery中使用kmeans、tensorflow保存的模型?

    我知道这有点愚蠢 因为 BigQueryML 现在为 Kmeans 提供了良好的初始化 尽管如此 我还是需要在张量流中训练一个模型 然后将其传递给 BigQuery 进行预测 我保存了模型 一切正常 直到我尝试将其上传到 bigquery
  • 神经网络 - 我的网络似乎训练得很好,但在分类报告中它是完全随机的

    我正在训练一个模型来对 3 种类型的车辆进行分类 一切看起来都很顺利 直到我尝试用我的模型预测任何事情 预测结果是完全随机的 我使用 3 个类别的 15000 张图像 每个类别 5000 个 进行训练 并使用 3 个类别的 6000 个图像
  • Tensorflow 到 ONNX 的转换

    我目前正在尝试转换我使用本教程创建的已保存 且正在工作 的 pb 文件 https github com thtrieu darkflow https github com thtrieu darkflow 到 onnx 文件中 我目前正在
  • Tensorboard——High-level节点的计算时间与其子节点计算时间的总和不同

    继tutorial https www tensorflow org programmers guide graph viz在 TensorFlow 上 我试图使用张量板来理解运行时统计数据 我发现代表名称范围的高级节点的计算时间不等于其子
  • 在tensorflow.js中对张量进行分区、屏蔽或过滤

    我有 2 个相同长度的张量 data and groupIds 我想分开data通过相应的值分成几组groupId 例如 const data tf tensor 1 2 3 4 5 const groupIds tf tensor 0 1
  • 如何从张量流数据集迭代器返回同一批次两次?

    我正在转换一些旧代码以使用数据集 API 此代码使用feed dict将一批数据送入列车运行 实际上是三次 然后重新计算损失以供显示使用同一批 所以我需要一个迭代器来返回完全相同的批次两次 或多次 不幸的是 我似乎找不到一种使用张量流数据集
  • tf.print() vs Python print vs tensor.eval()

    看来在Tensorflow中 至少有三种方法可以打印出张量的值 我一直在读here https www freecodecamp org news debugging tensorflow a starter e6668ce72617 an
  • Tensorflow Eager Execution 不适用于学习率衰减

    在这里尝试让一个热切的执行模型与 LR 衰减一起工作 但没有成功 这似乎是一个错误 因为学习率衰减张量似乎没有更新 如果我遗漏了什么 你可以帮我一下吗 谢谢 下面的代码正在学习一些词嵌入 但是 那学习率衰减部分根本不起作用 class Wo
  • Tensorflow:ValueError:形状必须具有相同的等级,但为 0 和 2

    我在乘以 x1 Wo1 时遇到形状错误 但我找不到原因 错误 ValueError 形状必须具有相同的等级 但为 0 和 2将形状 0 与其他形状合并 对于 add 2 x 操作 Pack 输入形状 20 1 import tensorfl
  • Tensorflow 检查点模型被删除

    我使用以下代码每 10 个时期后使用张量流检查点 checkpoint dir os path abspath os path join out dir checkpoints checkpoint prefix os path join
  • 在 TensorFlow 中调试 python 测试

    我们想要在 TensorFlow 中调试 Python 测试 例如稀疏分割操作测试 and string to hash bucket op test 我们可以使用 gdb 调试其他 C 测试 但是我们找不到调试 python 测试的方法
  • 通过 Google Colab 进行 x11 转发

    我希望 x11 转发能够在 Google Colab 上运行 我使用的是 Windows 10 机器 Google Colab 操作系统信息可以在帖子底部找到 这是我所做的测试 已安装Xming https sourceforge net
  • TensorFlow 中的 FCN 缺少裁剪层

    我目前正在尝试实施用于语义分割的 FCN http www cs berkeley edu jonlong long shelhamer fcn pdf在 TensorFlow 中 就像之前在 Caffe 中一样here https git
  • AudioSet 和 Tensorflow 理解

    With AudioSet https research google com audioset index html发布并为那些进行合理研究分析的人提供了一个全新的研究领域 最近几天我一直在努力深入研究如何分析和解码这些数据 数据在 tf
  • 如何使用自定义数据生成器进行 keras 图像增强?

    我正在使用 Keras 自定义生成器 我想对从自定义数据生成器返回的数据应用图像增强技术 我想要这些图像增强技术 ImageDataGenerator rotation range 40 width shift range 0 2 heig
  • Google Colab 中的不同时区

    问题 为什么科拉布的时区与本地时区不同 背景 我住在美国 但Colab时间 我指定的是美国时区 与当地时间有五个小时的时差 Code rm etc localtime ln s usr share zoneinfo US etc local
  • 张量流范围名称有哪些限制?

    我正在运行张量流模型并收到以下错误 ValueError Cement component 1 kg in a m 3 mixture is not a valid scope name 我知道张量流可能不喜欢其范围名称中的特殊字符和空格
  • Tensor(..., shape=(), dtype=int64) 必须与 Tensor(..., shape=(), dtype=resource) Keras 来自同一个图

    我正在尝试使用 Keras 运行 Conv2D 网络来读取一组包含手势图像的文件夹200亿小丑 https 20bn com products datasets我知道 Conv2D 可能行不通 但我想在更改太多代码之前获得我之前使用过的东西
  • tf.reshape 与 tf.contrib.layers.flatten

    所以我正在运行 CNN 来解决分类问题 我有 3 个转换层和 3 个池化层 P3是最后一个池化层的输出 其维度为 Batch size 4 12 48 我想将该矩阵展平为 Batch size 2304 尺寸矩阵 为2304 4 12 48

随机推荐