BUFFER_SIZE 在 Tensorflow 数据集改组中起什么作用?

2024-02-12

所以我一直在玩这个代码:https://www.tensorflow.org/tutorials/generative/dcgan https://www.tensorflow.org/tutorials/generative/dcgan并且几乎已经对其功能有了一个很好的了解。但是,我不太能发现什么是缓冲区大小变量的使用。我怀疑它可能用于创建数据库的子集大小缓冲区大小然后从这个子集中获取批次,但我没有看到它的要点,也找不到人解释它。

所以,如果有人可以向我解释一下缓冲区大小是的,我会很感激❤


它用作buffer_size论证中tf.data.Dataset.shuffle。你读过吗docs https://www.tensorflow.org/api_docs/python/tf/data/Dataset#shuffle?

该数据集填充了一个缓冲区buffer_size元素,然后从此缓冲区中随机采样元素,用新元素替换所选元素。为了完美的洗牌,缓冲区大小需要大于或等于数据集的完整大小。

例如,如果您的数据集包含 10,000 个元素,但buffer_size设置为 1,000,则 shuffle 最初将仅从缓冲区中的前 1,000 个元素中选择一个随机元素。一旦选择了一个元素,其在缓冲区中的空间就会被下一个(即第 1,001 个)元素替换,从而维持 1,000 个元素的缓冲区。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

BUFFER_SIZE 在 Tensorflow 数据集改组中起什么作用? 的相关文章

随机推荐

  • TensorFlow的map_fn仅在CPU上运行

    我在尝试获取 TensorFlow 时遇到了一个奇怪的问题map fn在我的 GPU 上运行 这是一个最小的损坏示例 import numpy as np import tensorflow as tf with tf Session as
  • Log4net 日志记录不适用于并行线程

    我在随机数上使用基本的 Parallel Foreach 循环来使用 log4net 记录数字本身 这是我在并行线程上记录 5000 条消息的代码 Logger logger new Logger var numbers Enumerabl
  • Javascript 中是否按顺序执行相等的超时?

    假设我这样做 setTimeout foo 0 setTimeout bar 0 我可以确定 foo 会在 bar 之前开始执行吗 如果我使用 1 10 或 100 的超时值代替 0 会怎么样 简单的实验表明 在超时值相等的情况下 超时目标
  • XElement 添加一个 xmlns

    我正在使用 Linq to XML 创建一个新的 XML 文件 我从现有的 XML 文件中获取该文件的某些部分 我为此使用以下代码 var v2 new XDocument new XDeclaration 1 0 utf 16 new X
  • 使用 Mongoose 更新 _id = :id 的记录

    我正在尝试使用 Mongoose 更新现有记录 插入可以 但更新不行 这是我的片段 app post submit function req res var my visit new models visits date req body
  • 在 RedShift 中将值拆分为多行

    如何将字段 例如 CSV 字符串 拆分为多行的问题已经得到解答 将值拆分为多行 https stackoverflow com questions 13159526 split values over multiple rows 然而 这个
  • 如何在Java Web应用程序中动态设置会话超时?

    我需要为我的用户提供一个 Web 界面来更改会话超时间隔 因此 不同安装的 Web 应用程序的会话超时时间可能不同 但它们的会话超时时间不同 web xml不可能不同 有没有办法以编程方式设置会话超时 以便我可以使用 例如ServletCo
  • Greasemonkey 中未定义“文档”

    不到十分钟前 我决定为 Greasemonkey 编写第一个剧本 我对此的经验为零 另外 我的 JavaScript 有点生疏了 因为自从我上次用它编写代码以来已经有一段时间了 但我不明白为什么 Greasemonkey 给我这个错误 Li
  • PDF压缩库/工具

    我正在开发一个项目来减小 PDF 的大小并对其进行压缩 我想知道市场上是否有任何非常好的工具 库 NET 我确实尝试了一些工具 例如 Onstream Compression 但结果并不令人满意 一些额外的 兆 字节可以很容易地从 PDF
  • 从 Java 应用程序中执行 Pig

    是否可以在 Java 应用程序中运行 Apache Pig 作业 而无需分叉外部进程 Pig 和 Hadoop 似乎都是用 Java 编写的 但并不真正提供 Java API 我宁愿在 Java Spring 应用程序中使用这些工具 而不是
  • 打开本机相机后 Ionic 应用程序崩溃 - 错误 20

    我用的是科尔多瓦camera插件开启ionic 4捕捉一些图像 takePicture console log camera takePicture const options CameraOptions quality 100 desti
  • 使用 RXJava 进行缓存处理

    我正在尝试使用 rxJava 实现此工作流程 但我确定我是否误用或做错了事情 用户要求登录 如果登录结果在缓存中可用 则 发出 缓存的登录结果 否则 如果一切成功 则实际执行对 Web 服务的请求并缓存结果 如果发生错误 最多重试 3 次
  • 为什么我在这个解析器序列中遇到类型错误(Erik Meijer 的讲座 8)?

    我正在观看函数式编程基础知识Erik Meijer 的系列讲座 幻灯片由 Graham Hutton 制作 In 第 8 课 关于函数解析器 https www youtube com watch v OrAVS4QbMqo 定义后Pars
  • 读取多个 xlsx 文件,每个文件都有多个工作表 - purrr

    我有多个 Excel 文件 每个文件都有不同的工作表 我尝试使用 readxl 和 map 将其导入到 R 中 但是 我只能使用 for 循环来完成此操作 下面的代码工作正常 但我想知道是否有一个聪明的方法来做到这一点 我一直认为我可以用
  • Google AppEngine:表单处理“重复”StructuredProperty

    我如何与ndb StructuredProperty 重复 True 设计表单和处理程序时的属性 考虑这个例子 我有 3 种 ndb Model 类型 技术人员 his 教育 和他的 工作 经验 后两者是 SkilledPerson 的 S
  • 如何从数据框中获取特定列中具有最大值的行?

    我有一个像这样的数据框 df show 5 kv list1 list2 p k1 v2 1 2 5 9 5 1 7 9 6 3 1 4 9 0 5 k1 v3 1 2 5 8 9 5 1 7 9 6 3 1 4 15 0 9 k2 v2
  • 最好/常见的 RESTful url 动词和操作是什么?

    我正在尝试查找有关最佳和最常见的 RESTful url 操作的一些信息 例如 您使用什么 URL 来显示项目的详细信息 编辑项目 更新等 question show
  • 需要一个 linq 来生成自身连接

    根据这篇文章为什么 MYSQL 较高的 LIMIT 偏移量会减慢查询速度 https stackoverflow com questions 4481388 why does mysql higher limit offset slow t
  • 无条件地从 T 构造函数调用类 T 的纯虚实现?

    考虑到一个虚拟调用T来自类的构造函数的成员函数 直接或间接 T 最多可以下降到T的实现 执行以下代码 其中不合格的电话 是否有未定义的行为 请注意 为了避免噪音 如果您认为从构造函数调用时实际上不会调用成员函数 那么请不要在此处回答或评论
  • BUFFER_SIZE 在 Tensorflow 数据集改组中起什么作用?

    所以我一直在玩这个代码 https www tensorflow org tutorials generative dcgan https www tensorflow org tutorials generative dcgan并且几乎已