Keras“pickle_safe”:Python 中的“pickle 安全”或“不可 picklable”是什么意思?

2024-02-16

Keras fit_generator()有一个参数pickle_safe默认为False.
如果有的话,训练可以跑得更快ispickle_safe,并相应地将标志设置为True ?

根据Kera 的文档 https://keras.io/models/sequential/:

泡菜安全:如果为 True,则使用基于进程的线程。请注意,由于此实现依赖于多处理,因此您不应将不可挑选的参数传递给生成器,因为它们无法轻松传递给子进程。

我不太明白这到底在说什么。
我如何确定我的论点是否正确pickle_safe or not ??

如果相关:
- 我正在传递一个自定义生成器
- 生成器函数接受参数:X_train、y_train、batch_size、p_keep;
它们的类型为 np.array、int、float)
- 我没有使用 GPU
- 另外,我正在使用 Keras 1.2.1,尽管我相信这个参数的行为与 keras 2 中的相同


我不熟悉keras,但是从文档来看,pickle_safe只是意味着生成器生成的元组必须是“picklable”。

pickle是一个标准的Python模块,用于序列化和反序列化对象。标准multiprocessing实现使用pickle在不同进程之间共享对象的机制——由于两个进程不共享相同的地址空间,因此它们无法直接看到相同的Python对象。因此,要将对象从进程 A 发送到进程 B,它们在 A 中进行腌制(以特定的众所周知的格式生成一系列字节),然后通过进程间通信机制将腌制的格式发送到 B,并且在 B 中进行 unpickled,在 B 的地址空间中生成 A 的原始对象的副本。

因此,要发现您的对象是否可腌制,只需调用,例如:pickle.dumps在他们。

>>> import pickle
>>> class MyObject:
...    def __init__(self, a, b, c):
...      self.a = a
...      self.b = b
...      self.c = c
...
>>> foo = MyObject(1, 2, 3)
>>> pickle.dumps(foo)
b'\x80\x03c__main__\nMyObject\nq\x00)\x81q\x01}q\x02(X\x01\x00\x00\x00cq\x03K\x03X\x01\x00\x00\x00aq\x04K\x01X\x01\x00\x00\x00bq\x05K\x02ub.'
>>>

dumps产生一个字节字符串。我们现在可以重构foo字节字符串中的对象为bar using loads:

>>> foo_pick = pickle.dumps(foo)
>>> bar = pickle.loads(foo_pick)
>>> bar
<__main__.MyObject object at 0x7f5e262ece48>
>>> bar.a, bar.b, bar.c
(1, 2, 3)

如果某些东西不可picklable,你会得到一个例外。例如,lambda 不能被 pickle:

>>> class MyOther:
...   def __init__(self, a, b, c):
...     self.a = a
...     self.b = b
...     self.c = c
...     self.printer = lambda: print(self.a, self.b, self.c)
...
>>> other = MyOther(1, 2, 3)
>>> other_pick = pickle.dumps(other)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: Can't pickle local object 'MyOther.__init__.<locals>.<lambda>'

请参阅文档以获取更多信息:https://docs.python.org/3.5/library/pickle.html?highlight=pickle#what-c​​an-be-pickled-and-unpickled https://docs.python.org/3.5/library/pickle.html?highlight=pickle#what-can-be-pickled-and-unpickled

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Keras“pickle_safe”:Python 中的“pickle 安全”或“不可 picklable”是什么意思? 的相关文章

随机推荐

  • Jquery删除通过jquery svg库添加的绘制线

    在我的应用程序中 我通过 jQuery SVG 插件从一个表格单元格到另一个单元格绘制了一条线 按照博文的步骤进行操作http www openstudio fr Library for simple drawing with html h
  • 尝试重载运算符“/”时出错

    我最近开始自学游戏编程 有人推荐我从Python开始 我得到了 用Python和Pygame开始游戏开发 从新手到专业 这本书 我到达了他们教授向量和创建 Vector2 类的部分 一切都很顺利 直到我试图让除法运算符超载 我的代码是这样的
  • Django 事务管理块以挂起的 COMMIT/ROLLBACK 结束

    我有一个需要手动事务管理的视图功能 但是当我应用 transaction commit manually装饰器 django 总是引发以下异常 正如您从下面的代码跟踪中看到的 事务是在从视图返回之前提交的 我在 Windows 和 Linu
  • Laravel 4 开箱即用的语法错误

    我刚刚安装了 Laravel 4 Illuminate 当我在浏览器中打开 index php 文件时 遇到了以下错误 解析错误 语法错误 意外的 yield T YIELD 在 www Laravel4 vendor Illuminate
  • Tarjan 强连通分量算法的功能实现

    我继续说 实施的 https github com pathikrit scalgos blob master src main scala com github pathikrit scalgos Graph scala L139 the
  • 存储函数中的临时表?

    我正在编写一个函数 我需要使用TABLE变量 我听说 MySQL 中不存在它们 https stackoverflow com questions 1524858 create table variable in mysql 或临时表 但是
  • 如何仅在用户身份验证后设置 Apollo 客户端?

    我对如何构建我的 React GraphQL Apollo 应用程序感到有点困惑 因为在用户验证 登录之前不应建立连接 目前我有这个 class App extends Component render return
  • iPhone最多可以监控多少个区域?

    有人知道共享区域的最大数量是多少吗 如果超过它 您会收到 RegionMonitoringDidFail 电话吗 http developer apple com iphone library documentation CoreLocat
  • 使用 Helm 安装后 Prometheus 服务器处于挂起状态

    我是 k8s 的新手 正在尝试为 k8s 设置 prometheus 监控 我用了 helm install 来设置普罗米修斯 现在 two pods are still in pending state 普罗米修斯服务器 普罗米修斯警报管
  • 动态 Oracle Pivot_In_Clause

    我有点卡住了 我想做一个用户角色关系数据透视表 到目前为止我的查询如下所示 WITH PIVOT DATA AS SELECT FROM SELECT USERNAME GRANTED ROLE FROM DBA USERS DB LINK
  • Firebase:javascript on() 事件中的查询过滤

    有没有办法过滤我想要带回 ref on value 内部的每个子项的哪些属性 假设我有结构https www firebase com docs data struct html https www firebase com docs da
  • PHP-从CSS中提取图像路径

    我有一个这样的样式表 d2 position absolute background url img delete png no repeat 0px 1px color 0066CC reply position absolute bac
  • 如何控制 Maven 中测试的执行顺序?

    我需要按顺序运行测试 我在任何地方都找不到对此进行充分记录的地方 我更喜欢从命令行执行此操作 就像是 mvn Dtest test1 test2 test3 test5 test 我该怎么做呢 您无法指定测试的运行顺序 执行此操作的解决方法
  • 泛型类中的静态方法?

    在Java中 我想要这样的东西 class Clazz
  • ServerManager CommitChanges 进行更改时略有延迟

    我对 ServerManager 类 来自 Microsoft Web Administration 程序集 有一个小问题 我希望你们中的一些人可以帮助我 基本上 我需要在站点内创建一个新应用程序 使用 IIS 7 5 并将用户重定向到同一
  • 使用 git-svn:拉取、合并还是变基?

    我一直在与 git git svn 学习曲线作斗争 昨晚 作为学习曲线的一部分 我做了一些非常非常糟糕的事情 我已经纠正了它 但我希望以我的方式理解错误 我有一个 svn 存储库 我从中克隆了主干和分支 我忽略了标签 因为我们不处理这些标签
  • tinyMCE模糊事件

    你好 当用户在tinyMCE文本区域中完成书写并单击外部某处 onBlur 时 我想做一些事情 到目前为止我已经尝试过 id topic text parent live blur function alert asd I saw id t
  • 为什么在 C++ 中我们需要使用 `int main` 而不是 `void main`? [复制]

    这个问题在这里已经有答案了 为什么我们需要使用int main并不是void main in C 简短的回答是因为 C 标准要求main 回来int 您可能知道 返回值main 运行时库使用函数作为进程的退出代码 Unix 和 Win32
  • 如何从切片中删除最后一个元素?

    我见过有人说只需通过附加旧切片来创建一个新切片 slc append slc item slc item 1 但是如果你想删除切片中的最后一个元素怎么办 如果您尝试更换i 最后一个元素 与i 1 它返回越界错误 因为没有i 1 您可以使用l
  • Keras“pickle_safe”:Python 中的“pickle 安全”或“不可 picklable”是什么意思?

    Keras fit generator 有一个参数pickle safe默认为False 如果有的话 训练可以跑得更快ispickle safe 并相应地将标志设置为True 根据Kera 的文档 https keras io models