程序员经验分享-hwhale

h5py 是否将整个文件读入内存？

2024-04-13

h5py是否将整个文件读取到内存中？

如果是这样，如果我有一个非常非常大的文件怎么办？

如果不是的话，我每次要单个数据就从硬盘取数据会不会很慢？我怎样才能让它更快？


h5py是否将整个文件读取到内存中？

不，不是的。特别是，切片（dataset[50:100]）允许您将数据集的一部分加载到内存中。有关详细信息，请参阅h5py 文档 http://docs.h5py.org/en/latest/high/dataset.html.

如果不是的话，我每次要单个数据就从硬盘取数据会不会很慢？

总的来说，hdf5 速度非常快。但从内存读取显然比从磁盘读取要快。您可以决定将数据集的多少读入内存（dataset[:]加载整个数据集）。

我怎样才能让它更快？

如果您想优化性能，您应该阅读sections http://docs.h5py.org/en/latest/high/dataset.html#chunked-storage about chunking and 压缩。还有一个book http://shop.oreilly.com/product/0636920030249.do详细解释了这些事情（免责声明：我不是作者）。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

h5py

h5py 是否将整个文件读入内存？ 的相关文章

随机推荐

  • Symfony 表单（作为 Doctrine 的独立组件）EntityType 不起作用

    我使用 Symfony 表单 v3 0 而不使用 Symfony 框架的其余部分 使用 Dotrine v2 5 我创建了一个表单 这是表单类型类 class CreateMyEntityForm extends BaseFormType

  • Python 中的“布尔”运算（即：和/或运算符）

    此方法搜索第一组单词字符 即 a zA Z0 9 返回第一个匹配的组或None万一失败 def test str m re search r w str if m return m group 1 return None 相同的函数可以重写

  • 在 Postgres 中添加 current_timestamp 和 days 列的总和

    我想通过向当前时间添加天数来更新列 用伪语法来说 它是 UPDATE foo SET time current timestamp days integer days 是同一个表中的一列 select now cast 1 day as i

  • 64位进程的进程内存限制

    我目前有一个 32 位 Net 应用程序 在 x86 Windows 上 需要大量内存 最近它开始抛出 System OutOfMemoryException 因此 我计划将其作为 64 位进程迁移到 x64 平台 这将有助于解决内存不足的

  • doc2vec 获得良好性能所需的最小数据集大小是多少？

    在不同大小的数据集上进行训练时 doc2vec 的表现如何 原始语料库中没有提到数据集大小 所以我想知道从 doc2vec 中获得良好性能所需的最小大小是多少 有很多东西被称为 doc2vec 但它似乎最常指的是 Le 和 Mikolov

  • Powershell 将变量传递给带有通配符的过滤器

    我在这方面遇到了困难 我知道这可能是一个简单的语法问题 我不知道如何将此变量传递到代码块中并正确确认它 user Some Person 这正如我所期望的那样 get aduser filter Samaccountname eq user

  • 时间：2019-03-17 标签：c#InfragisticsUltraChartLineChart

    有人可以提供一个从数据表将线系列添加到 UltraChart 的简单示例吗 该表具有时间序列值 x 轴上的时间值 y 轴上的测量 双精度 值 到目前为止 我见过的将时间序列添加到图表中的唯一示例是针对一组有限的硬编码数据点 我希望能够从表中

  • 如何从字符串中提取数字？

    我有包含路径的字符串 string toto titi 12 tata 2 abc def 我只想从该字符串中提取数字 要提取第一个数字 tmp string toto titi num1 tmp tata 要提取第二个数字 tmp str

  • 从 Oracle 转换为日期时间

    我知道有很多类似的问题 但我找不到我要找的东西 这是我的甲骨文日期 string testdate 2014 01 07 15 00 00 0000000 这是我尝试转换为日期时间的方法 DateTime ParseExact testda

  • ASP.NET MVC - 模型绑定一组动态生成的复选框 - 如何

    我正在尝试对一组动态生成的复选框进行模型绑定 以便在控制器操作中处理它们 但无法进行模型绑定 这是场景 我的 ViewModel 类 DocumentAddEditModel 包含一个字典 Dictionary 其中每个条目的字符串是每个复

  • Python opencv 检测棋盘

    我正在尝试获取棋盘图案的角点 并认为我可以将 openCV 与cv2 findChessboardCorners 但是 我找不到传递给该函数的良好参数 以便它成功检测棋盘 我认为该图像适合此功能 如果不是 我不知道我应该做什么预处理 这是我

  • 简单的 MySQL 语法错误 [关闭]

    Closed 这个问题是无法重现或由拼写错误引起 help closed questions 目前不接受答案 我正在运行以下代码 但找不到错误是什么 谁能建议我应该检查什么 result mysql query SELECT FROM ta

  • Elastic Beanstalk 运行部署后脚本

    我的 Node js 应用程序由两部分组成 一个 Express 后端和一个 React 前端 我在这个结构中有两个 package json 文件 package json app package json 我想要做的是在我的前端文件夹应

  • 在标题中添加图像标题和/或描述

    是否可以操纵图像标题的输出内容以这种方式 不仅在每个图像下输出标题 而且还输出图像标题和 或描述 在媒体库中定义 可能通过functions php 是的 可以操纵the content 您想要做的最简单的方法是在您的functions p

  • NSUserDefaults 和 Lion 下的沙箱

    根据 Apple 的要求 将我的项目之一移至支持沙箱 我像这样使用 UserDefaults NSUserDefaults standardUserDefaults setObject myNumber forKey myNumberKey

  • 使用 XSLT 将 XML 转换为 JSON

    我想使用 XSLT 将一些 XML 转换为 JSON XML 如下所示

  • InnoDB导致MySQL无法重启

    我无法重新启动 MySQL 或从 InnoDB 表 恢复 MySQL 我有一个使用 Ubuntu 16 04 的 WSL 由于 未知 的意外 早上我无法访问 MySQL 尝试重新启动它 所有错误 尝试了有关 InnoDB 和日志 文件的所有

  • 告诉 git 不要合并二进制文件而是选择

    当二进制文件 swf jar 和 flv 在本地更改时 我尝试引入更改 git 会尝试合并它们并报告冲突 然后 我分支到一个临时分支 并提交本地更改的二进制文件 并在拉取后使用递归策略将它们合并回来 太多工作 有没有办法告诉 git 不要尝

  • 什么是 Ruby on Rails Action 电缆适配器？

    通过 RoR 动作电缆导轨查看http edgeguides rubyonrails org action cable overview html subscription adapter http edgeguides rubyonrai

  • h5py 是否将整个文件读入内存？

    h5py是否将整个文件读取到内存中 如果是这样 如果我有一个非常非常大的文件怎么办 如果不是的话 我每次要单个数据就从硬盘取数据会不会很慢 我怎样才能让它更快 h5py是否将整个文件读取到内存中 不 不是的 特别是 切片 dataset 5

热门标签