程序员经验分享-hwhale

使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存

2023-12-10

我将 HDFStore 与 pandas / pytables 一起使用。

删除表或对象后，hdf5 文件大小不受影响。当添加额外的对象来存储时，这个空间似乎会被重用，但如果浪费大量空间，这可能会成为一个问题。

我在 pandas 或 pytables API 中没有找到任何可用于恢复 hdf5 内存的命令。

您知道有什么机制可以改进 hdf5 文件中的数据管理吗？


see here

你需要ptrepack它会重写该文件。

ptrepack --chunkshape=auto --propindexes --complevel=9 --complib=blosc in.h5 out.h5

作为示例（这也会压缩文件）。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

pandas

HDF5

pytables

使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存 的相关文章

  • 学习Python中的解析器

    我记得我读过有关解析器的内容 您只需提供一些示例行 它就知道如何解析某些文本 它只是确定两条线之间的差异 以了解可变部分是什么 我以为它是用 python 写的 但我不确定 有谁知道那是什么图书馆吗 可能你的意思是模板制作器 http co

  • 在 Python 中延迟转置列表

    所以 我有一个延迟生成的可迭代的三元组 我试图弄清楚如何将其转换为 3 个可迭代对象 分别由元组的第一个 第二个和第三个元素组成 然而 我希望这件事能懒惰地完成 所以 举例来说 我希望 1 2 3 4 5 6 7 8 9 将变成 1 4 7

  • 我可以在 matplotlib 中的绘图左侧放置一个垂直颜色条吗？

    来自颜色条方法的 matplotlib 命令摘要 http matplotlib org api pyplot api html highlight colorbar matplotlib pyplot colorbar我知道关键字参数or

  • Discord.py 斜线命令在 cogs 中不起作用

    我正在构建一个不和谐的机器人 并且想要在 cogs 内使用斜杠命令 但这些命令不显示或工作 这是代码 cog guild ids 858573429787066368 861507832934563851 class Slash comma

  • 为什么我会收到 ValueError：系列的真值不明确。使用 a.empty、a.bool()、a.item()、a.any() 或 a.all()

    以下代码给出了值错误 major males for row in recent grads if recent grads Men gt recent grads Women major males append recent grads

  • 无法使用Python请求会话模块登录网站

    我刚刚开始进行网络抓取 对于我的第一个项目 我尝试使用 requests Session 登录 artofproblemsolving com 并访问另一个用户的帐户 这是我的代码 import requests LOGIN URL htt

  • 对法语文本进行词形还原[关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我有一些法语文本需要以某种方式进行处理 为此 我需要 首先 将文本标记为单词 然后对这些单词进行词形还原以避免多次处理相同的词根 据我

  • 将列表值转换为 pandas 中的行

    我有数据帧 其中一列具有相同长度的 numpy ndarray 值 df list 0 Out 92 array 0 0 0 0 29273096 0 30691767 0 27531403 我想将这些列表值转换为数据框并从 df iloc

  • Kivy TextInput 水平和垂直对齐（文本居中）

    如何在 Kivy 的 TextInput 中水平居中文本 I have the following screen But I want to centralize my text like this 这是我的 kv 语言的一部分 BoxLa

  • 在python中使用编解码器utf-8打开文件错误

    我在 windows xp 和 python 2 6 4 上执行以下代码 但它显示 IOError 如何打开名称带有 utf 8 编解码器的文件 gt gt gt open unicode txt euc kr encode utf 8 T

  • 如何将 pandas DataFrame 转换为 TimeSeries？

    我正在寻找一种将 DataFrame 转换为 TimeSeries 而不拆分索引和值列的方法 有任何想法吗 谢谢 In 20 import pandas as pd In 21 import numpy as np In 22 dates

  • 如何将 django ModelForm 字段显示为不可编辑

    接受我的初步教训django ModelForm 我想让用户能够编辑博客中的条目 BlogEntry has a date postedTime title and content 我想向用户展示一个编辑表单 其中显示所有这些字段 但仅包含

  • 在 4K 屏幕上使用 Matplotlib 和 TKAgg 或 Qt5Agg 后端

    我在 Ubuntu 16 04 上使用 Matplotlib 2 0 和 Python 3 6 来创建数据图 电脑显示器的分辨率为 4k 分辨率为 3840x2160 绘图数字看起来非常小 字体也很小 我已经尝试过TKAgg and Qt5

  • 如何将Python包从旧版本安装到新版本？

    我正在使用 python 3 7 最近在 Linux 中安装了 python 3 8 是否有任何 bash 命令或脚本可以获取 3 7 的所有软件包列表并在 3 8 版本中一一安装 我想避免每个包裹都手工完成 注意 我将它们安装在我的系统中

  • 如何使用 python 模块的多个 git 分支？

    我想使用 git 来同时处理我正在编写的模块中的多个功能 我目前正在使用 SVN 只有一个工作区 因此我的 PYTHONPATH 上只有该工作区 我意识到这不太理想 所以我想知道是否有人可以建议一种更 正确 的方法来做到这一点 让我用一个假

  • Django 中使用外键的抽象基类继承

    我正在尝试在 Django 支持的网站上进行模型继承 以遵守 DRY 我的目标是使用一个名为 BasicCompany 的抽象基类来为三个子类提供通用信息 Butcher Baker CandlestickMaker 它们位于各自的应用程序

  • 如何创建简单的梯度下降算法

    我正在研究简单的机器学习算法 从简单的梯度下降开始 但在尝试用 python 实现它时遇到了一些麻烦 这是我试图重现的示例 我获得了有关房屋的数据 居住面积 以英尺为单位 和卧室数量 以及最终的价格 居住面积 英尺2 2104 卧室 3 价

  • 在自定义 keras 层的调用函数中传递附加参数

    我创建了一个自定义 keras 层 目的是在推理过程中手动更改前一层的激活 以下是基本层 它只是将激活值乘以一个数字 import numpy as np from keras import backend as K from keras

  • 将函数按元素应用于两个 DataFrame

    如何应用函数z ij f x ij y ij 来自数据框X and Y相同大小并将结果保存到 DataFrameZ 这取决于你有什么样的功能 很多功能已经被矢量化为数据框 例如 等等 所以对于这些功能 你可以简单地做Z X Y or Z X

  • 如何使用 keras.backend.gradients() 获取梯度值

    我试图获得 Keras 模型的输出相对于模型输入 x 而不是权重 的导数 似乎最简单的方法是使用 keras backend 中的 梯度 它返回梯度张量 https keras io backend https keras io backe

随机推荐

  • 使用 WEKA API 定义聚类的输入数据

    我想对由纬度和经度指定的点进行聚类 我在用WEKA API问题在于Instances instances new Instances 40 01 1 02 那么 如何在不使用 ARFF 文件的情况下指定输入数据呢 我只想将数组读入Insta

  • 如何将JSON字符串解析为Map？

    我正在使用Java 我有一个如下所示的 JSON 字符串 4562 a foo1 b 56 c 1342 4563 a foo2 b 57 c 1343 我想将 JSON 字符串中的所有数据存储到 Map 中 怎么做 您需要使用杰克逊图书馆

  • 如何关闭Form1并打开Form2

    在Form1中 当进度条完成时 然后在timer tick事件的else部分中 我编写了以下代码 frmLogin login new frmLogin login Show timer1 Enabled false this Hide 所

  • 如何在 JPQL 中执行复杂的 LEFT JOIN 条件？

    我正在使用 JPQL 从 Play Framework 进行模型查询 我想知道 JPQL 是否支持 LEFT JOIN 的 复杂 ON 条件 在我的一个例子中 有 2 个表 应用程序 应用程序列表 AggregationHistory 每个

  • Jackson Mapper 序列化空对象而不是 null

    说我有课 Foo public class Foo private Bar bar and Bar public class Bar private String fizz private String bang EDIT 澄清一下 我不拥

  • 我想在 Fortran 中实现一个小而快速的定性数据类型

    这是有关在 Fortran 中实现定性数据类型的一系列问题的一部分 背景 这个主题涉及到一个叫做复杂系统的循环分析例如 人们可能会在 Puccia C J 和 Levins R 1986 中读到相关内容 复杂系统的定性建模 循环分析和时间平

  • 将 ListFragment 替换为 ViewPager 中带有选项卡的 Fragment

    我尝试在我的应用程序中设置以下导航 实际情况 ViewPager Tabs 在列表之间滑动 列表片段A 列表片段B 期望条件 ViewPager 选项卡 ListFragment A onListItemSelected 将 ListFra

  • 将 JarEntry 转换为文件

    我正在使用一个需要 File 作为参数的库 我想要传递的文件是我想要与我的应用程序一起打包的文件 作为 jar 的一部分 有什么方法可以将从 jar 中获取的 JarEntry 转换为可以传递的 File 对象吗 如果没有 我必须暂时将资源

  • 如何在 chromium 的 gn 文件中包含共享库？

    Q1 我有一个测试 所以有一些我需要使用的功能 我已经调查了一段时间但没有答案 有人可以建议如何在 chromium 项目的 gn 文件中包含共享库吗 非常感谢 以下是我的 gn 文件的内容 import third party WebKi

  • 在nodeJS中执行redis eval命令运行Lua脚本

    在 Redis 中 我通过 CLI 运行 Lua 脚本 如下所示 redis cli eval debug script lua key1 key2 key3 key4 arg1 arg2 所以 我的 Lua 脚本接受 4 个键和 2 个参

  • Java 位操作长整型 - 计数设置和未设置位

    我有一个很长的号码 现在我想要的是以下 以伪代码给出 int cnt1 0 int cnt2 0 for each two bits of that long if the two bits 11 then cnt1 else cnt2 P

  • 以编程方式在 Windows Phone 7 中打开 docx

    我想在Windows Phone 7中开发一个用于打印服务的应用程序 在该应用程序中 用户可以选择要打印的文件 有没有办法以编程方式在WP7中打开docx xlsx等 我知道 iPhone 中的 WebView 支持查看多种文件类型 WP7

  • 确定 24 小时日期时间是否在间隔内

    希望你能帮忙 有一个包含日期时间的数据框 我想确定时间结果是否发生在几个小时后 gt 16 00 是否有捷径可寻 计划将时间转换为秒 然后这样做 但假设有一种更简单的方法可以通过 R 来做到这一点 datetimes lt c 2013 0

  • 如何避免mailto的烦恼？

    我正在开发一个网站 希望我的用户能够尽可能轻松地提供反馈 我知道一种方法 但我一直讨厌它 a href Click Here to be annoyed a JavaScript 或 HTML 中有没有一种方法可以让我的用户无需经历很多麻烦

  • 在 Watin 新版本 2.1 中访问框架时出错

    访问时抛出以下错误ie Frames在新版本的 Watin 2 1 中 错误详情 无法使用已与其底层 RCW 分离的 COM 对象 System Runtime InteropServices InvalidComObjectExcepti

  • 使用 xyz 坐标和 jzy3d 构建 3D 曲面图

    我一直在寻找一种将 coord x y z 列表发送到 jzy3d 的方法 但没有成功 我发现的唯一方法是使用带有 coord3d 列表和 镶嵌器 列表的 构建器 但它实际上不起作用 事实上我真的不明白 Tessellator 的含义 这是

  • 按自定义订单排序

    我想知道如何按自定义顺序而不是按字母顺序对数组进行排序 想象一下你有这个数组 对象 var somethingToSort type fruit name banana type candy name twix type vegetable

  • 管理 @NamedNativeQuery 和架构

    我有很多EntityManager 我拥有的每个模式一个 我使用entity mappings文件来映射 EM 与模式 有用 当我使用 NamedQuery它的工作就像一个魅力 但当我使用 NamedNativeQuery不使用架构 我必须

  • 如何更改 Firebird 上的 CHECK 约束？

    我有一个像这样的 Firebird 表 CREATE TABLE events event VARCHAR 6 NOT NULL CHECK event IN deploy revert fail change id CHAR 40 NOT

  • 使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存

    我将 HDFStore 与 pandas pytables 一起使用 删除表或对象后 hdf5 文件大小不受影响 当添加额外的对象来存储时 这个空间似乎会被重用 但如果浪费大量空间 这可能会成为一个问题 我在 pandas 或 pytabl

热门标签