使用 pandas 加载大 CSV 文件

2024-03-20

我正在尝试使用 pandas 加载 csv 文件(大约 250 MB)作为数据框。在我的第一次尝试中,我使用了典型的 read_csv 命令,但收到错误内存。 我已经尝试过中提到的方法pandas 中的大型持久 DataFrame https://stackoverflow.com/questions/11622652/large-persistent-dataframe-in-pandas使用块:

x=pd.read_csv('myfile.csv', iterator=True, chunksize=1000)
xx=pd.concat([chunk for chunk in x], ignore_index=True)

但是当我尝试连接时,我收到了以下内容错误:异常:“传递的所有对象都是 None”。事实上我无法访问这些块

我正在使用 32 位的 winpython 3.3.2.1 和 pandas 0.11.0


我建议您安装64位版本的winpython。那么您应该能够毫无问题地加载 250 MB 的文件。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 pandas 加载大 CSV 文件 的相关文章

随机推荐

  • c++ max_element 每n个元素

    有没有办法比较每 N 个元素来找到容器中的最大元素并返回索引 使用 STL BOOST 或 其他库 对于每个 N 我的意思是使用 std max element 但将 for 的增加从 first 更改为 first n based on
  • 该算法的名称是什么?它与其他图像重采样算法相比如何?

    这个算法已经在我脑海中存在了很长一段时间 但我找不到任何地方描述它 虽然它是如此简单 但我不可能是唯一一个想到它的人 它的工作原理如下 你从一张图片开始 比如说 7x7px 您需要将其重新采样 例如 5x5px 所以你要做的就是取每个新方块
  • UITextView 和浮动自动更正窗口的位置

    我有一个启用自动更正的 UITextView 视图的高度约为 30 像素 当自动更正启动时 自动更正视图在文本下方几乎不可见 有没有办法控制小自动更正窗口的位置或确保它是顶层 以便它始终可见并且用户可以轻松查看并与之交互 我发现在 UITe
  • Backbone.js 和 requirejs:如何将模型、视图和集合转换为 requirejs 模块?

    我正在使用backbone js开发一个javascript应用程序 也就是说 为了便于开发 我以这种方式构建我的文件 app views L movieRow js L movieDetail js models L movie js L
  • Java 8 构造函数参考的可怕性能和大堆占用?

    我刚刚在我们的生产环境中经历了一次相当不愉快的经历 导致OutOfMemoryErrors heapspace 我将问题追溯到我的使用ArrayList new在一个函数中 验证这实际上比通过声明的构造函数正常创建执行得更差 t gt ne
  • 等待设备时出错:等待模拟器上线 300 秒后超时

    我一直在尝试使用 android studio 2 0 模拟器 但我无法在模拟器上运行我的应用程序 当我运行我的应用程序时 它会显示模拟器 其中包含以下详细信息 哈克斯已启用 Hax ram size 0x800000000 HAx 正在运
  • 如何设置 UIBarButtonItem 的字体大小?

    我找不到自定义标题字体大小的方法UIBarButtonItem 我能想到解决这个问题的唯一方法是将其设置为图像 我想避免这种情况 还有其他建议吗 Objective C NSUInteger fontSize 20 UIFont font
  • 在 Rails 中的 find 中使用 lambda

    我有一个方法可以进行分页查找调用 例如 1 coll paginate all lambda conditions gt status AND expires lt a DateTime now select gt Constants PO
  • 在 BeautifulSoup 中替换文本而不转义

    我想用 BeautifulSoup 中的锚链接包装一些尚未链接的单词 我用这个来实现它 from bs4 import BeautifulSoup import re text replace this string soup Beauti
  • PHPUnit 在运行第一个测试之前进行设置,并在运行最后一个测试之后进行拆除

    我正在尝试使用 PHPUnit 为 php 应用程序实现类似 Django 的测试实用程序 类似 Django 我的意思是在运行第一个测试之前从主数据库创建一个单独的测试数据库 并在运行最后一个测试后将其删除 即使一次运行许多测试用例 测试
  • 用dense_rank数填充多维数组的rank列

    我的数组结构如下 points gt 10 details gt name gt Team A rank gt points gt 10 details gt name gt Team B rank gt points gt 8 detai
  • c++ 可以通过引用传递临时 lambda(适用于 msvc/windows,但不适用于 gcc/linux)?

    假设我有以下代码片段 global variable std thread worker thread Template function template
  • ui 中的输入绑定:jsf 中的重复

    我正在使用facelets jsf 2 0和primefaces 3 0 M2组件库 我正在尝试实现动态行数 包括发生数据表选择时填充的输入字段 每当进行选择时 动态行都会使用输入字段正确生成 但在后续选择的第一个选择之后 动态行计数会正确
  • 如何将本地MYSQL数据库移动到远程数据库服务器

    我有一个在 WAMP 下运行的本地 MYSQL 数据库 我需要将其移至生产数据库服务器 MySQL 新手 需要了解提升此数据库的最佳方法 您可以在当前服务器上运行它 mysqldump u user p database name gt d
  • R:如何将我的数据格式化为多项式 Logit?

    我正在 R 上复制一些 Stata 代码 我想使用以下命令执行多项式逻辑回归 mlogit函数 来自同名包 我知道有一个multinom函数于nnet但我不想用这个 我的问题是 使用mlogit 我需要使用以下方式格式化我的数据mlogit
  • 如何在 iOS 应用程序中获取某个位置的时区? [复制]

    这个问题在这里已经有答案了 我是 iOS 开发新手 我正在尝试构建一个主要可以做两件事的应用程序 a 获取用户的系统时间 比如说 他的手机在伦敦 所以他的时间 b 获取给定地点的时间 例如 旧金山 然后 我想计算两个地点之间的时间差 例如
  • PHP 中基于开关的 URL 路由

    我目前正在做的是这样的 我有一个 path变量 即后面的所有内容索引 php 我用 htaccess 隐藏 直到问号以忽略查询字符串 然后我用一个switch with preg match该变量的情况下确定它应该调用什么脚本 例如 swi
  • 如何去除 CMake 变量中的尾随空格?

    我们正在尝试改进 CMake 生成的 makefile 对于 Clang GCC 和 ICC 我们要添加 march native 这样做的块看起来像 march native for GCC Clang and ICC on i386 i
  • Slick Grid 中的数据更新

    我有一个 slickgrid 大约有 100 行 它的数据在 5 秒内刷新 但每次更新时滚动都会重置 这令人不安 我尝试使用 dataview 和 dataview refresh 但这次没有任何变化反映到网格 这是我在每次刷新时尝试的内容
  • 使用 pandas 加载大 CSV 文件

    我正在尝试使用 pandas 加载 csv 文件 大约 250 MB 作为数据框 在我的第一次尝试中 我使用了典型的 read csv 命令 但收到错误内存 我已经尝试过中提到的方法pandas 中的大型持久 DataFrame https