程序员经验分享-hwhale

Python - CSV：具有不同长度行的大文件

2023-12-09

简而言之，我有一个 20,000,000 行的 csv 文件，它具有不同的行长度。这是由于陈旧的数据记录器和专有格式造成的。我们得到以下格式的最终​​结果作为 csv 文件。我的目标是将此文件插入到 postgres 数据库中。我怎样才能做到以下几点：

  • 保留前 8 列和最后 2 列，以获得一致的 CSV 文件
  • 将新列添加到 csv 文件 ether 的第一个或最后一个位置。
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0, img_id.jpg, -50
1, 2, 3, 4, 5, 0,0,0,0,0,0,0,0,0,0,0 img_id.jpg, -50

读取一行csv, then:

newrow = row[:8] + row[-2:]

然后添加新字段并将其写出来（也可以使用csv).

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

Parsing

csv

ETL

Python - CSV：具有不同长度行的大文件 的相关文章

随机推荐

  • sed 搜索范围并打印第一组

    我有一个如下所示的文件 myname something something something myname something something myname something and it follows and no stand

  • 在 Python 中从基类对象创建对象

    我有一个基类 class Animal object def init self name None food None self name name self food food def eat self print The s eats

  • 将一个文件中的汉字写入另一个文件

    我有一个里面有汉字文本的文件 我想将这些文本复制到另一个文件中 但文件输出与中文字符混乱 请注意 在我的代码中 我已经使用 UTF8 作为我的编码 BufferedReader br new BufferedReader new FileR

  • 将 .net core 项目发布到 iis 时出现 HTTP 错误 500.19，代码为 0x80070005

    我想在我的电脑的 IIS 管理器上发布示例 net core Web 应用程序 但失败了 我正在使用 Microsoft 指南 但它对我不起作用 如果您有解决此问题的合理经验 我将不胜感激看到您的建议 我缺少 IIS gt Modules

  • Google 日历 API 移动事件

    协议如下 在谷歌开发者网站上 他们在每个 api 函数描述的底部都有一个用于尝试 api 的工具 特别是我正在使用日历 api 其中写着 使用下面的 API 资源管理器 https developers google com google

  • 使用 Swing 计时器更新标签

    我在这段代码中遇到了一些问题 我正在使用一个随机数启动一个计时器 并且我想每秒更新一个带有倒计时的 JLabel 但我还没有弄清楚如何做到这一点 因为计时器触发的唯一监听器是在它的末尾 据我所知 这是代码 int i getTimer ma

  • KB4338830 更新后冻结 Winsock 应用程序

    我们的应用程序在一段时间后突然冻结KB4338830更新 不幸的是 应用程序无法重新启动也无法关闭 我怀疑这一切都是因为我正在使用的winsock 刚刚移植 它是在vb net上编写的 该程序与其他PC的连续发送和接收数据有关 有人遇到过同

  • Visual Studio 2012 XAML 设计器 - 无法添加多个项目

    我是 VS 2012 的新手 每次使用时都会遇到这个问题XAML设计器 每次我向窗口添加一个项目 例如单选按钮 图像 标签 时 它都会删除前一个项目 结果 我的窗口中只能有一项 我知道这是荒谬的 我错过了什么 这是窗口的xaml

  • 如何垂直对齐 div 中的文本？

    我正在尝试找到将文本与 div 对齐的最有效方法 我尝试了一些方法 但似乎都不起作用 testimonialText position absolute left 15px top 15px width 150px height 309px

  • 如何使用 python Tkinter 隐藏 Windows 控制台？

    我尝试将 py 文件重命名为 pyw 但用 py2exe 编译并没有什么区别 我尝试使用 root withdraw 但它所做的只是冻结应用程序 防止弹出初始画布 并且无论如何都无法删除命令提示符窗口 有没有人有办法解决吗 我的根是 根 T

  • LINQ to Entities 不支持“日期”。仅支持初始值设定项、实体成员和实体导航属性

    我正在尝试执行以下代码并收到错误 public List

  • 有没有办法更改FixedLenNullInSource 和TrimTrailingBlanks 的值？

    有没有办法改变值FixedLenNullInSource and TrimTrailingBlanks I use sp help比较不同服务器的输出以查看表是否相同 FixedLenNullInSource and TrimTrailin

  • 在 imageview 中显示来自 Intent 的 jpg 图像

    如何显示从 android intent action SEND in an imageview 用户从应用程序列表中选择我的应用程序来共享图像 图像是sent via intent我的活动打开了 但如何在图像视图中使用此图像 using

  • istio-proxy 访问日志是什么意思？

    我试图通过查看 istio proxy 访问日志 它记录每次访问 来对我的服务进行故障排除 但是 我找不到任何解释日志中每个条目含义的文档 例如 2018 12 20T11 09 42 302Z GET HTTP 1 1 200 0 614

  • C# 嵌套类序列化

    我正在尝试序列化订单的虚拟集合 其中每个订单都包含一个产品 该集合序列化良好 但订单内的示例产品属性被遗漏 订单领取 XmlRoot Orders public class OrderCollection ICollection

  • 上传文件抛出无方法签名异常（在 getFile() 方法中）

    我正在尝试上传文件并将其存储在文件中 这是 GSP 中的代码

  • 当轴标签分成多条线时会偏离中心

    我在用graph twoway scatter并添加我自己的ylabels 我经常有很长的标签并将它们分成多行 然而当我想要破解的时候却遇到了问题some标签超过两行 但不超过两行 当我这样做时 单行标签相对于它们的中心是偏离的tick标记

  • Laravel 如何使用 Eloquent 获取对象的行号？

    我想根据用户的创建日期了解用户的位置 我该如何使用 Eloquent 来做到这一点 我希望能够做这样的事情 User getRowNumber user obj 我想你想要 MySQL 解决方案 所以你可以这样做 DB statement

  • 选定的项目数据从表格到 ZK 中的文本框

    我正在开发一个小型 Web 应用程序 用于存储医院患者的数据 以便更多地了解 zk 及其令人惊叹的功能 这次我的目标是 当我选择一行 复选标记 时 我想将该行的数据 红色 获取到相应的文本框 蓝色 当我选择表的任何行时 这将起作用 也许这是

  • Python - CSV：具有不同长度行的大文件

    简而言之 我有一个 20 000 000 行的 csv 文件 它具有不同的行长度 这是由于陈旧的数据记录器和专有格式造成的 我们得到以下格式的最终 结果作为 csv 文件 我的目标是将此文件插入到 postgres 数据库中 我怎样才能做到

热门标签