将多个 csv 文件合并为一个 csv 文件

2024-01-12

我正在尝试将多个 csv 文件合并为一个,并尝试了多种方法,但我很挣扎。

我从多个 csv 文件导入数据,当我将它们一起编译成一个 csv 文件时,似乎前几行填充得很好,但随后它开始在行之间随机输入可变数量的空格,并且它永远不会填写完合并的 csv 文件后,它似乎只是不断地添加信息,这对我来说没有意义,因为我正在尝试编译有限数量的数据。

我已经尝试为文件编写关闭语句,但仍然得到相同的结果,我指定的组合 csv 文件永远不会停止获取数据,并且它将在整个文件中随机间隔数据 - 我只想要一个正常编译的 csv。

我的代码有错误吗?有什么解释可以解释为什么我的 csv 文件会这样吗?

csv_file_list = glob.glob(Dir + '/*.csv') #returns the file list
print (csv_file_list)
with open(Avg_Dir + '.csv','w') as f:
    wf = csv.writer(f, delimiter = ',')
    print (f)
    for files in csv_file_list:
        rd = csv.reader(open(files,'r'),delimiter = ',')
        for row in rd:
            print (row)
            wf.writerow(row)

你的代码对我有用。

或者,您可以按如下方式合并文件:

csv_file_list = glob.glob(Dir + '/*.csv')
with open(Avg_Dir + '.csv','w') as wf:
    for file in csv_file_list:
        with open(file) as rf:
            for line in rf:
                if line.strip(): # if line is not empty
                    if not line.endswith("\n"):
                        line+="\n"
                    wf.write(line)

或者,如果文件不太大,您可以一次读取每个文件。但在这种情况下,所有空行和标题都将被复制:

csv_file_list = glob.glob(Dir + '/*.csv')
with open(Avg_Dir + '.csv','w') as wf:
    for file in csv_file_list:
        with open(file) as rf:
            wf.write(rf.read().strip()+"\n")
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

将多个 csv 文件合并为一个 csv 文件 的相关文章

  • python 中的代表

    我实现了这个简短的示例来尝试演示一个简单的委托模式 我的问题是 这看起来我已经理解了委托吗 class Handler def init self parent None self parent parent def Handle self
  • pydev 调试器:严重警告:此版本的 python 似乎编译不正确(内部生成的文件名不是绝对的)[重复]

    这个问题在这里已经有答案了 通过运行 from sklearn datasets import fetch california housing import pandas as pd pd set option precision 4 m
  • if 语句未命中中的 continue 断点

    在下面的代码中 两者a and b是生成器函数的输出 并且可以评估为None或者有一个值 def testBehaviour self a None b 5 while True if not a or not b continue pri
  • Argparse nargs="+" 正在吃位置参数

    这是我的解析器配置的一小部分 parser add argument infile help The file to be imported type argparse FileType r default sys stdin parser
  • Pandas 数据帧到 numpy 数组 [重复]

    这个问题在这里已经有答案了 我对 Python 很陌生 经验也很少 我已经设法通过复制 粘贴和替换我拥有的数据来使一些代码正常工作 但是我一直在寻找如何从数据框中选择数据 但无法理解这些示例并替换我自己的数据 总体目标 如果有人真的可以帮助
  • 使用 Python pandas 计算调整后的成本基础(股票买入/卖出的投资组合分析)

    我正在尝试对我的交易进行投资组合分析 并尝试计算调整后的成本基础价格 我几乎尝试了一切 但似乎没有任何效果 我能够计算调整后的数量 但无法获得调整后的购买价格有人可以帮忙吗 这是示例交易日志原始数据 import pandas as pd
  • 在Python中调整图像大小

    我有一张尺寸为 288 352 的图像 我想将其大小调整为 160 240 我尝试了以下代码 im imread abc png img im resize 160 240 Image ANTIALIAS 但它给出了一个错误TypeErro
  • 对图像块进行多重处理

    我有一个函数必须循环遍历图像的各个像素并计算一些几何形状 此函数需要很长时间才能运行 在 24 兆像素图像上大约需要 5 小时 但似乎应该很容易在多个内核上并行运行 然而 我一生都找不到一个有据可查 解释充分的例子来使用 Multiproc
  • TensorFlow的./configure在哪里以及如何启用GPU支持?

    在我的 Ubuntu 上安装 TensorFlow 时 我想将 GPU 与 CUDA 结合使用 但我却停在了这一步官方教程 http www tensorflow org get started os setup md 这到底是哪里 con
  • 使用鼻子获取设置中当前测试的名称

    我目前正在使用鼻子编写一些功能测试 我正在测试的库操作目录结构 为了获得可重现的结果 我存储了一个测试目录结构的模板 并在执行测试之前创建该模板的副本 我在测试中执行此操作 setup功能 这确保了我在测试开始时始终具有明确定义的状态 现在
  • Seaborn Pairplot 图例不显示颜色

    我一直在学习如何在Python中使用seaborn和pairplot 这里的一切似乎都工作正常 但由于某种原因 图例不会显示相关的颜色 我无法找到解决方案 因此如果有人有任何建议 请告诉我 x sns pairplot stats2 hue
  • Pandas 根据 diff 列形成簇

    我正在尝试使用 Pandas 根据表示时间 以秒为单位 的列中的差异来消除数据框中的一些接近重复项 例如 import pandas as pd numpy as np df pd DataFrame 1200 1201 1233 1555
  • python Soap zeep模块获取结果

    我从 SOAP API 得到如下结果 client zeep Client wsdl self wsdl transport transport auth header lb E authenticate self login res cl
  • 创建嵌套字典单行

    您好 我有三个列表 我想使用一行创建一个三级嵌套字典 i e l1 a b l2 1 2 3 l3 d e 我想创建以下嵌套字典 nd a 1 d 0 e 0 2 d 0 e 0 3 d 0 e 0 b a 1 d 0 e 0 2 d 0
  • 使用 Firefox 绕过弹出窗口下载文件:Selenium Python

    我正在使用 selenium 和 python 来从中下载某些文件web page http www oceanenergyireland com testfacility corkharbour observations 我之前一直使用设
  • mac osx 10.8 上的初学者 python

    我正在学习编程 并且一直在使用 Ruby 和 ROR 但我觉得我更喜欢 Python 语言来学习编程 虽然我看到了 Ruby 和 Rails 的优点 但我觉得我需要一种更容易学习编程概念的语言 因此是 Python 但是 我似乎找不到适用于
  • 如何在 OSX 上安装 numpy 和 scipy?

    我是 Mac 新手 请耐心等待 我现在使用的是雪豹 10 6 4 我想安装numpy和scipy 所以我从他们的官方网站下载了python2 6 numpy和scipy dmg文件 但是 我在导入 numpy 时遇到问题 Library F
  • 迭代 my_dict.keys() 并修改字典中的值是否会使迭代器失效?

    我的例子是这样的 for my key in my dict keys my dict my key mutate 上述代码的行为是否已定义 假设my dict是一本字典并且mutate是一个改变其对象的方法 我担心的是 改变字典中的值可能
  • 字典和数组作为类变量与实例变量

    这是赚取积分的简单方法 请解释以下内容 class C a b 0 c def init self self x def d self k v self x k v self a k v self b v self c append v d
  • Scrapy Spider不存储状态(持久状态)

    您好 有一个基本的蜘蛛 可以运行以获取给定域上的所有链接 我想确保它保持其状态 以便它可以从离开的位置恢复 我已按照给定的网址进行操作http doc scrapy org en latest topics jobs html http d

随机推荐

  • 如何将 @tailwind CSS 规则添加到 CSS 检查器

    顺风 CSS https tailwindcss com docs what is tailwind adds a tailwind CSS at被标记为未知的规则 我怎样才能避免这个错误 例如 styles css tailwind pr
  • 从 JavaScript 使用 XML WCF REST Web 服务

    我有一个公开 REST WCF 服务的 WPF 应用程序 通过WebServiceHost 合同看起来像这样 简化 ServiceContract public interface IItemServiceContract WebGet U
  • 使用 Grails Spring Security CAS 插件重定向循环

    我正在处理一个涉及 CAS 服务器的项目 该项目使用单点登录 SSO 与其他基于 Spring 的项目一起使用 但我收到了涉及 Grails spring security cas 插件的重定向循环 版本 spring security C
  • 不工作

    我的 Web config 包含以下内容
  • 将 double 转换为 QString

    我正在用 Qt 编写一个程序 我想转换一个double into a QString in C 使用 QString 的 number 方法 文档是here https doc qt io qt 5 qstring html number
  • Spark 读取为 jdbc 将所有行返回为列名

    我正在 Scala 2 12 中使用 Spark 3 x SQL 查询 Spark 的数据库表 我遵循了互联网上给出的示例 我正在使用的数据库 Spark SQL的数据库并使用Centos 7 我正在查询的表 示例 具有以下列 create
  • Json.Net 无法序列化为流,但可以正常序列化为字符串

    在内部 JsonConvert SerializeObject obj Formatting Indented 归结为 JsonSerializer jsonSerializer JsonSerializer Create null Str
  • 如何向 Firebase 验证服务器?

    我有一个在 Firebase 上编写的应用程序 安全规则和客户端代码不足以使我的应用程序正常工作 我需要连接服务器来执行一些任务 清理难以清理的非规范化数据断开连接时 处理程序 https www firebase com docs web
  • 图像未调整大小(仅限默认 Bootstrap 类)

    我正在使用 Bootstrap 3 0 dist 现在正在学习一些 Bootstrap 教程 试图了解它是如何工作的 我所做的一切都完全按照教程中的方式进行 适用于 v2 所以我将类更改为 v3 并且我不使用任何自定义 CSS 或任何内容
  • 包含非 Mavenized 依赖项,以便与 maven-shade-plugin 一起使用

    我想包括G数据客户端 http code google com p gdata java client 它不使用 Maven 作为我的 Maven 项目的依赖项 它以一堆 JAR 文件的形式提供 另外 我用Maven 阴影插件 http m
  • 如何将数据框列转换为序列

    我有一个数据框如下 LABEL TERM 4 inhibitori effect 4 novel therapeut 4 antiinflammator 4 promis approach 4 cell function 4 cell li
  • 使用 Capistrano 3 部署 Rails 应用程序时跳过数据库迁移

    当我们跑步时cap deploy 它在部署期间运行所有迁移 我们必须将应用程序指向现有数据库 并且不想修改现有数据库 有人可以建议我们如何在部署应用程序时跳过迁移步骤吗 我想你正在使用卡皮斯特拉诺 Rails https github co
  • 使用 Node 或 Express 返回 JSON 的正确方法

    因此 我们可以尝试获取以下 JSON 对象 curl i X GET http echo jsontest com key value anotherKey anotherValue HTTP 1 1 200 OK Access Contr
  • Vue 3:为什么我的可组合项不是响应式的?

    我想在另一个可组合项中使用一个可组合项 我的第一个可组合项基本上是 Vuex 的超轻量级版本 import reactive readonly from vue const state reactive settings loading t
  • 在Python中使用“for”计算索引

    我需要在Python中做同样的事情 for i 0 i lt 5 i cout lt lt i 但我不知道如何在Python中使用FOR来获取列表中元素的索引 如果您有一些给定的列表 并且想要迭代其项目and索引 您可以使用enumerat
  • 捕获与量词正则表达式匹配的组

    我是正则表达式世界的新手 我需要捕获一些不同类型的字符串 顺便说一下 请建议更优雅的方式来捕获此类字符串 n 任意正数 不相同 n 0 0 0 0 n n 0 0 0 n n n 0 0 n n n n 0 n n n n n 我尝试使用这
  • 从剪贴板上传图片到服务器

    我寻找解决方案很长时间 但找不到任何解决方案 是否有可能将图片从剪贴板上传到服务器上的文件 通过按 ctrl v 它可以适用于 Chrome 使用 PHP Javascript jquery 或者其他什么 一些 Chrome 的外部扩展 多
  • cucumber.js 并且不是一个函数

    我正在练习使用 cucumber js 通过 BDD 编写一些单元测试 当我尝试使用 And 语句时 该错误表明 TypeError And is not a function 这是我的代码 feature Feature dataTabl
  • 从 XML 文件获取子节点

    我有一个如下所示的 XML 文件
  • 将多个 csv 文件合并为一个 csv 文件

    我正在尝试将多个 csv 文件合并为一个 并尝试了多种方法 但我很挣扎 我从多个 csv 文件导入数据 当我将它们一起编译成一个 csv 文件时 似乎前几行填充得很好 但随后它开始在行之间随机输入可变数量的空格 并且它永远不会填写完合并的