将文件夹的多个 csv 文件加载到一个数据框中

2024-03-08

我有多个 csv 文件保存在一个具有相同列布局的文件夹中,并希望将其作为 pandas 中的数据框加载到 python 中。

这个问题确实与此类似thread. https://stackoverflow.com/questions/38330524/speed-up-the-process-of-import-multiple-csv-into-python-dataframe

我正在使用以下代码:

import glob
import pandas as pd
salesdata = pd.DataFrame()
for f in glob.glob("TransactionData\Promorelevant\*.csv"):
    appenddata = pd.read_csv(f, header=None, sep=";")
    salesdata = salesdata.append(appenddata,ignore_index=True)

是否有更好的解决方案与另一个包?

这需要很多时间。

Thanks


我建议使用列表理解concat http://pandas.pydata.org/pandas-docs/stable/generated/pandas.concat.html:

import glob
import pandas as pd

files = glob.glob("TransactionData\Promorelevant*.csv")
dfs = [pd.read_csv(f, header=None, sep=";") for f in files]

salesdata = pd.concat(dfs,ignore_index=True)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

将文件夹的多个 csv 文件加载到一个数据框中 的相关文章

  • 安装了 32 位的 Python,显示为 64 位

    我需要运行 32 位版本的 Python 我认为这就是我在我的机器上运行的 因为这是我下载的安装程序 当我重新运行安装程序时 它会将当前安装的 Python 版本称为 Python 3 5 32 位 然而当我跑步时platform arch
  • Python getstatusoutput 替换不返回完整输出

    我发现了这个很棒的替代品getstatusoutput Python 2 中的函数在 Unix 和 Windows 上同样有效 不过我觉得这个方法有问题output被构建 它只返回输出的最后一行 但我不明白为什么 任何帮助都是极好的 def
  • 需要在python中找到print或printf的源代码[关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我正在做一些我不能完全谈论的事情 我
  • 使用 Python 从文本中删除非英语单词

    我正在 python 上进行数据清理练习 我正在清理的文本包含我想删除的意大利语单词 我一直在网上搜索是否可以使用像 nltk 这样的工具包在 Python 上执行此操作 例如给出一些文本 Io andiamo to the beach w
  • 跟踪 pypi 依赖项 - 谁在使用我的包

    无论如何 是否可以通过 pip 或 PyPi 来识别哪些项目 在 Pypi 上发布 可能正在使用我的包 也在 PyPi 上发布 我想确定每个包的用户群以及可能尝试积极与他们互动 预先感谢您的任何答案 即使我想做的事情是不可能的 这实际上是不
  • 使用 kivy textinput 的 'input_type' 属性的问题

    您好 我在使用 kivy 的文本输入小部件的 input type 属性时遇到问题 问题是我制作了两个自定义文本输入 其中一个称为 StrText 其中设置了 input type text 然后是第二个文本输入 名为 NumText 其
  • 立体太阳图 matplotlib 极坐标图 python

    我正在尝试创建一个与以下类似的简单的立体太阳路径图 http wiki naturalfrequent com wiki Sun Path Diagram http wiki naturalfrequency com wiki Sun Pa
  • 为什么 PyYAML 花费这么多时间来解析 YAML 文件?

    我正在解析一个大约 6500 行的 YAML 文件 格式如下 foo1 bar1 blah name john age 123 metadata whatever1 whatever whatever2 whatever stuff thi
  • Python 2:SMTPServerDisconnected:连接意外关闭

    我在用 Python 发送电子邮件时遇到一个小问题 me my email address you recipient s email address me email protected cdn cgi l email protectio
  • Python,将函数的输出重定向到文件中

    我正在尝试将函数的输出存储到Python中的文件中 我想做的是这样的 def test print This is a Test file open Log a file write test file close 但是当我这样做时 我收到
  • Docker 中的 Python 日志记录

    我正在 Ubuntu Web 服务器上的 Docker 容器中测试运行 python 脚本 我正在尝试查找由 Python Logger 模块生成的日志文件 下面是我的Python脚本 import time import logging
  • 在 Sphinx 文档中*仅*显示文档字符串?

    Sphinx有一个功能叫做automethod从方法的文档字符串中提取文档并将其嵌入到文档中 但它不仅嵌入了文档字符串 还嵌入了方法签名 名称 参数 我如何嵌入only文档字符串 不包括方法签名 ref http www sphinx do
  • 如何使用 pybrain 黑盒优化训练神经网络来处理监督数据集?

    我玩了一下 pybrain 了解如何生成具有自定义架构的神经网络 并使用反向传播算法将它们训练为监督数据集 然而 我对优化算法以及任务 学习代理和环境的概念感到困惑 例如 我将如何实现一个神经网络 例如 1 以使用 pybrain 遗传算法
  • Cython 和类的构造函数

    我对 Cython 使用默认构造函数有疑问 我的 C 类 Node 如下 Node h class Node public Node std cerr lt lt calling no arg constructor lt lt std e
  • javascript 是否有等效的 __repr__ ?

    我最接近Python的东西repr这是 function User name password this name name this password password User prototype toString function r
  • 如何使用原始 SQL 查询实现搜索功能

    我正在创建一个由 CS50 的网络系列指导的应用程序 这要求我仅使用原始 SQL 查询而不是 ORM 我正在尝试创建一个搜索功能 用户可以在其中查找存储在数据库中的书籍列表 我希望他们能够查询 书籍 表中的 ISBN 标题 作者列 目前 它
  • 如何在 Windows 命令行中使用参数运行 Python 脚本

    这是我的蟒蛇hello py script def hello a b print hello and that s your sum sum a b print sum import sys if name main hello sys
  • 为什么 Pickle 协议 4 中的 Pickle 文件是协议 3 中的两倍,而速度却没有任何提升?

    我正在测试 Python 3 4 我注意到 pickle 模块有一个新协议 因此 我对 2 个协议进行了基准测试 def test1 pickle3 open pickle3 wb for i in range 1000000 pickle
  • 模拟pytest中的异常终止

    我的多线程应用程序遇到了一个错误 主线程的任何异常终止 例如 未捕获的异常或某些信号 都会导致其他线程之一死锁 并阻止进程干净退出 我解决了这个问题 但我想添加一个测试来防止回归 但是 我不知道如何在 pytest 中模拟异常终止 如果我只
  • 如何计算Python中字典中最常见的前10个值

    我对 python 和一般编程都很陌生 所以请友善 我正在尝试分析包含音乐信息的 csv 文件并返回最常听的前 n 个乐队 从下面的代码中 每听一首歌曲都是一个列表中的字典条目 格式如下 album Exile on Main Street

随机推荐

  • 如何检查 MongoDB 中是否存在密钥

    我正在尝试检查 MongoDB 集合中是否存在某个键 基本上 我需要将字符串数组映射到特定的键 如果该键存在 我想通过添加新值来更新列表 否则创建一个具有初始值的新键 如果添加新键 则最初只会添加 1 个值 我在网上找到了一些例子 尽管我无
  • Pandas 系列到字典的矢量化查找

    问题陈述 pandas 数据框列系列 same group需要根据两个现有列的值从布尔值创建 row and col 如果行中的两个单元格在字典中具有相似的值 相交值 则该行需要显示 Truememberships 否则为 False 无相
  • Prolog 中的否定作为失败是一种程序行为吗?

    我有一个关于否定即失败在 Prolog 语言中 这是一个理论性多于实践性的问题 因为我清楚这个例子是如何工作的 所以我有以下 Prolog 程序 Fatti che specificano quali esseri sono degli a
  • NFCISO15693Tag 自定义命令“缺少所需的权利”

    在iOS13测试版中 当我尝试使用 NFCISO15693Tag api 时customCommandWithRequestFlag customCommandCode customRequestParameters completionH
  • 如何在 Angular Material 中固定垫选择面板的位置

    我有一个使用 Angular Material 组件的项目 我想自定义 mat select 我想实现选择输入 其中 mat select panel 看起来像本机 html 选择中的下拉菜单 我仅使用 CSS 样式就取得了很好的效果 但有
  • Bootbox.confirm可以同步工作吗?

    在aspx页面中 有一个像这样的asp linkbutton
  • 是否可以编写一个 Rust 宏“has_trait!(,|)”?

    我想匹配 例如一个ident的类型来实现某种特征 我该怎么做 这是 不完整 代码的基本思想 macro rules has trait t ty x ident gt fn trait test let a vec 1 2 3 let b
  • 如何从Python中的请求模块中完全删除任何日志记录

    如何从 Python 中的 requests 模块中完全删除任何日志记录 我什至不需要设置 临界 级别 像这样 import logging requests log logging getLogger requests requests
  • 如何使用一个查询获取包含子列表的列表?

    我想打印数据库表中的项目列表 并与每个项目一起打印一个相关子项目的小列表 最多 10 个项目 例如 我有这两个表 ITEMS id integer name string SUBITEMS id integer name string it
  • 如何输出带双引号的字符串?

    我需要输出一个字符串 它基本上是一个java代码 我有这样的事情 web if url contains mp4 我需要单引号 将是双引号 而不是在 html 代码中 有可能做到吗 new str str replace web 您可以选择
  • 防止其他人强制推送到我的 Git 存储库

    有没有办法阻止除了我之外的任何人强制推送到我的 Git 存储库之一 特别是在 Github 中 据我了解 受保护的分支可以完全防止强制推送 但只要我是这样做的人就可以了 每当 GitHub 存储库出现保护问题时 最可靠的强制执行方法就是拥有
  • 如果 CDN 失败,jquery-tools 会回退

    如果 Google 的 CDN 失败 我将使用 来回退并在本地提供 jquery 如下这个线程 https stackoverflow com questions 1014203 best way to use googles hosted
  • 基于容器元素在 AngularJS 指令内自动调整 SVG 大小

    我将一个角度指令放置在动态大小的元素内 该指令本身由一个基于元素大小计算的 SVG 组成 我正在尝试使 SVG 根据容器的大小自动调整大小和重绘 我最初尝试过这样的事情 我的指令 js angular module myModule dir
  • “foreach”是否会导致 Linq 重复执行?

    我第一次使用 NET 中的实体框架 并且一直在编写 LINQ 查询以便从我的模型中获取信息 我想从一开始就养成良好的编程习惯 因此我一直在研究编写这些查询并获取结果的最佳方法 不幸的是 在浏览 Stack Exchange 时 我似乎遇到了
  • 从 Geany 运行 Node.js 服务器

    一个简单的问题 是否可以配置 Geany IDE 以便可以使用 运行 按钮直接从 Geany 运行 Node js 服务器 当在 JS 文件中时 转到Build gt Set Build Commands 应该有一个章节标题Execute
  • KnockoutJS:如何将一个 observableArray 添加到另一个 observableArray?

    我想将选择元素中的选定选项添加到绑定表中 视图模型具有 addItem 函数 该函数使用 ko utils arrayPushAll 将 selectedItems 数组添加到 linkedItems 数组中 但是当我单击 添加 按钮 调用
  • 按字母顺序对对象数组进行排序

    我正在尝试按字母顺序对对象数组进行排序 为了使事情简单 我使用下面的示例 在我的打字稿中 我通过拼接来插入和删除数组对象中的项目 Array cars id 1 items name car1 description this is car
  • 如何使用 Rijndael 在 iOS 中加密 C# 中的解密字符串

    我正在尝试使用 Objective C 和 C 加密和解密字符串 两者在本机代码中都工作正常 但是当我尝试解密 C 中的字符串时 它在 iOS 中被加密 我收到一些错误 这是我在目标c中使用的代码 NSData AES256EncryptW
  • javascript 在 onload 中选择文本区域中的文本

    使用 JavaScript 加载页面时 如何自动选择文本区域中的文本 JSFiddle 演示 http jsfiddle net kjy112 V85mC 你可以这样做 HTML
  • 将文件夹的多个 csv 文件加载到一个数据框中

    我有多个 csv 文件保存在一个具有相同列布局的文件夹中 并希望将其作为 pandas 中的数据框加载到 python 中 这个问题确实与此类似thread https stackoverflow com questions 3833052