如果值匹配，则自动比较 2 个 csv 文件的值，将第二个 csv 读入 DataFrame

我已将 Excel 导入到数据框中。它看起来像这样：

然后我使用代码根据“tx_id”对这些数据进行分组，并使用 tx_id 的名称创建单独的 csv，这给了我这样的数据（3e6737ae-c3af-4d19-a645-d17fc73dbb7c.csv）。这是代码：

for i, g in dframe.groupby('tx_id'):
     g.to_csv('{}.csv'.format(i.split('/')[0]), index=False)

然后我创建了一个仅包含 tx_id 的单独 dframe，然后使用以下代码删除了重复项：

dframe1 = dframe1.drop_duplicates()

现在我的数据框看起来像这样：

我已将此数据框转换为 csv。现在我想将 csv 文件的名称（即 tx_id 值）与新创建的 csv 中存在的数据进行比较，如果名称匹配，我想将 csv 文件（即 tx_id 值）读入数据框。我曾经手动导入这些 csv 文件，但我有一个很大的数据集，每次读取数据并对其进行进一步处理是不可行的。现在我正在做的是将 csv 文件单独导入到数据框中。我正在使用这段代码：

df = pd.read_csv(' ae229a81-bb33-4cf1-ba2f-360fffb0d94b.csv')

这给了我这样的结果：

然后我使用以下代码将其拆开并应用 value_counts：

df1 = df.groupby('rule_id')['request_id'].value_counts().unstack().fillna(0)

最终结果看起来像这样：

我想自动化这个过程，但我不知道如何做。你们能帮我吗？

你可以迭代你的tx_id并将数据帧附加到list:

import pandas as pd

dfs = []
for tx in dframe1['tx_id']:
    dfs.append(pd.read_csv('%s.csv' % tx))

仅当它在与 csv 文件相同的目录中执行时才有效。否则：

import os
import pandas

dfs = []

for tx in dframe1['tx_id']:
    dfs.append(pd.read_csv(os.path.join('/path/to/csv/', '%s.csv' % tx)))

Editted

如果您想应用一些功能，而不是直接附加数据框：

for tx in dframe1['tx_id']:
    df = pd.read_csv(os.path.join('/path/to/csv/', '%s.csv' % tx))
    dfs.append(df.groupby('rule_id')['request_id'].value_counts().unstack().fillna(0))

现在你的dfs拥有所有value_counts()结果。您可以使用索引来引用它们。

如果您想使用文件名查找它们，请使用dict:

df_dict = dict()
for tx in dframe1['tx_id']:
    df = pd.read_csv(os.path.join('/path/to/csv/', '%s.csv' % tx))
    df_dict[tx] = df.groupby('rule_id')['request_id'].value_counts().unstack().fillna(0)