检查一个列表是否是 pandas Dataframe 中另一个列表的子集

所以，我有这个包含近 3000 行的 Dataframe，看起来像这样：

        CITIES
0       ['A','B']
1       ['A','B','C','D']
2       ['A','B','C']
4       ['X']
5       ['X','Y','Z']
...     ...
2670    ['Y','Z']

我想从 DF 中删除“CITIES”列表包含在另一行中的所有行（顺序无关紧要），在上面的示例中，我想删除 0 和 2，因为两者都包含在 1 中，并且还删除了 4 和 2670，因为两者都包含在内，我尝试了一些东西，它有点工作，但它真的很愚蠢，花了将近 10 分钟来计算，就是这样：

indexesToRemove=[]
for index, row in entrada.iterrows():
    citiesListFixed=row['CITIES']
    for index2, row2 in entrada.iloc[index+1:].iterrows():
        citiesListCurrent=row2['CITIES']
        if set(citiesListFixed) <= set(citiesListCurrent):
            indexesToRemove.append(index)
            break

有没有更有效的方法来做到这一点？

首先创建虚拟数据帧，然后我们可以使用矩阵乘法来查看其中一行是否是另一行的完整子集，方法是检查与另一行的乘法总和是否等于该行中的元素数量。 （这会是一个内存密集型）

import pandas as pd
import numpy as np

df = pd.DataFrame({'Cities': [['A','B'], ['A','B','C','D'], ['A','B','C'],
                              ['X'], ['X','Y','Z'], ['Y','Z']]})    

arr = pd.get_dummies(df['Cities'].explode()).max(level=0).to_numpy()
#[[1 1 0 0 0 0 0]
# [1 1 1 1 0 0 0]
# [1 1 1 0 0 0 0]
# [0 0 0 0 1 0 0]
# [0 0 0 0 1 1 1]
# [0 0 0 0 0 1 1]]

subsets = np.matmul(arr, arr.T)
np.fill_diagonal(subsets, 0)  # So same row doesn't exclude itself

mask = ~np.equal(subsets, np.sum(arr, 1)).any(0)

df[mask]
#         Cities
#1  [A, B, C, D]
#4     [X, Y, Z]

就目前情况而言，如果您有两行与最长子集相连（即两行['A','B','C','D']）两者都被丢弃。如果这不是你想要的，你可以先drop_duplicates on 'Cities'（需要转换为可散列类型，例如frozenset），然后应用上述内容。