如何从 pandas DataFrame 中选择具有一个或多个空值的行而不显式列出列?

2023-11-22

我有一个包含约 30 万行和约 40 列的数据框。 我想找出是否有任何行包含空值 - 并将这些“空”行放入单独的数据框中,以便我可以轻松地探索它们。

我可以显式创建一个掩码:

mask = False
for col in df.columns: 
    mask = mask | df[col].isnull()
dfnulls = df[mask]

或者我可以做类似的事情:

df.ix[df.index[(df.T == np.nan).sum() > 1]]

有没有更优雅的方法(定位其中包含空值的行)?


[更新以适应现代pandas, 其中有isnull作为一种方法DataFrames..]

您可以使用isnull and any构建一个布尔系列并使用它来索引到您的框架中:

>>> df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])
>>> df.isnull()
       0      1      2
0  False  False  False
1  False   True  False
2  False  False   True
3  False  False  False
4  False  False  False
>>> df.isnull().any(axis=1)
0    False
1     True
2     True
3    False
4    False
dtype: bool
>>> df[df.isnull().any(axis=1)]
   0   1   2
1  0 NaN   0
2  0   0 NaN

[对于年龄较大的pandas:]

你可以使用该功能isnull而不是方法:

In [56]: df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])

In [57]: df
Out[57]: 
   0   1   2
0  0   1   2
1  0 NaN   0
2  0   0 NaN
3  0   1   2
4  0   1   2

In [58]: pd.isnull(df)
Out[58]: 
       0      1      2
0  False  False  False
1  False   True  False
2  False  False   True
3  False  False  False
4  False  False  False

In [59]: pd.isnull(df).any(axis=1)
Out[59]: 
0    False
1     True
2     True
3    False
4    False

导致相当紧凑:

In [60]: df[pd.isnull(df).any(axis=1)]
Out[60]: 
   0   1   2
1  0 NaN   0
2  0   0 NaN
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何从 pandas DataFrame 中选择具有一个或多个空值的行而不显式列出列? 的相关文章

随机推荐