用 Pandas 识别连续的 NaN

我正在阅读一堆 CSV 文件（一段时间内水位的测量数据），以便对它们进行各种分析和可视化。

由于各种我无法控制的原因，这些时间序列经常会有数据缺失，所以我做了两件事：

我把它们合计起来

Rlength = len(RainD)   # Counts everything, including NaN
Rcount = RainD.count() # Counts only valid numbers
NaN_Number = Rlength - Rcount

如果丢失的数据多于某个阈值，则丢弃数据集：

Percent_Data = Rlength/100
Five_Percent = Percent_Data*5
if NaN_Number > Five_Percent:
    ...

如果 NaN 的数量足够小，我想用

RainD.level = RainD.level.fillna(method='pad', limit=2)

现在的问题是：这是月度数据，所以如果我有两个以上的连续 NaN，我也想丢弃这些数据，因为这意味着我“猜测”整个赛季，甚至更多。

The 的文档fillna http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.fillna.html#pandas.DataFrame.fillna并没有真正提到当连续 NaN 数量多于我指定的数量时会发生什么limit=2，但是当我看着RainD.describe()之前和之后...fillna...并将其与基本 CSV 进行比较，很明显，它填充了前两个 NaN，然后​​将其余部分保持原样，而不是出错。

所以，长话短说：

如何使用 Pandas 识别多个连续的 NaN，而不需要一些复杂且耗时的非 Pandas 循环？

您可以使用多个布尔条件来测试当前值和先前值是否相同NaN:

In [3]:

df = pd.DataFrame({'a':[1,3,np.NaN, np.NaN, 4, np.NaN, 6,7,8]})
df
Out[3]:
    a
0   1
1   3
2 NaN
3 NaN
4   4
5 NaN
6   6
7   7
8   8
In [6]:

df[(df.a.isnull()) & (df.a.shift().isnull())]
Out[6]:
    a
3 NaN

如果你想找到连续的地方NaNs当您正在寻找超过 2 个时，您可以执行以下操作：

In [38]:

df = pd.DataFrame({'a':[1,2,np.NaN, np.NaN, np.NaN, 6,7,8,9,10,np.NaN,np.NaN,13,14]})
df
Out[38]:
     a
0    1
1    2
2  NaN
3  NaN
4  NaN
5    6
6    7
7    8
8    9
9   10
10 NaN
11 NaN
12  13
13  14

In [41]:

df.a.isnull().astype(int).groupby(df.a.notnull().astype(int).cumsum()).sum()
Out[41]:
a
1    0
2    3
3    0
4    0
5    0
6    0
7    2
8    0
9    0
Name: a, dtype: int32