Pandas 用 NaN 描述 vs scipy.stats percentileofscore？

我遇到了一个奇怪的情况，pd.describe 给我的百分位数标记与 scipy.stats percentileofscore 不一致，我认为是因为 NaN。

我的 df 是：

      f_recommend
0     3.857143
1     4.500000
2     4.458333
3          NaN
4     3.600000
5          NaN
6     4.285714
7     3.587065
8     4.200000
9          NaN

当我跑步时df.describe(percentiles=[.25, .5, .75]) I get:

       f_recommend
count     7.000000
mean      4.069751
std       0.386990
min       3.587065
25%       3.728571
50%       4.200000
75%       4.372024
max       4.500000

当我删除 NaN 运行时，我得到相同的值。

但是，当我想查找特定值时，当我运行时scipy.stats.percentileofscore(df['f_recommend'], 3.61, kind = 'mean')我得到：有 NaN 的第 28 个百分位，没有 NaN 的第 20 个百分位。

有什么想法可以解释这种差异吗？

ETA:

我不认为问题在于我们计算百分位数的方式不同。因为只有当您以不同的方式计算相同的两个数字的百分位数时，这才重要。但在这里，describe 给出的 25 个百分位为 3.72。所以 3.61 绝对不可能是第 28 个百分位。没有一个公式可以给出这一点。

特别是，当我对不带 NaN 的 6 个值使用描述时，我得到相同的值，因此忽略 NaN，这很好。但是当我在没有 NaN 的情况下运行分数百分位时，我得到一个不匹配的数字。

ETA 2:

更简单的例子：

In [48]: d = pd.DataFrame([1,2,3,4,5,6,7])

In [49]: d.describe()
Out[49]: 
              0
count  7.000000
mean   4.000000
std    2.160247
min    1.000000
25%    2.500000
50%    4.000000
75%    5.500000
max    7.000000

In [50]: sp.stats.percentileofscore(d[0], 2.1, kind = 'mean')
Out[50]: 28.571428571428573

“kind”参数并不重要，因为 2.1 是唯一的。

scipy.stats.percentileofscore不忽略nan，也不检查该值并以某种特殊方式处理它。它只是数据中的另一个浮点值。这意味着行为percentileofscore数据包含nan是未定义的，因为nan比较中：

In [44]: np.nan > 0
Out[44]: False

In [45]: np.nan < 0
Out[45]: False

In [46]: np.nan == 0
Out[46]: False

In [47]: np.nan == np.nan
Out[47]: False

这些结果都是正确的——就是这样nan应该表现得好。但这意味着，为了知道如何percentileofscore把手nan，你必须知道代码是如何进行比较的。这是您不必知道的实现细节，并且您不能依赖它在 scipy 的未来版本中相同。

如果您调查以下行为percentfileofscore，你会发现它的行为就像nan是无限的。例如，如果您替换nan如果值大于输入中的任何其他值，您将得到相同的结果：

In [53]: percentileofscore([10, 20, 25, 30, np.nan, np.nan], 18)
Out[53]: 16.666666666666664

In [54]: percentileofscore([10, 20, 25, 30, 999, 999], 18)
Out[54]: 16.666666666666664

不幸的是，您不能依赖这种行为。如果将来实施方式发生变化，nan最终可能表现得像负无穷大，或者有一些其他未指定的行为。

解决这个“问题”的办法很简单：不给percentileofscore any nan价值观。您必须先清理数据。请注意，这可以很简单：

result = percentileofscore(a[~np.isnan(a)], score)