pandas Series.tolist() 中的 NaN 与 list 中的 NaN 的行为不同

Why does

>> import pandas as pd
>> import numpy as np

>> list(pd.Series([np.nan, np.nan, 2, np.nan, 2])) == [np.nan, np.nan, 2, np.nan, 2]

return False？我得到相同的结果pd.Series([np.nan, np.nan, 2, np.nan, 2]).tolist()。我试图通过以下函数来计算 pandas groupby 对象（基本上是 pandas Series）中最常见的元素

def get_most_common(srs):
    """
    Returns the most common value in a list. For ties, it returns whatever
    value collections.Counter.most_common(1) gives.
    """
    from collections import Counter

    x = list(srs)
    my_counter = Counter(x)
    most_common_value = my_counter.most_common(1)[0][0]

    return most_common_value

刚刚意识到即使我有一个步骤，我也会得到多个 NaN 的错误计数x = list(srs).

编辑： 只是为了澄清为什么这对我来说是一个问题：

>>> from collections import Counter
>>> Counter(pd.Series([np.nan, np.nan, np.nan, 2, 2, 1, 5]).tolist())
Counter({nan: 1, nan: 1, nan: 1, 2.0: 2, 1.0: 1, 5.0: 1}) # each nan is counted differently
>>> Counter([np.nan, np.nan, np.nan, 2, 2, 1, 5])
Counter({nan: 3, 2: 2, 1: 1, 5: 1}) # nan count of 3 is correct

正如@emilaz 已经指出的那样，根本问题是nan != nan在所有情况下。然而，对象引用才是您观察中最重要的。

观察以下对象引用list and pd.Series:

>>> s = pd.Series([np.nan, np.nan, np.nan, 2, 2, 1, 5])
>>> s.apply(id)
0    149706480
1    202463472
2    202462336
3    149706912
4    149706288
5    149708784
6    149707200
dtype: int64

>>> l = [np.nan, np.nan, np.nan, 2, 2, 1, 5]
>>> list(map(id, l))
[68634768, 68634768, 68634768, 1389126848, 1389126848, 1389126832, 1389126896]

The np.nan对象与导入的对象共享相同的引用np.nan对象在list，而为每个创建一个新的引用Series（这对于pandas usage).

因此答案不是比较nan以这样的方式。pandas有自己的应对方式nan，因此根据您的实际活动，可能有一个更简单的答案（例如df.groupby('some col').count()）比你想象的要多。