如何有效地查找 PySpark 数据框中每列的 Null 和 Nan 值的计数？

import numpy as np

data = [
    (1, 1, None), 
    (1, 2, float(5)), 
    (1, 3, np.nan), 
    (1, 4, None), 
    (1, 5, float(10)), 
    (1, 6, float("nan")), 
    (1, 6, float("nan")),
]
df = spark.createDataFrame(data, ("session", "timestamp1", "id2"))

预期产出

每列包含 nan/null 计数的数据框

Note:我在堆栈溢出中发现的先前问题仅检查 null 而不是 nan。 这就是为什么我创建了一个新问题。

我知道我可以使用isnull()Spark 中的函数可查找 Spark 列中 Null 值的数量，但如何查找 Spark 数据框中的 Nan 值？

您可以使用所示的方法here并替换isNull with isnan:

from pyspark.sql.functions import isnan, when, count, col

df.select([count(when(isnan(c), c)).alias(c) for c in df.columns]).show()
+-------+----------+---+
|session|timestamp1|id2|
+-------+----------+---+
|      0|         0|  3|
+-------+----------+---+

or

df.select([count(when(isnan(c) | col(c).isNull(), c)).alias(c) for c in df.columns]).show()
+-------+----------+---+
|session|timestamp1|id2|
+-------+----------+---+
|      0|         0|  5|
+-------+----------+---+