Pyspark - 如何回填 DataFrame？

你怎么能做同样的事情df.fillna(method='bfill')对于带有 a 的 pandas 数据框pyspark.sql.DataFrame?

pyspark 数据框具有pyspark.sql.DataFrame.fillna方法，但是不支持method范围。

在 pandas 中，您可以使用以下内容来回填时间序列：

创建数据

import pandas as pd

index = pd.date_range('2017-01-01', '2017-01-05')
data = [1, 2, 3, None, 5]

df = pd.DataFrame({'data': data}, index=index)

Giving

Out[1]:
            data
2017-01-01  1.0
2017-01-02  2.0
2017-01-03  3.0
2017-01-04  NaN
2017-01-05  5.0

回填数据框

df = df.fillna(method='bfill')

生成回填框架

Out[2]:
            data
2017-01-01  1.0
2017-01-02  2.0
2017-01-03  3.0
2017-01-04  5.0
2017-01-05  5.0

如何才能为一个人做同样的事情呢？pyspark.sql.DataFrame?

The last and first函数，以及它们的ignorenulls=True标志，可以与rowsBetween开窗。如果我们想向后填充，我们选择当前行和末尾之间的第一个非空值。如果我们想向前填充，我们选择起始行和当前行之间的最后一个非空值。

from pyspark.sql import functions as F
from pyspark.sql.window import Window as W
import sys

df.withColumn(
  'data',
  F.first(
    F.col('data'),
    ignorenulls=True
  ) \
    .over(
      W.orderBy('date').rowsBetween(0, sys.maxsize)
    )
  )

填充火花的来源：https://towardsdatascience.com/end-to-end-time-series-interpolation-in-pyspark-filling-the-gap-5ccefc6b7fc9