如何计算前 3 个值的窗口大小的美元滚动中位数?
输入数据
dollars timestampGMT
25 2017-03-18 11:27:18
17 2017-03-18 11:27:19
13 2017-03-18 11:27:20
27 2017-03-18 11:27:21
13 2017-03-18 11:27:22
43 2017-03-18 11:27:23
12 2017-03-18 11:27:24
预期输出数据
dollars timestampGMT rolling_median_dollar
25 2017-03-18 11:27:18 median(25)
17 2017-03-18 11:27:19 median(17,25)
13 2017-03-18 11:27:20 median(13,17,25)
27 2017-03-18 11:27:21 median(27,13,17)
13 2017-03-18 11:27:22 median(13,27,13)
43 2017-03-18 11:27:23 median(43,13,27)
12 2017-03-18 11:27:24 median(12,43,13)
下面的代码确实移动了 avg 但 PySpark 没有 F.median()。
pyspark:使用时间序列数据的滚动平均值 https://stackoverflow.com/questions/45806194/pyspark-rolling-average-using-timeseries-data
编辑1:挑战是median()函数不退出。我不能做
df = df.withColumn('rolling_average', F.median("dollars").over(w))
如果我想要移动平均线我可以这样做
df = df.withColumn('rolling_average', F.avg("dollars").over(w))
编辑2:尝试使用approxQuantile()
windfun = Window().partitionBy().orderBy(F.col(date_column)).rowsBetween(-3, 0) sdf.withColumn("movingMedian", sdf.approxQuantile(col='a', probabilities=[0.5], relativeError=0.00001).over(windfun))
但出现错误
AttributeError: 'list' object has no attribute 'over'
EDIT 3
请给出没有 Udf 的解决方案,因为它不会从催化剂优化中受益。