如何使用列的平均值将列添加到 DataFrame

有没有更好的办法？

val mean = df.select(avg("date")).first().getDouble(0)
df.withColumn("mean", lit(mean))

我认为避免采取行动是值得的……

可以使用以下方法避免额外的操作broadcast具有叉积：

import org.apache.spark.sql.functions.broadcast

df.crossJoin(broadcast(df.agg(avg("date"))))

or:

spark.conf.set("spark.sql.crossJoin.enabled", true)

df.join(broadcast(df.agg(avg("date"))))

你什么不应该做正在使用窗口函数：

df.withColumn("avg", avg("date").over())