我正在尝试找出在 Spark 数据帧列中获取最大值的最佳方法。
考虑以下示例:
df = spark.createDataFrame([(1., 4.), (2., 5.), (3., 6.)], ["A", "B"])
df.show()
这会创建:
+---+---+
| A| B|
+---+---+
|1.0|4.0|
|2.0|5.0|
|3.0|6.0|
+---+---+
我的目标是找到 A 列中的最大值(通过检查,这是 3.0)。使用 PySpark,我能想到以下四种方法:
# Method 1: Use describe()
float(df.describe("A").filter("summary = 'max'").select("A").first().asDict()['A'])
# Method 2: Use SQL
df.registerTempTable("df_table")
spark.sql("SELECT MAX(A) as maxval FROM df_table").first().asDict()['maxval']
# Method 3: Use groupby()
df.groupby().max('A').first().asDict()['max(A)']
# Method 4: Convert to RDD
df.select("A").rdd.max()[0]
上面的每一个都给出了正确的答案,但是在没有 Spark 分析工具的情况下,我无法判断哪个是最好的。
从直觉或经验来看,上述哪种方法在 Spark 运行时或资源使用方面最有效,或者是否有比上述方法更直接的方法?