考虑以下数据框:
#+------+---+
#|letter|rpt|
#+------+---+
#| X| 3|
#| Y| 1|
#| Z| 2|
#+------+---+
可以使用以下代码创建:
df = spark.createDataFrame([("X", 3),("Y", 1),("Z", 2)], ["letter", "rpt"])
假设我想重复每行列中指定的次数rpt
,就像这样question https://stackoverflow.com/questions/51109018/pyspark-replicate-row-based-on-column-value.
一种方法是复制我的solution https://stackoverflow.com/a/51109986/5858851使用以下内容来回答这个问题pyspark-sql
query:
query = """
SELECT *
FROM
(SELECT DISTINCT *,
posexplode(split(repeat(",", rpt), ",")) AS (index, col)
FROM df) AS a
WHERE index > 0
"""
query = query.replace("\n", " ") # replace newlines with spaces, avoid EOF error
spark.sql(query).drop("col").sort('letter', 'index').show()
#+------+---+-----+
#|letter|rpt|index|
#+------+---+-----+
#| X| 3| 1|
#| X| 3| 2|
#| X| 3| 3|
#| Y| 1| 1|
#| Z| 2| 1|
#| Z| 2| 2|
#+------+---+-----+
这有效并产生正确的答案。但是,我无法使用 DataFrame API 函数复制此行为。
I tried:
import pyspark.sql.functions as f
df.select(
f.posexplode(f.split(f.repeat(",", f.col("rpt")), ",")).alias("index", "col")
).show()
但这会导致:
TypeError: 'Column' object is not callable
为什么我能够将该列作为输入传递给repeat
在查询中,但不是来自 API?有没有办法使用 Spark DataFrame 函数来复制此行为?