我有一个与此示例类似的 DataFrame：
Timestamp | Word | Count
30/12/2015 | example_1 | 3
29/12/2015 | example_2 | 1
28/12/2015 | example_2 | 9
27/12/2015 | example_3 | 7
... | ... | ...
我想按“单词”列的值拆分此数据框以获得 DataFrame 的“列表”（以在下一步中绘制一些数字）。例如：
DF1
Timestamp | Word | Count
30/12/2015 | example_1 | 3
DF2
Timestamp | Word | Count
29/12/2015 | example_2 | 1
28/12/2015 | example_2 | 9
DF3
Timestamp | Word | Count
27/12/2015 | example_3 | 7
有没有办法用 PySpark (1.6) 做到这一点？
它不会有效，但您可以使用过滤器映射唯一值列表：
words = df.select("Word").distinct().flatMap(lambda x: x).collect()
dfs = [df.where(df["Word"] == word) for word in words]
Spark 2.0 后
words = df.select("Word").distinct().rdd.flatMap(lambda x: x).collect()
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
