如何在pyspark中将DenseMatrix转换为spark DataFrame?

2024-02-23

除了以下使用 Scala 的示例之外,我没有找到任何 pyspark 代码将矩阵转换为 Spark 数据帧。有谁知道如何使用 python 代替?

如何将 mllib 矩阵转换为 Spark 数据帧? https://stackoverflow.com/questions/48977151/how-to-convert-a-mllib-matrix-to-a-spark-dataframe


我们可以用toArray()将 DenseMatrix 转换为 numpy ndarray 的方法和tolist()从数组转换为列表。

>>> m = DenseMatrix(2, 2, range(4))
>>> m
DenseMatrix(2, 2, [0.0, 1.0, 2.0, 3.0], False)
>>> rows = m.toArray().tolist()
>>> rows
[[0.0, 2.0], [1.0, 3.0]]
>>> df = spark.createDataFrame(rows,['col1','col2'])
>>> df.show()
+----+----+
|col1|col2|
+----+----+
| 0.0| 2.0|
| 1.0| 3.0|
+----+----+
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在pyspark中将DenseMatrix转换为spark DataFrame? 的相关文章

随机推荐