我有一个元组列表(String、String、Int、Double),我想将其转换为 Spark RDD。
一般来说,如何将 Scala Iterable[(a1, a2, a3, ..., an)] 转换为 Spark RDD?
有几种方法可以做到这一点,但最直接的方法就是使用 Spark Context:
import org.apache.spark._
import org.apache.spark.rdd._
import org.apache.spark.SparkContext._
sc.parallelize(YourIterable.toList)
我认为 sc.Parallelize 需要转换为 List,但它会保留您的结构,因此您仍然会得到一个 RDD[String,String,Int,Double]
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)