我无法找到将测试对象列表转换为 Spark 中的数据集的方法
这是我的课:
public class Test {
public String a;
public String b;
public Test(String a, String b){
this.a = a;
this.b = b;
}
public List getList(){
List l = new ArrayList();
l.add(this.a);
l.add(this.b);
return l;
}
}
您在注释中创建 DataFrame 的代码是正确的。不过你定义的方式有问题Test
。您只能使用 Java Bean 中的代码创建 DataFrame。你的Test
类不是一个Java豆 https://stackoverflow.com/questions/3295496/what-is-a-javabean-exactly。修复该问题后,您可以使用以下代码创建 DataFrame:
Dataset<Row> dataFrame = spark.createDataFrame(listOfTestClasses, Test.class);
和这些行来创建类型化数据集:
Encoder<Test> encoder = Encoders.bean(Test.class);
Dataset<Test> dataset = spark.createDataset(listOfTestClasses, encoder);
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)