我有一个包含以下数据的 CSV 文件:
1,2,5
2,4
2,3
我想将它们加载到具有数组字符串模式的数据框中
输出应如下所示。
[1, 2, 5]
[2, 4]
[2, 3]
这里已经使用 scala 回答了这个问题:Spark:将字符串列转换为数组
我想在 Java 中实现它。
请帮忙
下面是 Java 中的示例代码。您需要使用读取您的文件spark.read().text(String path)
方法,然后调用split
功能。
import static org.apache.spark.sql.functions.split;
public class SparkSample {
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.appName("SparkSample")
.master("local[*]")
.getOrCreate();
//Read file
Dataset<Row> ds = spark.read().text("c://tmp//sample.csv").toDF("value");
ds.show(false);
Dataset<Row> ds1 = ds.select(split(ds.col("value"), ",")).toDF("new_value");
ds1.show(false);
ds1.printSchema();
}
}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)