我已经编写了使用 SparkSQL 访问 Hive 表的代码。这是代码：
SparkSession spark = SparkSession
.builder()
.appName("Java Spark Hive Example")
.master("local[*]")
.config("hive.metastore.uris", "thrift://localhost:9083")
.enableHiveSupport()
.getOrCreate();
Dataset<Row> df = spark.sql("select survey_response_value from health").toDF();
df.show();
我想知道如何将完整的输出转换为字符串或字符串数组？当我尝试使用另一个模块时，只有我可以传递字符串或字符串类型数组值。
我尝试过其他方法，例如.toString或类型转换为字符串值。但对我不起作用。
请告诉我如何将数据集值转换为字符串？
这是 Java 中的示例代码。
public class SparkSample {
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.appName("SparkSample")
.master("local[*]")
.getOrCreate();
//create df
List<String> myList = Arrays.asList("one", "two", "three", "four", "five");
Dataset<Row> df = spark.createDataset(myList, Encoders.STRING()).toDF();
df.show();
//using df.as
List<String> listOne = df.as(Encoders.STRING()).collectAsList();
System.out.println(listOne);
//using df.map
List<String> listTwo = df.map(row -> row.mkString(), Encoders.STRING()).collectAsList();
System.out.println(listTwo);
}
}
“row”是 java 8 lambda 参数。请检查developer.com/java/start-using-java-lambda-expressions.html http://www.developer.com/java/start-using-java-lambda-expressions.html
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
