我正在使用 Spark 2.1 (scala 2.11)。
我想将具有定义模式的 json 格式字符串从一个数据帧加载到另一个数据帧中。
我尝试了一些解决方案,但最便宜的是标准列函数 from_json 。
我尝试了一个例子(https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-functions-collection.html#from_json https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-functions-collection.html#from_json)这个函数给了我意想不到的结果。
val df = spark.read.text("testFile.txt")
df.show(false)
+----------------+
|value |
+----------------+
|{"a": 1, "b": 2}|
|{bad-record |
+----------------+
df.select(from_json(col("value"),
StructType(List(
StructField("a",IntegerType),
StructField("b",IntegerType)
))
)).show(false)
+-------------------+
|jsontostruct(value)|
+-------------------+
|[1,2] |
|null |
+-------------------+
此行为类似于 mode:PERMISSIVE,它不是默认的。
默认情况下,它设置为 FAILFAST 模式,这意味着只要输入数据和强制模式不匹配,它就应该抛出异常。
我尝试使用 DataFrameReader(JSON DataSource 和 FAILFAST 模式)加载 testFile.txt 并成功捕获异常。
spark.read.option("mode","FAILFAST").json("test.txt").show(false)
---
Caused by: org.apache.spark.sql.catalyst.json.SparkSQLJsonProcessingException: Malformed line in FAILFAST mode: {bad-record
---
虽然两种情况下的解析模式相同,但为什么各自的输出如此不同?