从 scala 中的嵌套 json 文件创建 Spark 数据框 [重复]

我有一个如下所示的 json 文件

{
"group" : {},
"lang" : [ 
    [ 1, "scala", "functional" ], 
    [ 2, "java","object" ], 
    [ 3, "py","interpreted" ]
]
}

我尝试使用创建一个数据框

val path = "some/path/to/jsonFile.json"
val df = sqlContext.read.json(path)
df.show()

当我运行这个时我得到

df: org.apache.spark.sql.DataFrame = [_corrupt_record: string]

我们如何根据“lang”键的内容创建 df？我不关心 group{} 我需要的只是从“lang”中提取数据并应用这样的案例类

case class ProgLang (id: Int, lang: String, type: String )

我读过这篇文章使用 Apache Spark 读取 JSON - `corrupt_record`并了解每条记录都需要换行，但就我而言，我无法更改文件结构

The json格式错误。的json api of sqlContext正在将其读取为损坏的记录。正确的形式是

{"group":{},"lang":[[1,"scala","functional"],[2,"java","object"],[3,"py","interpreted"]]}

假设你把它放在一个文件（“/home/test.json”）中，那么你可以使用以下方法来获取dataframe你要

import org.apache.spark.sql.functions._
import sqlContext.implicits._

val df = sqlContext.read.json("/home/test.json")

val df2 = df.withColumn("lang", explode($"lang"))
    .withColumn("id", $"lang"(0))
    .withColumn("langs", $"lang"(1))
    .withColumn("type", $"lang"(2))
    .drop("lang")
    .withColumnRenamed("langs", "lang")
    .show(false)

你应该有

+---+-----+-----------+
|id |lang |type       |
+---+-----+-----------+
|1  |scala|functional |
|2  |java |object     |
|3  |py   |interpreted|
+---+-----+-----------+

Updated

如果您不想更改下面评论中提到的输入 json 格式，您可以使用wholeTextFiles阅读json文件和parse如下

import sqlContext.implicits._
import org.apache.spark.sql.functions._

val readJSON = sc.wholeTextFiles("/home/test.json")
  .map(x => x._2)
  .map(data => data.replaceAll("\n", ""))

val df = sqlContext.read.json(readJSON)

val df2 = df.withColumn("lang", explode($"lang"))
  .withColumn("id", $"lang"(0).cast(IntegerType))
  .withColumn("langs", $"lang"(1))
  .withColumn("type", $"lang"(2))
  .drop("lang")
  .withColumnRenamed("langs", "lang")

df2.show(false)
df2.printSchema

它应该给你dataframe如上所述和schema as

root
 |-- id: integer (nullable = true)
 |-- lang: string (nullable = true)
 |-- type: string (nullable = true)