Spark Dataframe 列可为 null 的属性更改

我想更改 Spark Dataframe 中特定列的可为空属性。

如果我当前打印数据框的模式，它看起来如下所示。

col1: string (nullable = false)
col2: string (nullable = true)
col3: string (nullable = false)
col4: float (nullable = true)

我只是想col3要更新的可空属性。

col1: string (nullable = false)
col2: string (nullable = true)
col3: string (nullable = true)
col4: float (nullable = true)

我在线检查了这里有一些链接，但似乎他们正在为所有列执行此操作，但不是针对特定列，请参阅更改 Spark 数据框中列的可为空属性 https://stackoverflow.com/questions/33193958/change-nullable-property-of-column-in-spark-dataframe。 有人可以在这方面帮助我吗？

没有“明确”的方法可以做到这一点。你可以使用类似的技巧here https://stackoverflow.com/questions/33193958/change-nullable-property-of-column-in-spark-dataframe

该答案的相关代码：

def setNullableStateOfColumn( df: DataFrame, cn: String, nullable: Boolean) : DataFrame = {

  // get schema
  val schema = df.schema
  // modify [[StructField] with name `cn`
  val newSchema = StructType(schema.map {
    case StructField( c, t, _, m) if c.equals(cn) => StructField( c, t, nullable = nullable, m)
    case y: StructField => y
  })
  // apply new schema
  df.sqlContext.createDataFrame( df.rdd, newSchema )
}

它将复制 DataFrame 并复制架构，但以编程方式指定可为空

许多列的版本：

def setNullableStateOfColumn(df: DataFrame, nullValues: Map[String, Boolean]) : DataFrame = {

  // get schema
  val schema = df.schema
  // modify [[StructField]s with name `cn`
  val newSchema = StructType(schema.map {
    case StructField( c, t, _, m) if nullValues.contains(c) => StructField( c, t, nullable = nullValues.get(c), m)
    case y: StructField => y
  })
  // apply new schema
  df.sqlContext.createDataFrame( df.rdd, newSchema )
}

用法： setNullableStateOfColumn(df1, Map ("col1" -> true, "col2" -> true, "col7" -> false));