Spark SQL 失败，因为“常量池已超过 JVM 限制 0xFFFF”

我在 EMR 4.6.0 + Spark 1.6.1 上运行此代码：

val sqlContext = SQLContext.getOrCreate(sc)
val inputRDD = sqlContext.read.json(input)

try {
    inputRDD.filter("`first_field` is not null OR `second_field` is not null").toJSON.coalesce(10).saveAsTextFile(output)
    logger.info("DONE!")
} catch {
    case e : Throwable => logger.error("ERROR" + e.getMessage)
}

在最后阶段saveAsTextFile，它失败并出现以下错误：

16/07/15 08:27:45 ERROR codegen.GenerateUnsafeProjection: failed to compile: org.codehaus.janino.JaninoRuntimeException: Constant pool has grown past JVM limit of 0xFFFF
/* 001 */
/* 002 */ public java.lang.Object generate(org.apache.spark.sql.catalyst.expressions.Expression[] exprs) {
/* 003 */   return new SpecificUnsafeProjection(exprs);
/* 004 */ }
(...)

可能是什么原因？谢谢

通过删除数据框中所有未使用的列或仅过滤您实际需要的列来解决此问题。

事实证明 Spark Dataframe 无法处理超宽模式。 Spark 没有特定数量的列可能会因“常量池已超过 0xFFFF 的 JVM 限制”而中断 - 这取决于查询的类型，但减少列数可以帮助解决此问题。

根本原因在于 JVM 生成的 Java 类的大小为 64kb - 另请参阅 Andrew 的回答。