我想这是一个愚蠢的问题,但我在任何地方都找不到答案。
我可以使用 log4j.xml 配置 Spark 中的日志记录吗?
在火花中文档 http://spark.apache.org/docs/latest/configuration.html#configuring-logging它提到您可以使用 log4j.properties 配置日志记录,我希望使用 log4j.xml 来获得更高级的 log4j 功能,例如异步附加程序。我的工作将通过 oozie 安排的纱线(CDH)以集群模式运行。我知道需要使用任何解决方案--files
您可以设置spark.executor.extraJavaOptions
to add -Dlog4j.configuration=log4j.xml
并将 log4j.xml 文件包含在工作线程的类路径中(捆绑在应用程序 jar 中或添加到包含的文件中)--files
).
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)