我有一个运行的 Python Spark 程序spark-submit。我想在其中放入日志语句。
logging.info("This is an informative message.")
logging.debug("This is a debug message.")
我想使用 Spark 使用的相同记录器，以便日志消息以相同的格式输出，并且级别由相同的配置文件控制。我该怎么做呢？
我试过把logging代码中的语句并以 a 开头logging.getLogger()。在这两种情况下，我都看到 Spark 的日志消息，但看不到我的日志消息。我一直在看Python 日志记录文档 https://docs.python.org/2/library/logging.html，但一直无法从那里弄清楚。
不确定这是否是提交给 Spark 的脚本所特有的，或者只是我不理解日志记录的工作原理。
您可以从 SparkContext 对象获取记录器：
log4jLogger = sc._jvm.org.apache.log4j
LOGGER = log4jLogger.LogManager.getLogger(__name__)
LOGGER.info("pyspark script logger initialized")
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
