当使用 YARN 在 pyspark 中缓存大型数据帧时，我看到以下类型的消息：-
WARN BlockManagerMasterEndpoint: No more replicas available for rdd_23_62 !
这条消息到底是什么意思？
是否会造成后续Container killed on request. Exit code is 143 error?
容器被杀死的消息很常见。它的基本意思是“事情没有按计划进行，所以 Spark 放弃了”。
虽然我找不到任何关于确切错误的重要参考资料，但我的理解如下：
当 Spark 必须处理数据时，它会跨节点复制该数据。 （主要在内存中，但根据情况/设置，它可能会选择溢出到磁盘）。
该消息本身似乎非常清楚：它正在尝试处理数据，但没有找到任何可用的副本。
我不知道的是根本原因。
- 可能是某种原因导致数据获取失败
- 或者，可能已成功创建副本，但现在无法访问
对于后一种情况，我可以想到两个主要原因：
- 存在有效的副本，但访问失败（例如某种网络问题）
- 虽然它曾经有效，但现在没有有效的副本。也许它被损坏或被踢出（例如被另一个应用程序？）
我知道这留下了一些可能性，但希望这有助于找到根本原因。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
