程序员经验分享-hwhale

Spark 执行器登录 YARN

2024-06-18

我正在 Cloudera 集群上以 YARN 客户端模式启动分布式 Spark 应用程序。一段时间后，我在 Cloudera Manager 上看到一些错误。一些执行者会断开连接，并且这种情况会系统性地发生。我想调试该问题，但 YARN 未报告内部异常。

Exception from container-launch with container ID: container_1417503665765_0193_01_000003 and exit code: 1
ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

如何查看异常的堆栈跟踪？看来YARN只报告应用程序异常退出。有没有办法在 YARN 配置中查看 Spark 执行器日志？


检查 NodeManager 的yarn.nodemanager.log-dir财产。这是Spark执行器容器运行时的日志位置。

请注意，当应用程序完成时，NodeManager 可能会删除文件（日志聚合）。查看此文档了解详细信息。http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/ http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

Cloudera

hadoopyarn

clouderamanager

Spark 执行器登录 YARN 的相关文章

随机推荐

  • 数字或货币的字符串格式？

    我需要为每个千给出逗号 所以我用了DataFormatString 0 它运行良好 但当值为0 它正在显示 00 我只想只显示 0 我们怎样才能做到这一点 DataFormatString 0 C0 这将格式化为小数点后 0 位的货币 Da

  • PowerShell v4 中的本机内存泄漏？

    我安装的 PS v4 似乎存在泄漏 CLR版本 4 0 30319 34209构建版本 6 3 9600 17400 我运行以下命令 内存快速无限增长 while true New Object System Object 如果我跳出循环并

  • Chrome 支持 Brotli 吗？ （Accept-Encoding不包含br）

    Can I use page http caniuse com search brotli说 Chrome 支持 brotli 一段时间了 我认为Accept Encoding字符串会是这样的 Accept Encoding gzip de

  • REST API 由于 CSRF 检查，同时发布两个具有不同属性的请求失败，状态代码为 403

    我使用 REST API 发送两个发布请求 http localhost 8111 app rest buildQueue但我的第二个请求失败了 403 Forbidden 由于 CSRF 检查失败而响应 403 状态代码 不存在 Orig

  • 带剖面的 3D 曲面图

    基本上 我有一个由一组时间序列组成的曲面图 我想在特定高度添加剖面图 以更好地了解一年中值高于所选阈值的时期 由此 其中显示平面但不是剖面 To This 有什么建议吗 使用 alpha 和相机仰角并没有解决问题 平面似乎仍然在人物的前面

  • 无法从外部访问在 docker swarm 上运行的容器

    我正在 docker swarm 上运行我的容器 资产前端service 是我的前端应用程序 它在容器内运行 Nginx 并公开端口 80 现在如果我这样做 curl http 10 255 8 21 80 http 10 255 8 21

  • 更改iOS11中的UISearchBar背景图片

    我想更改我的 UISearchBar 背景图像 当将它添加为我的 UITableView 中的标题视图时 它工作得很好 但是 当我想更改它以将 SearchBar 设置为 navigationItem 的 searchController

  • 使用 TypeScript 3 项目引用时出现“找不到模块”错误

    我想得到TypeScript 3 的项目参考正在工作 但很难从引用的项目中导入函数 我有一个ProjectA引用Shared 这是文件结构 ProjectA src person ts tsconfig json Shared src ut

  • 如何在pm2下运行nuxt？

    我有 2 个 nuxt 项目需要在服务器上运行 每当我在本地运行该应用程序时 它似乎都在使用 npm run dev 但在服务器上 这需要在子进程下运行 所以我使用 pm2 来实现 但是每当我开始使用 pm2 运行相同的 npm 脚本时 该

  • 从 Java 中的泛型类型推断泛型类型（编译时错误）

    我有一个带有以下泛型类型签名的静态函数T public static

  • 我们如何将 select 语句定义为 dbt 中的变量？

    您好 我正在尝试在 dbt 中的集合变量中定义 select 语句 谁能建议如何将 sql 查询设置为 dbt 中的变量以及如何访问下面的 CTE 中的这些变量 您可以使用call statement并将结果放入变量中load result

  • Azure逻辑应用程序计算价格

    我有这两个逻辑应用程序 逻辑应用1 动作 6 标准连接 2 运行次数 每 5 分钟或每 8640 次执行月 12 24 30 逻辑应用2 动作 3 标准连接 2 运行次数 每 2 分钟或每 21600 次执行 月 30 24 30 定价 根

  • jQuery 显示隐藏左侧滑动面板

    我希望在单击按钮时面板从浏览器的左边缘滑动 并在单击同一按钮 切换 时隐藏面板 Html div class panel div a href class slider arrow show raquo a CSS panel width

  • 异步提交或回滚事务范围

    正如许多人所知 TransactionScope当async await Net 中引入了模式 如果我们尝试使用一些它们就会损坏await在事务范围内调用 现在这个问题已经解决了 感谢范围构造函数选项 a 17527759 1178314

  • 使用 ruamel.yaml，如何使带有 NEWLINE 的变量成为不带引号的多行

    我正在生成用作协议的 YAML 其中包含一些生成的 JSON import json from ruamel import yaml jsonsample id 123 type customer account other myyamel

  • PHP/HTML - 如何在表单输入名称中保留空格？

    我有一个带有输入的表单type text和name属性中有空格 当表单提交时 它使用post 空格怎么保留 目前是用下划线替换空格 在输入名称中使用数组

  • 当我在 C 中将 long int 赋值给 int 时会发生什么？

    在最近的作业中 我被告知要使用long变量来存储结果 因为它可能是一个很大的数字 我决定在我的系统 英特尔酷睿 i5 64 位 Windows 7 gnu gcc 编译器 上检查这对我来说真的很重要 并发现以下代码 printf sizeo

  • Akka 2 中的调度程序有哪些差异和使用模式？

    我很难理解它们的差异和推荐用法Akka 2 中的调度程序 http doc akka io docs akka current scala dispatchers html 我想我明白了平衡调度程序 http doc akka io api

  • 如何在 matplotlib 图中禁用 xkcd？

    您可以通过以下方式打开 xkcd 风格 import matplotlib pyplot as plt plt xkcd 但如何禁用它呢 I try self fig clf 但这行不通 简而言之 要么使用 Valentin 提到的上下文管

  • Spark 执行器登录 YARN

    我正在 Cloudera 集群上以 YARN 客户端模式启动分布式 Spark 应用程序 一段时间后 我在 Cloudera Manager 上看到一些错误 一些执行者会断开连接 并且这种情况会系统性地发生 我想调试该问题 但 YARN 未

热门标签