程序员经验分享-hwhale

JA017：无法查找已启动的 hadoop 作业 ID

2024-03-29

当我在Hue的Oozie编辑器中提交mapreduce作业时，如何解决这个问题？ ：

JA017：无法查找与操作 [0000009-150711083342968-oozie-root-W@mapreduce-f660] 关联的已启动 hadoop 作业 ID [job_local152843681_0009]。这次行动失败了！

UPDATE:

Here are log file:
2015-07-15 04:54:40,304  INFO ActionStartXCommand:520 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@:start:] Start action [0000010-150711083342968-oozie-root-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2015-07-15 04:54:40,321  INFO ActionStartXCommand:520 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@:start:] [***0000010-150711083342968-oozie-root-W@:start:***]Action status=DONE
2015-07-15 04:54:40,325  INFO ActionStartXCommand:520 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@:start:] [***0000010-150711083342968-oozie-root-W@:start:***]Action updated in DB!
2015-07-15 04:54:40,501  INFO WorkflowNotificationXCommand:520 - SERVER[myserver] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@:start:] No Notification URL is defined. Therefore nothing to notify for job 0000010-150711083342968-oozie-root-W@:start:
2015-07-15 04:54:40,502  INFO WorkflowNotificationXCommand:520 - SERVER[myserver] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000010-150711083342968-oozie-root-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000010-150711083342968-oozie-root-W
2015-07-15 04:54:40,713  INFO ActionStartXCommand:520 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] Start action [0000010-150711083342968-oozie-root-W@mapreduce-52d9] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2015-07-15 04:54:43,216  WARN MapReduceActionExecutor:523 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] Exception in check(). Message[JA017: Could not lookup launched hadoop Job ID [job_local1099179300_0010] which was associated with  action [0000010-150711083342968-oozie-root-W@mapreduce-52d9].  Failing this action!]
org.apache.oozie.action.ActionExecutorException: JA017: Could not lookup launched hadoop Job ID [job_local1099179300_0010] which was associated with  action [0000010-150711083342968-oozie-root-W@mapreduce-52d9].  Failing this action!
    at org.apache.oozie.action.hadoop.JavaActionExecutor.check(JavaActionExecutor.java:1359)
    at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1288)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:250)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:64)
    at org.apache.oozie.command.XCommand.call(XCommand.java:286)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:321)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:250)
    at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
2015-07-15 04:54:43,230  WARN ActionStartXCommand:523 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] Error starting action [mapreduce-52d9]. ErrorType [FAILED], ErrorCode [JA017], Message [JA017: Could not lookup launched hadoop Job ID [job_local1099179300_0010] which was associated with  action [0000010-150711083342968-oozie-root-W@mapreduce-52d9].  Failing this action!]
org.apache.oozie.action.ActionExecutorException: JA017: Could not lookup launched hadoop Job ID [job_local1099179300_0010] which was associated with  action [0000010-150711083342968-oozie-root-W@mapreduce-52d9].  Failing this action!
    at org.apache.oozie.action.hadoop.JavaActionExecutor.check(JavaActionExecutor.java:1359)
    at org.apache.oozie.action.hadoop.JavaActionExecutor.start(JavaActionExecutor.java:1288)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:250)
    at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:64)
    at org.apache.oozie.command.XCommand.call(XCommand.java:286)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:321)
    at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:250)
    at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
2015-07-15 04:54:43,234  WARN ActionStartXCommand:523 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] Failing Job due to failed action [mapreduce-52d9]
2015-07-15 04:54:43,247  WARN LiteWorkflowInstance:523 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] Workflow Failed. Failing node [mapreduce-52d9]
2015-07-15 04:54:43,548  INFO WorkflowNotificationXCommand:520 - SERVER[myserver] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] No Notification URL is defined. Therefore nothing to notify for job 0000010-150711083342968-oozie-root-W@mapreduce-52d9
2015-07-15 04:54:43,615  INFO KillXCommand:520 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[] STARTED WorkflowKillXCommand for jobId=0000010-150711083342968-oozie-root-W
2015-07-15 04:54:43,758  INFO CallbackServlet:520 - SERVER[myserver] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] callback for action [0000010-150711083342968-oozie-root-W@mapreduce-52d9]
2015-07-15 04:54:43,782  INFO KillXCommand:520 - SERVER[myserver] USER[root] GROUP[-] TOKEN[] APP[My_Workflow] JOB[0000010-150711083342968-oozie-root-W] ACTION[] ENDED WorkflowKillXCommand for jobId=0000010-150711083342968-oozie-root-W
2015-07-15 04:54:43,791  INFO WorkflowNotificationXCommand:520 - SERVER[myserver] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000010-150711083342968-oozie-root-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000010-150711083342968-oozie-root-W
2015-07-15 04:54:43,789 ERROR CompletedActionXCommand:517 - SERVER[myserver] USER[-] GROUP[-] TOKEN[] APP[-] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] XException, 
org.apache.oozie.command.CommandException: E0800: Action it is not running its in [FAILED] state, action [0000010-150711083342968-oozie-root-W@mapreduce-52d9]
    at org.apache.oozie.command.wf.CompletedActionXCommand.eagerVerifyPrecondition(CompletedActionXCommand.java:92)
    at org.apache.oozie.command.XCommand.call(XCommand.java:257)
    at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
2015-07-15 04:54:43,803  WARN CallableQueueService$CallableWrapper:523 - SERVER[myserver] USER[-] GROUP[-] TOKEN[] APP[-] JOB[0000010-150711083342968-oozie-root-W] ACTION[0000010-150711083342968-oozie-root-W@mapreduce-52d9] exception callable [callback], E0800: Action it is not running its in [FAILED] state, action [0000010-150711083342968-oozie-root-W@mapreduce-52d9]
org.apache.oozie.command.CommandException: E0800: Action it is not running its in [FAILED] state, action [0000010-150711083342968-oozie-root-W@mapreduce-52d9]
    at org.apache.oozie.command.wf.CompletedActionXCommand.eagerVerifyPrecondition(CompletedActionXCommand.java:92)
    at org.apache.oozie.command.XCommand.call(XCommand.java:257)
    at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

我刚刚解决了完全相同的问题。 Oozie 默认以“mapreduce”运行作业。就我而言，Oozie 无法访问 hdfs 目录 /user/history/done_intermediate/hdfs 并且失败。

所以，我敢打赌您已经以其他登录方式登录了。切换到mapred登录，或添加行

user.name=mapred

如果您想从命令行调用 Oozie，请转到 job.properties。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

MapReduce

oozie

HUE

JA017：无法查找已启动的 hadoop 作业 ID 的相关文章

  • Amazon MapReduce 日志分析最佳实践

    我正在解析 Apache Nginx Darwin 视频流服务器 生成的访问日志 并按日期 引用者 用户代理聚合每个交付文件的统计信息 每小时都会生成大量日志 而且这个数字在不久的将来可能会急剧增加 因此通过 Amazon Elastic

  • 如何在hadoop/map reduce中创建固定行数的输出文件？

    假设我们有 N 个具有不同行数的输入文件 我们需要生成输出文件 使得每个输出文件恰好有 K 行 最后一个输出文件可以有 是否可以使用单个 MR 作业来完成此操作 我们应该打开文件以便在reducer中显式写入 输出中的记录应该被打乱 tha

  • HDFS容量：如何阅读“dfsadmin报告”

    我使用的是 Hadoop 2 6 0 当我运行 hdfs dfsadmin report 时 我得到类似这样的信息 简化 Configured Capacity 3 TB Present Capacity 400GB DFS Remaini

  • 远程执行hadoop作业时出现异常

    我正在尝试在远程 hadoop 集群上执行 Hadoop 作业 下面是我的代码 Configuration conf new Configuration conf set fs default name hdfs server 9000 c

  • Spark 2.0 弃用了“DirectParquetOutputCommitter”，没有它如何生活？

    最近 我们从 HDFS 上的 EMR gt S3 上的 EMR 启用了一致视图的 EMRFS 迁移 我们意识到 Spark SaveAsTable 镶木地板格式 写入 S3 的速度比 HDFS 慢约 4 倍 但我们发现使用 DirectPa

  • 使用 python 从 HDFS 获取文件名列表

    这里是 Hadoop 菜鸟 我搜索了一些有关 hadoop 和 python 入门的教程 但没有取得太大成功 我还不需要使用映射器和缩减器进行任何工作 但这更多是一个访问问题 作为Hadoop集群的一部分 HDFS 上有一堆 dat 文件

  • Cat 文件与 HDFS 中的模式不匹配？

    我正在尝试 cat 与 hadoop HDFS 中的以下模式不匹配的文件 hdfs dfs cat gz 如何捕获所有不以 gz 结尾的文件 编辑 抱歉 但我需要在 Hadoop 中管理文件 显然 hdfs 附带的命令非常少 编辑2 所有文

  • 2017 年在 OS X 上从源代码构建 Apache Hadoop

    到目前为止 我已经分叉了 Git 存储库 https github com apache hadoop 我一直在寻找有关如何从源代码构建的信息 我尝试过以下命令 mvn package Pdist Dtar DskipTests 这导致了以

  • 在 Hadoop 中按文件中的值排序

    我有一个文件 其中每行包含一个字符串 然后是一个空格 然后是一个数字 例子 Line1 Word 2 Line2 Word1 8 Line3 Word2 1 我需要按降序对数字进行排序 然后将结果放入文件中 为数字分配排名 所以我的输出应该

  • 使用 Hadoop 映射两个数据集

    假设我有两个键值数据集 数据集A和B 我们称它们为数据集A和B 我想用 B 组的数据更新 A 组中的所有数据 其中两者在键上匹配 因为我要处理如此大量的数据 所以我使用 Hadoop 进行 MapReduce 我担心的是 为了在 A 和 B

  • 在 Hadoop 中处理带标头的文件

    我想在 Hadoop 中处理很多文件 每个文件都有一些头信息 后面跟着很多记录 每个记录都存储在固定数量的字节中 对此有何建议 我认为最好的解决方案是编写一个自定义的InputFormat http hadoop apache org co

  • Sqoop mysql错误-通信链路故障

    尝试运行以下命令 sqoop import connect jdbc mysql 3306 home credit risk table bureau target dir home sqoop username root password

  • http://localhost:50070/ 的 hadoop Web UI 不起作用

    命令 jps 显示以下详细信息 第5144章 5464 节点管理器 5307 资源管理器 5800 Jps 显然namenode和datanode丢失了 网络用户界面位于http 本地主机 50070 http localhost 5007

  • Oozie SSH 操作

    Oozie SSH 操作问题 Issue 我们正在尝试在集群的特定主机上运行一些命令 我们为此选择了 SSH Action 我们面对这个 SSH 问题已经有一段时间了 这里真正的问题可能是什么 请指出解决方案 logs AUTH FAILE

  • 从 Eclipse 在 AWS-EMR 上运行 MapReduce 作业

    我在 Eclipse 中有 WordCount MapReduce 示例 我将其导出到 Jar 然后将其复制到 S3 然后我在 AWS EMR 上运行它 成功地 然后 我读到了这篇文章 http docs aws amazon com El

  • 如何在 Hadoop 中将 String 对象转换为 IntWritable 对象

    我想转换String反对IntWritableHadoop 中的对象 任何过程都可以进行转换 IntWritable value new IntWritable Integer parseInt someString 并处理以下可能性par

  • mongodb - 检索数组子集

    看似简单的任务对我来说是一个挑战 我有以下 mongodb 结构 services TCP80 data status 1 delay 3 87 ts 1308056460 status 1 delay 2 83 ts 1308058080

  • 如何通过Python访问Hive？

    https cwiki apache org confluence display Hive HiveClient HiveClient Python https cwiki apache org confluence display Hi

  • 猪参考

    我正在学习 Hadoop Pig 并且我总是坚持引用元素 请查找下面的示例 groupwordcount group chararray words bag of tokenTuples from line token chararray

  • hive 从两个数组创建映射或键/值对

    我有两个具有相同数量值的数组 它们映射为 1 1 我需要从这两个数组创建一个键 值对或映射 键 值 任何想法或提示都会有帮助 当前表结构 USA WEST NUMBER Street City 135 Pacific Irvine USA

随机推荐

  • Keras：从 ImageDataGenerator 或 Predict_generator 获取真实标签 (y_test)

    我在用ImageDataGenerator flow from directory 从目录生成批量数据 模型成功构建后 我想获得真实和预测类标签的两列数组 和model predict generator validation genera

  • 在mawk中使用strftime函数

    我正在尝试创建 AWK 脚本 该脚本将根据某种模式过滤输入文件 并使用 strftime 函数进行一些计算 2 HB 2 n print strftime Y 使用的解释器是mawk 使用此命令触发此脚本时 awk f script3 in

  • 使用curl将文件推送到GitHub存储库

    我想在 GitHub 存储库上创建 推送 新文件 而不需要git工具 因为git我的工具不可用PHP主持人 所以我做了一些研究 发现GitHub REST API https docs github com en rest 我尝试使用cur

  • 电池的最佳使用

    作为一名程序员 我可以采取哪些措施来确保我的应用程序不会占用大量资源并耗尽电池 根据您正在编写的应用程序 其中一些可能适用于您 不要使用过多的网络调用 尝试维护不经常更改的数据缓存 并且仅在上次刷新 10 秒后运行完全刷新 阻止它们向服务器

  • SQLite Swift 中有多少种方式进行 CRUD 操作？

    当我在 SQLite 中进行 CRUD 操作时 我很困惑 因为有人对我说你可以使用 FMDB 库进行 CRUD 操作 有人说 GRDB 所以 我的问题是 在 SQLite 中有多少种方法可以进行 CRUD 操作 哪种方法是正确的 我认为 G

  • 如何在 Jquery 验证中处理 html 元素 id/name 中的特殊字符？

    我有一个 HTML 表单 它在 ids 中使用特殊字符 该表单使用 JQuery 验证插件来验证用户输入 具体来说 id 包括 GUID 以下是示例代码

  • 在 Eclipse 中，Source -> Format 在“Maven Pom Editor”中被禁用

    当打开pom xml在 Eclipse 中使用 Maven Pom Editor 并切换到选项卡pom xml我无法格式化该文件 Hitting Ctrl Shift F在完全未格式化的文件中不会执行任何操作 通过上下文菜单时Source

  • Python 中的递归、记忆和可变默认参数

    Base 的意思是不只使用lru cache 所有这些都 足够快 我并不是在寻找最快的算法 但时间安排让我感到惊讶 所以我希望我能了解一些有关 Python 如何 工作 的知识 简单循环 尾递归 def fibonacci n a b 0

  • Flask 应用偶尔挂起

    我一直在开发一个 Flask 应用程序 它使用 Twilio 处理 SMS 消息 将它们存储在数据库中 并通过 JSONP GET 请求提供对前端的访问 我已经使用supervisord对其进行了守护进程 这似乎工作得很好 但每隔几天它就会

  • Erlang / Golang 端口示例中的缓冲区大小

    我有一个粗略的 Erlang to Golang 端口示例 将数据从 Erlang 传递到 Golang 并回显响应 问题是我可以传输的数据量似乎仅限于 2 8 字节 见下文 我认为问题可能出在 Golang 方面 没有创建足够大的缓冲区

  • JavaScript 中的继承和 Super

    我正在学习 JavaScript 的第三天 我遇到了这段代码 class B constructor name this name name printn return this name class A extends B constru

  • ajaxForm 错误回调内的表单对象

    我试图在 ajaxForm 的错误方法中访问我的表单对象 foo ajaxForm error function where s my foo object error 可以接受 3 个参数 但它们都不是表单对象 这也返回 url 但同样没

  • 为什么 CSS Grid 的自动填充属性在列方向上不起作用

    我正在练习用行自动填充属性 但是 它并没有按照我的意愿进行 我想创建具有高度的行minmax 140px 200px 而是获取一行高度为 200px 的行 其余行为 18px 为什么会发生这种情况 body html height 100

  • 使用ajax上传文件到远程服务器

    我对服务器端没有任何控制权 是否可以在 Iframe 中上传并加载远程服务器给出的结果 请分享一些代码 谢谢 使用名称声明 iframe 并在表单元素中定位该名称

  • 调整大小和滚动问题（JS/HTML）

    有两个容器 第一个是小视口 第二个是巨大的工作区 因此 用户滚动视口以在工作区中移动 我想通过 CSS 属性实现放大 缩小功能tranform 但是在这个过程中我遇到了一个难题 并没有找到精确的解决方案 问题是 当用户放大 缩小时 工作区中

  • 带有 @MappedSuperclass 的 Hibernate TABLE_PER_CLASS 不会创建 UNION 查询

    我正在尝试创建一系列对象 这些对象全部存储在单独的表中 但所有这些表上都有一组共同的字段 我希望 Hibernate 对所有这些表进行 UNION 但不包括超类作为表 当我用以下方式注释超类时 MappedSuperclass Inheri

  • 插入、删除、最大值 O(1)

    有人能告诉我哪种数据结构支持 O 1 的插入 删除 最大操作吗 这是一个经典的面试问题 通常是这样提出的 设计一个类似堆栈的数据结构 在 O 1 时间内执行压入 弹出和最小 或最大 操作 没有空间限制 答案是 您使用两个堆栈 主堆栈和最小

  • 在 n 维数组上使用 scipy interpn 和 meshgrid

    我正在尝试翻译大型 4D 数组的 Matlab interpn 插值 但 Matlab 和 Python 之间的公式存在显着差异 几年前有一个很好的问题 答案here https stackoverflow com questions 39

  • 如何删除R中第n个分隔符之后的所有内容？

    我有这个向量myvec 我想删除第二个 之后的所有内容并得到结果 如何删除第 n 个 之后的字符串 myvec lt c chr2 213403244 213403244 G T snp chr7 55240586 55240586 T G

  • JA017：无法查找已启动的 hadoop 作业 ID

    当我在Hue的Oozie编辑器中提交mapreduce作业时 如何解决这个问题 JA017 无法查找与操作 0000009 150711083342968 oozie root W mapreduce f660 关联的已启动 hadoop

热门标签