Oozie SSH 操作

2024-05-07

Oozie SSH 操作问题:

Issue:我们正在尝试在集群的特定主机上运行一些命令。我们为此选择了 SSH Action。我们面对这个 SSH 问题已经有一段时间了。这里真正的问题可能是什么?请指出解决方案。

logs:

AUTH_FAILED:无法执行操作 [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20[电子邮件受保护] /cdn-cgi/l/email-protectionmkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/ ] | ErrorStream:警告:已将主机 1.2.3.4 (RSA) 永久添加到已知主机列表中。权限被拒绝(publickey、gssapi-keyex、gssapi-with-mic、密码)。

org.apache.oozie.action.ActionExecutorException:AUTH_FAILED:无法执行操作 [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20[电子邮件受保护] /cdn-cgi/l/email-protectionmkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/ ] | ErrorStream:警告:已将 1.2.3.4,192.168.34.208 (RSA) 永久添加到已知主机列表中。 权限被拒绝(publickey、gssapi-keyex、gssapi-with-mic、密码)。

at org.apache.oozie.action.ssh.SshActionExecutor.execute(SshActionExecutor.java:589)
at org.apache.oozie.action.ssh.SshActionExecutor.start(SshActionExecutor.java:204)
at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:211)
at org.apache.oozie.command.wf.ActionStartXCommand.execute(ActionStartXCommand.java:59)
at org.apache.oozie.command.XCommand.call(XCommand.java:277)
at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:326)
at org.apache.oozie.service.CallableQueueService$CompositeCallable.call(CallableQueueService.java:255)
at org.apache.oozie.service.CallableQueueService$CallableWrapper.run(CallableQueueService.java:175)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
at java.lang.Thread.run(Thread.java:662)

引起原因:java.io.IOException:无法执行操作 [ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20[电子邮件受保护] /cdn-cgi/l/email-protectionmkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/ ] | ErrorStream:警告:已将“1.2.3.4,1.2.3.4”(RSA) 永久添加到已知主机列表中。 权限被拒绝(publickey、gssapi-keyex、gssapi-with-mic、密码)。

at org.apache.oozie.action.ssh.SshActionExecutor.executeCommand(SshActionExecutor.java:340)
at org.apache.oozie.action.ssh.SshActionExecutor.setupRemote(SshActionExecutor.java:373)
at org.apache.oozie.action.ssh.SshActionExecutor$1.call(SshActionExecutor.java:206)
at org.apache.oozie.action.ssh.SshActionExecutor$1.call(SshActionExecutor.java:204)
at org.apache.oozie.action.ssh.SshActionExecutor.execute(SshActionExecutor.java:547)
... 10 more

2013-10-09 12:48:25,982 警告 org.apache.oozie.command.wf.ActionStartXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[0000000-131008185935754-oozie-oozi-W@action1] 暂停工作流作业 id=0000000-131008185935754-oozie-oozi-W 2013-10-09 12:48:27,204 警告 org.apache.oozie.command.coord.CoordActionUpdateXCommand:USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[0000000-131008185935754-oozie-oozi-W@action1] E1100:执行前命令前提条件不成立,[,坐标操作为空],错误代码:E1100 2013-10-09 12:59:57,477 信息 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] 已启动 WorkflowKillXCommand for jobId=0000000-131008185935754-oozie-oozi-W 2013-10-09 12:59:57,685 警告 org.apache.oozie.command.coord.CoordActionUpdateXCommand:USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E1100:执行前命令前提条件不成立,[,协调操作为空],错误代码:E1100 2013-10-09 12:59:57,686 信息 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] ENDED WorkflowKillXCommand for jobId=0000000-131008185935754-oozie-oozi-W 2013-10-09 13:41:32,654 警告 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E0725:无法杀死工作流实例,0000000-131008185935754-oozie-oozi-W,错误代码:E0725 2013-10-09 13:41:45,199 警告 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E0725:无法杀死工作流实例,0000000-131008185935754-oozie-oozi-W,错误代码:E0725 2013-10-09 13:42:04,869 警告 org.apache.oozie.command.wf.ResumeXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E1100:命令前提条件在执行前不成立,[工作流程的状态为 KILLED 且未暂停],错误代码:E1100 2013-10-09 13:45:56,357 警告 org.apache.oozie.command.wf.KillXCommand: USER[用户] GROUP[-] TOKEN[] APP[测试] JOB[0000000-131008185935754-oozie-oozi-W] ACTION[-] E0725:无法杀死工作流实例,0000000-131008185935754-oozie-oozi-W,错误代码:E0725

尝试过的方法:

  1. 无密码 SSH 设置
  2. 用户代理设置
  3. 授予所需文件夹的权限

Thanks;

Kasa.


我刚刚遇到了类似的问题。我有一个可以作为用户运行的情况:

ssh -o PasswordAuthentication=no -o KbdInteractiveDevices=no -o StrictHostKeyChecking=no -o ConnectTimeout=20 [email protected] /cdn-cgi/l/email-protection mkdir -p oozie-oozi/0000000-131008185935754-oozie-oozi-W/action1--ssh/

在命令行上手动运行并且它可以工作,但是当通过 Oozie 作为 USER 启动时它失败了。

就我而言,失败的原因是我在 oozie 服务器上的 USER 和远程计算机上的 USER 之间设置了无密码 ssh。需要做的是在 oozie 服务器上的 oozie 和远程计算机上的 USER 之间设置无密码 ssh。换句话说,在 oozie 服务器上 su 到 oozie 并手动运行上述命令。如果失败了,在 Oozie 中也会失败。如果它有效,那么它应该可以在 Oozie 中工作(假设其他所有内容都正确,例如 dir 权限等)

查看您的 oozie 服务器以什么用户身份运行:

ps -ef | grep oozie

无论哪个用户都需要无密码 ssh 到远程计算机上的用户。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Oozie SSH 操作 的相关文章

随机推荐