hadoop pagerank运行时出现错误

2024-02-14

我已经在我的 vmware 上安装了 hadoop 并设计了我的 jar 文件 pagerank。运行以下命令:

hadoop jar PageRank-1.0.0.jar PageRankDriver init 输入输出 2,出现以下错误;

Failing this attempt.Diagnostics: [2017-12-01 12:55:58.278]Exception from container-launch.
Container id: container_1512069161738_0011_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1: 
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:994)
        at org.apache.hadoop.util.Shell.run(Shell.java:887)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1212)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:295)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.launchContainer(ContainerLaunch.java:457)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:277)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:90)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

[2017-12-01 12:55:58.278]
[2017-12-01 12:55:58.279]Container exited with a non-zero exit code 1. Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.e nv</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
[2017-12-01 12:55:58.279]
[2017-12-01 12:55:58.279]Container exited with a non-zero exit code 1. Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.e nv</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
[2017-12-01 12:55:58.279]
For more detailed output, check the application tracking page: http://number9.cs.stevens.edu:8088/cluster/app/application_1512069161738_0011 Then click on links to logs of each attempt.
. Failing the application.
2017-12-01 12:55:59,219 INFO mapreduce.Job: Counters: 0
Init Job Error

有谁知道我该如何解决这个问题?


进行配置更改mapred-site.xml如下

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

hadoop pagerank运行时出现错误 的相关文章

随机推荐

  • 使用specs2 + scalalogging 进行单元测试记录器消息

    我这里有一个小问题 真的不知道如何实现记录器消息的单元测试 当然 这听起来有点奇怪 但对我来说这是一个非常有趣的话题 但让我说得更具体一些 我有一些 scala 类和测试规范 class Testable extends Logging d
  • JavaScript 中的 MAC 地址

    我知道我们可以通过 IE ActiveX 对象 获取用户的 MAC 地址 有没有办法使用JavaScript获取用户的MAC地址 我同意之前的所有答案 如果您能够直接从 Javascript 执行此操作 这将是一个隐私 安全漏洞 我能想到的
  • MSIE 10、网页字体和字体功能设置导致文本不可见

    我认为这确实是 Microsoft Internet Explorer 10 中的一个错误 但我在任何地方都找不到该问题的任何解释 问题的现场演示可以在以下位置找到http jsfiddle net 37Bu5 http jsfiddle
  • SBT测试中出现奇怪的异常

    我面临 SBT 版本 0 13 9 的问题 我的 ScalaTest 测试之一失败 不确定性EOFException 堆栈跟踪 Exception in thread Thread 155 Exception in thread Threa
  • 两个同名字段

    我有一个 ViewModel 类来封装 个人 和 业务 模型 我的问题是 两个模型都有一个名为 电子邮件 的属性 并且模型绑定无法区分两者 我读到了 Bind Prefix 用于解决此问题 但我还没有看到有关如何实现此目的的简洁示例 pub
  • 在另一列之后添加列

    如何使用 Alembic 或 SQLAlchemy 将一列又一列添加到数据库中 那相当于这个 SQL 子句 https stackoverflow com a 2934335 2100933 ALTER TABLE foo CHANGE C
  • 自动测试问题

    我刚刚安装了 Zentest 4 4 6 其中包括自动测试 4 4 6 当我运行自动测试时 出现以下错误 gems ZenTest 4 6 0 lib autotest rb 226 in autodiscover undefined me
  • 科尔多瓦建造|运行失败 -compileDebugJavaWithJavac

    我在构建我的项目时遇到问题安卓平台 on 阿帕奇科尔多瓦 版本号 Android 5 0 1 三星 Galaxy S4 Cordova 6 1 1 于 2016 年 7 月 4 日从 5 1 1 更新 离子 1 7 14 Windows 7
  • 如何在MySQL中实现关键字搜索?

    我是 SQL 编程新手 我有一个表作业 其中的字段id position category location salary range description refno 我想实施一个关键词搜索从前端 关键字可以驻留在上表的任何字段中 这是
  • 如果初始帧是 CGRectZero,则自定义 UIView 的 drawRect 永远不会被调用

    我有一个非常简单的 UIView 自定义子类 import BarView h import
  • 为什么 Tensorflow 文档中没有提及 contrib.layers.linear?

    我试图理解其他人的简单张量流模型 他们使用 contrib layers linear 但是我在任何地方都找不到有关此内容的任何信息 并且张量流文档中也没有提及 The tf contrib layers模块有API文档here https
  • 如何将 Oracle 中一个表的分区导入到另一个表中?

    我想知道以下步骤是否可行以及速度有多快 在表A中创建名为part1的分区 删除表B中的分区part1 将表A分区part1导入表B 如果确实可能的话 你能为我提供一个例子吗 或者有什么资源可以看吗 请注意 这些表将具有完全相同的结构 你可以
  • 在贝塞尔曲线路径上移动对象

    我想在贝塞尔曲线路径上从上到下移动图像 但我不知道如何计算该路径的 x y 点和斜率 该路径如下图所示 我有起点 终点和两个控制点 Path path new Path Point s new Point 150 5 Point cp1 n
  • 如何让puppeteer浏览器保持在后台运行而不跳转到前台?

    使用时puppeteer通过a抓取一堆网站for loop 每当创建一个新页面时 浏览器就会跳转到前台 这妨碍了我在计算机上做其他事情 即使我设置了以下参数 它仍然不起作用 那么我怎样才能让浏览器安静地运行而不跳到前台并打断我呢 我需要跑进
  • 如何在 mPDF 中设置自定义页面尺寸?

    我需要一些有关 mPDF 的帮助 我想设置我的自定义页面尺寸 确切地说 宽度 49 毫米 高度 200 毫米 但我找不到解决方案 我找到了 mPDF 手册 http mpdf1 com manual index php tid 184 ht
  • Pyside安装错误

    我有 32 位 Windows 7 操作系统 今天 我尝试下载 PySide 安装程序 但是 在我尝试运行下载的文件后 出现以下错误 PySide 安装程序无效或损坏 为什么我会得到这个 我最近开始了一门关于使用 Qt 框架使用 Pytho
  • Matplotlib 添加默认水印

    我在用着matplotlib对于工作和公司来说 政策是在我们制作的每个图上都包含水印 有没有办法设置matplotlib默认情况下执行此操作 我目前正在通过每个Axes对象到辅助函数中 该函数在左下角添加水印 import matplotl
  • 如何隐藏/显示UIimageview?

    void viewDidAppear BOOL animated super viewDidAppear animated CGRect viewRect CGRectMake 250 100 30 30 as UIImageView al
  • “政党模式”背后的原则和好处是什么?

    派对模型 是关系数据库设计的一种 模式 它至少有一部分涉及找到许多实体 例如客户 员工 合作伙伴等 之间的共性 并将其分解到一些更 抽象 的数据库表中 我想了解您对以下问题的想法 政党模式背后的核心原则和动力是什么 它规定您对数据模型做什么
  • hadoop pagerank运行时出现错误

    我已经在我的 vmware 上安装了 hadoop 并设计了我的 jar 文件 pagerank 运行以下命令 hadoop jar PageRank 1 0 0 jar PageRankDriver init 输入输出 2 出现以下错误