程序员经验分享-hwhale

Hadoop2.2.0无法访问网页http://:8088

2024-06-25

我设置了一个包含两个节点 hadoop01(master- 10.0.0.151) 和 hadoop02(slaves- 10.0.0.152) 的 hadoop 集群 当输入 start-dfs.sh 然后访问网站 my_ip（上面就是 10.0.0.151）：50070。成功了。
但是当我输入 start-yarn.sh 然后访问网站 my_ip:8088 。失败了。

我的纱线站点.xml：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop01:8032</value>
</property>        
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop01:8030</value>
</property>

<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop01:8031</value>
</property>

<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop01:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop01:8088</value>
</property>

核心站点.xml：

<configuration>
<property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop01:8020</value>
 </property>
 </configuration>

与hadoop02(slave)相同的设置

我的 hadoop01 hadoop-2.2.0/etc/hadoop/slaves 设置

hadoop01
hadoop02

输入 start-dfs.sh 和 start-yarn.sh 后，我输入 jps

hadoop01:
21594 NameNode
22345 NodeManager
22007 SecondaryNameNode
22171 ResourceManager
23147 Jps
21762 DataNode
hadoop02:
29861 NodeManager
30358 Jps
29665 DataNode

我的 /etc/hosts 在 hadoop01 中：

localhost       hadoop01
10.0.0.151      hadoop01
10.0.0.152      hadoop02

我的 /etc/hosts 在 hadoop02 中：

localhost       hadoop02
10.0.0.151      hadoop01
10.0.0.152      hadoop02

下面的链接是我的yarn-nodemanager.log，我上传到谷歌驱动器https://drive.google.com/file/d/0B7nCJ_XJWSrQN1BZVTVyOEgxd1E/edit?usp=sharing https://drive.google.com/file/d/0B7nCJ_XJWSrQN1BZVTVyOEgxd1E/edit?usp=sharing但如果我没有错过一些信息，yarn-nodemanager.log 不会出现错误。

请帮我解决无法访问网站的问题http://10.0.0.151:8088

**如果需要其他信息（例如 hdfs-site.xml...等）请告诉我。我来更新..

netstat -tunalp | grep LISTEN
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      17442/java
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      17442/java
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      17442/java
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      17693/java
tcp        0      0 10.0.0.151:8020         0.0.0.0:*               LISTEN      17267/java
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      17267/java
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -
tcp6       0      0 :::13562                :::*                    LISTEN      21061/java
tcp6       0      0 10.0.0.151:8030         :::*                    LISTEN      20881/java
tcp6       0      0 10.0.0.151:8031         :::*                    LISTEN      20881/java
tcp6       0      0 10.0.0.151:8032         :::*                    LISTEN      20881/java
tcp6       0      0 10.0.0.151:8033         :::*                    LISTEN      20881/java
tcp6       0      0 :::33762                :::*                    LISTEN      21061/java
tcp6       0      0 :::8040                 :::*                    LISTEN      21061/java
tcp6       0      0 :::8042                 :::*                    LISTEN      21061/java
tcp6       0      0 :::22                   :::*                    LISTEN      -
tcp6       0      0 10.0.0.151:8088         :::*                    LISTEN      20881/java

禁用 ipv6 后，我输入 netstat -tunalp | grep 听

tcp        0      0 0.0.0.0:13562           0.0.0.0:*               LISTEN      30608/java
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      29967/java
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      29967/java
tcp        0      0 10.0.0.151:8030         0.0.0.0:*               LISTEN      30424/java
tcp        0      0 10.0.0.151:8031         0.0.0.0:*               LISTEN      30424/java
tcp        0      0 0.0.0.0:52992           0.0.0.0:*               LISTEN      30608/java
tcp        0      0 10.0.0.151:8032         0.0.0.0:*               LISTEN      30424/java
tcp        0      0 10.0.0.151:8033         0.0.0.0:*               LISTEN      30424/java
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      29967/java
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      30608/java
tcp        0      0 0.0.0.0:8042            0.0.0.0:*               LISTEN      30608/java
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      30222/java
tcp        0      0 10.0.0.151:8020         0.0.0.0:*               LISTEN      29790/java
tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      29790/java
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -  
tcp        0      0 10.0.0.151:8088         0.0.0.0:*               LISTEN      30424/java
tcp6       0      0 :::22                   :::*                    LISTEN      -

原因是您应该将 10.0.0.151:8088 更改为 0.0.0.0:8088。方法是打开yarn-site.xml，添加：

<property> 
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

Hadoop2.2.0无法访问网页http://:8088 的相关文章

  • 在 Hadoop MapReduce 中为二进制文件创建自定义 InputFormat 和 RecordReader

    我正在编写一个 M R 作业 该作业处理以二进制格式编写的大型时间序列数据文件 如下所示 此处换行以提高可读性 显然 实际数据是连续的 TIMESTAMP 1 TIMESTAMP 1 TIMESTAMP 2 TIMESTAMP 2 TIME

  • 无法在 Windows 10 中启动 Spark Master

    我是 Spark 新手 我正在尝试手动启动 master 在 Windows 10 中使用 MINGW64 当我这样做时 Downloads spark 1 5 1 bin hadoop2 4 spark 1 5 1 bin hadoop2

  • 公平调度器和容量调度器有什么区别？

    我是 Hadoop 世界的新手 想了解公平调度程序和容量调度程序之间的区别 另外我们什么时候应该使用每一个 请简单地回答一下 因为我在网上读了很多东西 但从中得到的不多 公平调度是一种为作业分配资源的方法 使得所有作业随着时间的推移平均获得

  • 与文件名中的冒号“：”作斗争

    我有以下代码 用于加载大量 csv gz 并将它们转储到其他文件夹中 并将源文件名作为一列 object DailyMerger extends App def allFiles path File List File val parts

  • 如何有效地将数据从 Kafka 移动到 Impala 表？

    以下是当前流程的步骤 Flafka http blog cloudera com blog 2014 11 flafka apache flume meets apache kafka for event processing 将日志写入

  • Hive NVL 不适用于列的日期类型 - NullpointerException

    我正在使用 HDFS 上的 MapR Hive 发行版并面临以下问题 如果表的列类型是 日期 类型 则NVL https cwiki apache org confluence display Hive LanguageManual UDF

  • Impala：如何查询具有不同模式的多个镶木地板文件

    在 Spark 2 1 中我经常使用类似的东西 df spark read parquet path to my files parquet 即使具有不同的模式 也可以加载镶木地板文件的文件夹 然后我使用 SparkSQL 对数据帧执行一些

  • 以不同用户身份运行 MapReduce 作业

    我有一个与 Hadoop 交互的 Web 应用程序 Cloudera cdh3u6 特定的用户操作应在集群中启动新的 MapReduce 作业 该集群不是一个安全集群 但它使用简单的组身份验证 因此 如果我以自己的身份通过 ssh 连接到它

  • 如何用snappy解压hadoop的reduce输出文件尾？

    我们的 hadoop 集群使用 snappy 作为默认编解码器 Hadoop作业减少输出文件名就像part r 00000 snappy JSnappy 无法解压缩文件 bcz JSnappy 需要以 SNZ 开头的文件 归约输出文件以某种

  • 以编程方式读取 Hadoop Mapreduce 程序的输出

    这可能是一个基本问题 但我在谷歌上找不到答案 我有一个映射缩减作业 它在其输出目录中创建多个输出文件 我的 Java 应用程序在远程 hadoop 集群上执行此作业 作业完成后 需要使用以下命令以编程方式读取输出org apache had

  • Hive 聚集在多个列上

    据我所知 当配置单元表聚集在一列上时 它会执行该分桶列的哈希函数 然后将该行数据放入其中一个桶中 每个桶都有一个文件 即如果有 32 个桶 那么 hdfs 中就有 32 个文件 将 clustered by 放在多个列上意味着什么 例如 假

  • 伪模式下没有名称节点错误

    我是hadoop新手 正处于学习阶段 根据 Hadoop Definitve 指南 我已将 hadoop 设置为伪分布式模式 一切正常 昨天我什至能够执行第三章中的所有示例 今天 当我重新启动我的unix并尝试运行start dfs sh然

  • Protobuf RPC 在 Hadoop 2.2.0 单节点服务器上不可用？

    我正在尝试在按照本教程安装的本地单节点集群上运行 hadoop 2 2 0 mapreduce 作业 http codesfusion blogspot co at 2013 10 setup hadoop 2x 220 on ubuntu

  • MapReduce 中的分区到底是如何工作的？

    我认为我总体上对 MapReduce 编程模型有一定的了解 但即使在阅读了原始论文和其他一些来源之后 我仍然不清楚许多细节 特别是关于中间结果的分区 我将快速总结到目前为止我对 MapReduce 的理解 我们有一个可能非常大的输入数据集

  • AWS EMR 引导操作为 sudo

    我需要更新 etc hosts适用于我的 EMR 集群 EMR AMI 4 3 中的所有实例 整个脚本无非就是 bin bash echo e ip1 uri1 gt gt etc hosts echo e ip2 uri2 gt gt e

  • Hadoop 作业：任务在 601 秒内无法报告状态

    在伪节点上运行 hadoop 作业时 任务失败并被杀死 错误 任务尝试 在 601 秒内无法报告状态 但同一个程序正在通过 Eclipse 运行 本地作业 任务 大约有 25K 个关键字 输出将是所有可能的组合 一次两个 即大约 25K 2

  • MapReduce 中 1 个任务的减速器数量

    在典型的 MapReduce 设置 如 Hadoop 中 1 个任务使用多少个减速器 例如计算单词数 我对 Google MapReduce 的理解意味着只涉及 1 个减速器 那是对的吗 例如 单词计数会将输入分为 N 个块 并且 N 个

  • 从机上的 DiskErrorException - Hadoop 多节点

    我正在尝试处理来自 hadoop 的 XML 文件 在对 XML 文件调用字数统计作业时出现以下错误 13 07 25 12 39 57 INFO mapred JobClient Task Id attempt 201307251234

  • 如何使用 log4j 自定义附加程序在 HDFS 上创建日志？

    Overview 我们希望使用 log4j 记录 Spark 作业活动 并将日志文件写入 HDFS Java 8 Spark 2 4 6 Scala 2 1 2 Hadoop 3 2 1 我们无法找到本地 apache log4j 附加程序

  • Hive：为现有文件夹结构添加分区

    我在 HDFS 中有一个文件夹结构 如下所示 但是 实际上没有使用以下命令在表上创建分区ALTER TABLE ADD PARTITION命令 即使文件夹结构的设置就像表有分区一样 如何自动将所有分区添加到Hive表中 Hive 1 0 外

随机推荐

  • 金钱计算，Java 和 Oracle/PL SQL 的使用比较

    大家可以对 Oracle PL SQL 和 Java 在处理货币计算时的优缺点进行很好的比较 如果您要开发一个需要处理大量资金计算的应用程序 您会使用这两者中的哪一个 为什么 这个问题并不是要引发oracle pl sql和java爱好者之

  • FRebase Firestore onCreate 云函数事件参数未定义

    我尝试按照 Firebase 的文档和其他 SO 帖子访问我已成功部署的云函数的参数值 不幸的是我仍然收到了 类型错误 无法读取未定义的属性 id 我已经记录了 event params 并且它输出为未定义 所以我理解这个问题 但不确定从语

  • 在 REDIS+RABBITMQ+Celery 中访问 Postgres DB 会使用“信号 11 (SIGSEGV) 终止 Python 任务”

    当我们运行 SQL 命令时 例如 video Video objects get pk 1 在Python视图中 它工作没有任何问题 然而 如果在定义为 celery 的方法中启动 shared task 它死了并杀死了PythonERRO

  • 使用 theme_menu_tree() 为自定义菜单设置主题

    我正在尝试覆盖块中的自定义菜单输出 以便代替 ul class menu ul 我可以得到

  • HTMLInputElement 没有方法“val”

    我正在循环遍历表行中的单元格 每个单元格中都有一个文本框 我想获取文本框的值并将其推送到数组中 function dothing var tds selected td var submitvals new Array tds each f

  • 在 IntelliJ 中运行单元和集成测试

    目前 我的 Java 项目中有两组不同的测试 单元测试 集成测试 这些测试使用 Arquillian 在容器中运行 我目前使用 Gradle 作为我的构建脚本 并使用 JetGradle 与 IntelliJ 12 集成 在我的 Gradl

  • rxJava中如何返回值

    我是 rxJava 的新手 它让我头晕目眩 基本上 我通过改造从 youtube api 中提取数据 该改造返回 Observable 并使用 youtubeDataMapper 将其映射到包含字符串 videoID 的 Youtube P

  • Javascript for-in 和内置属性

    为什么使用 for in 控制块时不会迭代 javascript 对象的内置属性 而用户定义的属性却可以 例如 var y car for var j in y console log j 将打印 0 1 2 尽管 String proto

  • PHP 代码帮助 - 黑客攻击 apache 服务器

    我发现以下代码出现在我的多个服务器网站上的两个相同的 php 文件中 这些文件的名称不显眼 例如 reminder php 但每次都有不同的名称 并出现在我的 scripts 和 uploads 文件夹中 有时出现在其他文件夹中 它们的出现

  • 我计算的 FPS 正确吗？

    所以我想知道我是否正确计算了 FPS Uint32 delayFrom float startTime float endTime return endTime startTime int main int numFrames 0 Uint

  • 如何在 Windows 操作系统上安装 BigMemory 和 bigrf

    我一直在尝试在我的 R 安装上安装 bigmemory 我的操作系统是 windows 7 64 位 我已经在 R V2 15 1 2 15 2 和 3 0 1 64 位上尝试过 但我无法让它工作 我尝试了几种选择 下载当前源并在 R v3

  • 在 AWS Tensorflow 实例中安装 SciPy

    我完全碰壁了 我正在尝试将 SciPy 安装在预先配置了 Tensorflow 的 AWS 实例上 该实例没有apt get包管理器 所以我被迫使用pip 所以我尝试过udo usr local bin pip install scipy

  • 如何查看 SVN 工作副本中每个文件的修订号？

    我与另一位开发人员在同一个工作副本中工作 我知道这是一个坏主意 我们通常会更新单个文件 现在我们有一些版本中的文件和另一个版本中的其他文件 如何查看包含各自修订号的文件列表 工作副本位于 Linux 机器中 我们使用 svn 命令行 预先感

  • 你能通过 JavaScript 保存/加载文件吗？

    我想使用 HTML5 Canvas 创建一个非常简单的 Javascript 游戏 但是是否可以保存一个简单的 txt 文件并加载一个简单的 txt 文件 我只需要存储一些简单的整数 但我只是想知道是否允许javascript保存和加载外部

  • Excel 单元格对齐：例如数值xlLeft、xlRight 还是 xlCenter？

    我一直在尝试对齐 Excel 单元格文本值 我尝试过更常见的xlLeft xlRight但这似乎不起作用 错误是xlLeft没有宣布 我正在使用 Visual Studios 并使用 VB 创建一个 aspx 页面 这是我的代码示例 Dim

  • Android 中的序列化

    我正在尝试在 android 中序列化绘图和路径 当我将对象写入 Objectoutputstream 时 会引发 Notserializabale 异常 我还覆盖了serializabale类中的writeObject 方法 这是代码 p

  • glm 起始值不被接受日志链接

    我想运行带有日志链接和偏移量的高斯 GLM 出现以下问题 y lt c 1 1 0 0 t lt c 5 3 2 4 没问题 exp coef glm y 1 offset log t family poisson with family

  • 箱线图不会用 ggvis 显示

    我正在尝试制作箱线图ggvis即使有一个简单的例子我似乎也无法查看 library dplyr library ggplot2 library shiny I think this is required not sure data fra

  • 根据一个标识列值对包含对象的两个数组进行合并和分组

    我在按特定场景合并数组时遇到问题 在这里搜索类似案例没有结果 为了清楚地了解我的要求 请看下一个示例 array1 object call date gt 2013 10 22 00 00 00 first amount gt 10 obj

  • Hadoop2.2.0无法访问网页http://:8088

    我设置了一个包含两个节点 hadoop01 master 10 0 0 151 和 hadoop02 slaves 10 0 0 152 的 hadoop 集群 当输入 start dfs sh 然后访问网站 my ip 上面就是 10 0

热门标签