程序员经验分享-hwhale

hadoop namenode端口正在使用

2024-03-20

这实际上是一个备用 HA 名称节点。它的配置与主要和hdfs namenode -bootstrapStandby已成功运行。它开始出现在配置文件中定义的标准 HTTP 端口 50070 上：

<property>
  <name>dfs.namenode.http-address.ha-hadoop.namenode2</name>
  <value>namenode2:50070</value>
</property>

启动开始正常，然后点击：

15/02/02 08:06:17 INFO hdfs.DFSUtil: Starting Web-server for hdfs at: http://hadoop1:50070
15/02/02 08:06:17 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
15/02/02 08:06:17 INFO http.HttpRequestLog: Http request log for http.requests.namenode is not defined
15/02/02 08:06:17 INFO http.HttpServer2: Added global filter 'safety' (class=org.apache.hadoop.http.HttpServer2$QuotingInputFilter)
15/02/02 08:06:17 INFO http.HttpServer2: Added filter static_user_filter (class=org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter) to context hdfs
15/02/02 08:06:17 INFO http.HttpServer2: Added filter static_user_filter (class=org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter) to context logs
15/02/02 08:06:17 INFO http.HttpServer2: Added filter static_user_filter (class=org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter) to context static
15/02/02 08:06:17 INFO http.HttpServer2: Added filter 'org.apache.hadoop.hdfs.web.AuthFilter' (class=org.apache.hadoop.hdfs.web.AuthFilter)
15/02/02 08:06:17 INFO http.HttpServer2: addJerseyResourcePackage: packageName=org.apache.hadoop.hdfs.server.namenode.web.resources;org.apache.hadoop.hdfs.web.resources, pathSpec=/webhdfs/v1/*
15/02/02 08:06:17 INFO http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: hadoop1:50070
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:890)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:826)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:142)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:695)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:585)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:754)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:738)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1427)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1493)
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:885)
        ... 8 more
15/02/02 08:06:17 INFO impl.MetricsSystemImpl: Stopping NameNode metrics system...
15/02/02 08:06:17 INFO impl.MetricsSystemImpl: NameNode metrics system stopped.
15/02/02 08:06:17 INFO impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
15/02/02 08:06:17 FATAL namenode.NameNode: Failed to start namenode.
java.net.BindException: Port in use: hadoop1:50070
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:890)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:826)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:142)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:695)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:585)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:754)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:738)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1427)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1493)
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:885)
        ... 8 more
15/02/02 08:06:17 INFO util.ExitUtil: Exiting with status 1
15/02/02 08:06:17 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop1.marketstudies.com/192.168.1.125
************************************************************/

我尝试通过设置更改http地址端口：

<property>
  <name>dfs.namenode.http-address.local1-hadoop.hadoop1</name>
  <value>hadoop1:10070</value>
</property>

但随后我仅使用新端口得到与上面相同的结果：

15/02/02 08:16:51 INFO hdfs.DFSUtil: Starting Web-server for hdfs at: http://hadoop1:10070
...
java.net.BindException: Port in use: hadoop1:10070
...
java.net.BindException: Port in use: hadoop1:10070

这在主名称节点上使用相同的配置。

这个问题 https://stackoverflow.com/questions/20862473/hadoop-namenode-does-not-start-jps-shows-only-datanode-to-be-running似乎与我的问题相似，但答案没有帮助。我尝试设置dfs.http.address对其他事情来说并没有改变任何事情。我相信这是一个非 HA 配置选项，在 HA 中替换为dfs.namenode.http-address.ha-name.namenodename

从这里可以看出，实际上没有任何东西在监听 http 端口：

# netstat -anp |grep LIST
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      946/sshd
tcp        0      0 0.0.0.0:46712           0.0.0.0:*               LISTEN      2066/java
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      28892/java
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      28892/java
tcp        0      0 0.0.0.0:8480            0.0.0.0:*               LISTEN      1471/java
tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      2358/zabbix_agentd
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      28892/java
tcp        0      0 0.0.0.0:8485            0.0.0.0:*               LISTEN      1471/java
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      2066/java
tcp        0      0 0.0.0.0:8042            0.0.0.0:*               LISTEN      2066/java
tcp        0      0 127.0.0.1:3306          0.0.0.0:*               LISTEN      1020/mysqld
tcp6       0      0 :::22                   :::*                    LISTEN      946/sshd

尝试以 root 用户身份启动，看看是否存在某种侦听端口的权限问题，但这给出了相同的错误。


发现问题了。这是因为该服务器的 IP 地址发生了短暂的历史变化，但 /etc/hosts 文件只是附加了新的地址，而不是被替换。我认为这让 Hadoop 启动感到困惑，因为它试图在不存在的接口上打开 50070。 “端口正在使用”的错误让这有点令人困惑。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

highavailability

clouderacdh

standby

hadoop namenode端口正在使用 的相关文章

随机推荐

  • 如何向AudioQueue提供音频缓冲区来播放音频？

    在我的应用程序中 我正在接收需要播放的线性 PCM 格式的音频数据 我正在关注 iOS SpeakHere 示例 但是我不知道应该如何以及在哪里提供缓冲区AudioQueue 谁能给我提供一个在 iOS 中播放音频缓冲区的工作示例Audio

  • 为什么在调试模式下 List<>.OrderBy LINQ 比 IComparable+List<>.Sort 更快？

    我感兴趣的是使用 LINQ 对类进行排序更快 还是通过实现 IComparable 接口和 List Sort 更快 当 LINQ 代码更快时 我感到非常惊讶 为了进行测试 我创建了一个非常简单的类 使用不太恰当的名称 TestSort 实

  • 如何以编程方式获取 Camera RAW 元数据信息 Android

    我有一个应用程序 它以编程方式设置相机的硬件参数 然而 据我所知 并且观察到 并非所有芯片组都支持所有参数 例如 Nexus 4 高通 具有清晰度和清晰度最大参数 而 Galaxy Note II 3g 则没有 因此 当我设置清晰度参数时

  • 在 C++ 中模拟 CLOS :before、:after 和 :around

    CLOS 有一个简洁的 before after 和 around 方法概念 before 方法在主要方法之前调用 after 方法在主要方法之后调用 around 方法是围绕 before primary after 序列调用的 befo

  • 计算 R 数据帧列中变量值的唯一组合[重复]

    这个问题在这里已经有答案了 我想计算每个组中出现的变量的唯一组合 例如 df lt data frame id c 1 1 1 2 2 2 3 3 4 4 4 5 6 6 7 7 7 status c a b c a b c b c b c

  • 翻转图标并反向旋转

    里面有一个图标真棒字体集 http fortawesome github io Font Awesome 我想要水平翻转 然后朝该方向旋转 这与常规旋转效果相反 有很多种方法可以做到每一种 但据我所知没有一种方法可以同时做到这两点 因为效果

  • 如果子查询在 MySQL 中返回多于 1 行，如何将 JSON 放入列数据中

    我想使用与我用于选择用户的相同查询来选择用户组合 这是我想要的例子 用户表 UID NAME USERNAME EMAIL PASSWORD STATUS 1 Manoj manoj email protected cdn cgi l em

  • 确定表中偶数/奇数行的更好方法

    假设您有一个包含以下示例代码的网页 tr class even td something1 td td somthing1 1 td tr tr class odd td something2 td td b something2 1 b

  • 错误消息“无法构建模块‘Foundation’”

    我搜索了这个问题 但找不到太多帮助 Error 无法构建模块 Foundation import

  • 如何获取 iOS 中任意线程的正确帧指针？

    获取帧指针的方法 在 iPhone 5s 设备 Xcode 7 上运行的演示应用程序上 我尝试获取frame pointer of an 随意的线程使用thread get state http web mit edu darwin src

  • 设计师如何创建 Line 小部件？

    在 Qt Designer 中 您可以拖动 Line 小部件 这将在您的布局中创建一条线 但我检查了文档和标题 我没有找到 Line 标题 小部件 它是什么 在 Qt 5 7 中 Qt Designer 为水平线生成的代码 可以使用 For

  • 在外部项目上使用 find_package()

    我有一个名为的外部项目messages 我正在使用ExternalProject Add 来获取和构建项目 如果我使用find package messages REQUIRED 在顶层 CMakeLists txt 中cmake 失败是因

  • 如何使用 Win32 API 将 EDIT 控件放入自定义弹出窗口中？

    我正在尝试将 EDIT 控件添加到用作自定义组合框式控件的下拉列表的窗口 最初这个下拉窗口是作为子窗口实现的 WS CHILD 桌面窗口 类似于真正的组合框使用的 ComboLbox 窗口 这工作得很好 但是当编辑窗口放入这样的下拉窗口时

  • 设计时发生火灾事件？

    我目前正在设计一个派生自 System Windows Forms Control 的自定义选项卡控件类 问题是在设计时没有触发任何事件 至少我测试过的事件 包括鼠标事件和键盘事件 这对我来说是一个问题 因为无法在设计器中的选项卡页面之间切

  • scikit-learn 中聚类超参数评估的网格搜索

    我正在对大约 100 条记录 未标记 的样本进行聚类 并尝试使用 grid search 来评估具有各种超参数的聚类算法 我正在使用得分silhouette score效果很好 我的问题是我不需要使用交叉验证方面GridSearchCV R

  • 无法从角 4 快速插入法律归属

    我是 Xcode 和移动应用程序的新手 我正在做一个应用程序来查找当前位置 我在模拟器上测试了它并在控制台中收到了此消息 无法从角 4 插入合法归属 这是什么意思以及如何解决它 import UIKit import Alamofire i

  • 未检测到已安装的组件。元素已经是另一个元素的子元素

    在 App xaml 中 我添加了带有按钮的应用程序资源

  • 如何使用Oracle和.Net客户端实现密码更改功能？

    我正在使用 Oracle 用户来验证 Net 应用程序的用户名和密码 现在我正在研究密码更改功能 数据库具有自定义密码验证 因此如果您尝试更改用户密码并且提供了无效密码 Oracle 将返回多个错误 第一个错误始终是 ORA 28003 指

  • 如何确定我是否过度括号？

    我目前正在尝试避免 C 中的指针算术工作来编写模拟器 通常 如果您添加1对于 C 中的指针 您可以添加所指向对象的大小 但是 我正在尝试使用位和字节 因此这是不希望的 我想知道在这个例子中我是否使用了太多括号 int16 t intptr

  • hadoop namenode端口正在使用

    这实际上是一个备用 HA 名称节点 它的配置与主要和hdfs namenode bootstrapStandby已成功运行 它开始出现在配置文件中定义的标准 HTTP 端口 50070 上

热门标签