安装,使用hadoop集群遇到的坑(vSphere虚拟化环境)

2023-11-02

安装,使用hadoop集群遇到的坑(vSphere虚拟化环境)

(文章不定期更新)

1 环境概述

服务器:LENOVO ThinkServer RD540
虚拟化环境:Esxi5.5
虚拟机系统:Ubuntu 16.04LTS
虚拟机配置:

节点 处理器 内存 硬盘
master 全部 8G 200G
slave10 全部 8G 200G
slave20 全部 4G 130G
slave30 全部 4G 130G
slave40 全部 4G 130G

以上由于slave1-4的名称在局域网中已经被占用,则名后加0

2 坑

2.1 Esxi时断时连

装好Esxi后,在vSphere界面初步安装环境,却发现时断时连。如下图:
时断时连
在连接过程中时不时会抛出异常。

而且在传输大文件必定无法成功:
大文件传输失败

查看Esxi的hostd日志,有:

2018-05-11T02:30:00.023Z [FFE215B0 verbose ‘Statssvc.vim.PerformanceManager’] HostCtl Exception in stats collection. Turn on ‘trivia’ log for details
2018-05-11T02:30:02.219Z [FFE84B70 verbose ‘SoapAdapter’] Responded to service state request
2018-05-11T02:30:20.023Z [FFE215B0 verbose ‘Statssvc.vim.PerformanceManager’] HostCtl Exception in stats collection: Sysinfo error on operation returned status : Not initialized. Please see the VMkernel log for detailed error information

这个Exception指示去Kernel日志中获取详细信息。再查看Esxi的kernel日志:

/var/log # cat vmkernel.log | grep fail

2018-05-10T12:14:09.089Z cpu4:33645)ScsiDeviceIO: 2337: Cmd(0x412e803d1ac0) 0x85, CmdSN 0xa from world 34572 to dev “naa.600605b007e0a4201dfcf3440b1aeec1” failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2018-05-10T12:14:09.089Z cpu4:33645)ScsiDeviceIO: 2337: Cmd(0x412e803d1ac0) 0x4d, CmdSN 0xb from world 34572 to dev “naa.600605b007e0a4201dfcf3440b1aeec1” failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2018-05-10T12:14:09.089Z cpu4:33645)ScsiDeviceIO: 2337: Cmd(0x412e803d1ac0) 0x1a, CmdSN 0xc from world 34572 to dev “naa.600605b007e0a4201dfcf3440b1aeec1” failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x24 0x0.
2018-05-10T12:14:09.099Z cpu4:33645)ScsiDeviceIO: 2337: Cmd(0x412e803d1ac0) 0x85, CmdSN 0xd from world 34572 to dev “naa.50000395a802efd4” failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.
2018-05-10T12:44:09.180Z cpu2:32848)ScsiDeviceIO: 2337: Cmd(0x412e82722980) 0x85, CmdSN 0x14 from world 34572 to dev “naa.600605b007e0a4201dfcf3440b1aeec1” failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x5 0x20 0x0.

其中的数字是SCSI感知代码:
http://pubs.vmware.com/vsphere-50/index.jsp?topic=%2Fcom.vmware.vsphere.troubleshooting.doc_50%2FGUID-E8304C8B-E2EA-459E-A545-8531C1BF12B0.html
看样子好像是硬盘的问题。

官方也给出了详细的排查方案【ESX/ESXi 主机出现间歇性网络连接或无网络连接 (2077745)】

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

安装,使用hadoop集群遇到的坑(vSphere虚拟化环境) 的相关文章

  • Hadoop 构建在 Windows 中失败:native.sln 中缺少 zconf.h?

    我正在尝试在使用 Windows 10 家庭版的开发计算机上构建以下 hadoop 版本 hadoop 2 7 3 src 以下是我本地开发环境的详细信息 Windows 10家庭版 英特尔酷睿 i5 6200U CPU 2 30GHz 内
  • Hive 表的默认分隔符是什么?

    如果我们在创建表时不提及任何分隔符 hive 是否有默认分隔符 创建表日志 ts bigint 行字符串 按 dt 字符串 国家 地区字符串 分区 默认分隔符 001 如果创建hive表时没有设置 您可以将其更改为其他分隔符 例如 hive
  • 当与curl一起使用--negotiate时,是否需要keytab文件?

    The 文档 http hadoop apache org docs stable hadoop project dist hadoop hdfs WebHDFS html描述如何连接到 kerberos 安全端点显示以下内容 curl i
  • java.lang.IllegalArgumentException:错误的 FS:,预期:hdfs://localhost:9000

    我正在尝试实现reduce side join 并使用mapfile reader来查找分布式缓存 但在stderr中检查时它没有查找值 它显示以下错误 lookupfile文件已经存在于hdfs中 并且似乎已正确加载进入缓存 如标准输出中
  • 一个目录下可以有两个oozieworkflow.xml文件吗?

    一个目录下可以有两个oozieworkflow xml文件吗 如果是这样 我如何指示 oozie runner 运行哪一个 您可以有两个工作流程文件 只需为它们指定唯一的名称 然后您可以通过设置oozie wf application pa
  • Sqoop Import --password-file 功能在 sqoop 1.4.4 中无法正常工作

    我使用的是hadoop 1 2 1 sqoop版本是1 4 4 我正在尝试运行以下查询 sqoop import connect jdbc mysql IP 3306 database name table clients target d
  • Curl下载到HDFS

    我有这个代码 curl o fileName csv url xargs hdfs dfs moveFromLocal 1 somePath 当我执行此代码时 curl 将请求中的值放入 fileName csv 中 该文件将移动到 HDF
  • 无法从 JAR 文件加载主类

    我有一个 Spark scala 应用程序 我尝试显示一条简单的消息 Hello my App 当我编译它时sbt compile并运行它sbt run没关系 我成功显示了我的消息 但他显示了错误 像这样 Hello my applicat
  • 2017 年在 OS X 上从源代码构建 Apache Hadoop

    到目前为止 我已经分叉了 Git 存储库 https github com apache hadoop 我一直在寻找有关如何从源代码构建的信息 我尝试过以下命令 mvn package Pdist Dtar DskipTests 这导致了以
  • 在 Hadoop 中按文件中的值排序

    我有一个文件 其中每行包含一个字符串 然后是一个空格 然后是一个数字 例子 Line1 Word 2 Line2 Word1 8 Line3 Word2 1 我需要按降序对数字进行排序 然后将结果放入文件中 为数字分配排名 所以我的输出应该
  • 如果 HBase 不是运行在分布式环境中,它还有意义吗?

    我正在构建数据索引 这将需要以形式存储大量三元组 document term weight 我将存储多达几百万个这样的行 目前我正在 MySQL 中将其作为一个简单的表来执行 我将文档和术语标识符存储为字符串值 而不是其他表的外键 我正在重
  • 猪如何过滤不同的对(对)

    我是猪的新手 我有一个 Pig 脚本 它在两个元素之间生成制表符分隔的对 每行一对 例如 John Paul Tom Nik Mark Bill Tom Nik Paul John 我需要过滤掉重复的组合 如果我使用 DISTINCT 我会
  • http://localhost:50070/ 的 hadoop Web UI 不起作用

    命令 jps 显示以下详细信息 第5144章 5464 节点管理器 5307 资源管理器 5800 Jps 显然namenode和datanode丢失了 网络用户界面位于http 本地主机 50070 http localhost 5007
  • 如何将Hive数据表迁移到MySql?

    我想知道如何将日期从 Hive 转移到 MySQL 我看过有关如何将 Hive 数据移动到 Amazon DynamoDB 的示例 但没有看到有关如何将 Hive 数据移动到 MySQL 等 RDBMS 的示例 这是我在 DynamoDB
  • 猪参考

    我正在学习 Hadoop Pig 并且我总是坚持引用元素 请查找下面的示例 groupwordcount group chararray words bag of tokenTuples from line token chararray
  • 伪分布式模式下的 Hadoop。连接被拒绝

    P S 请不要将此标记为重复 Hi 我一直在尝试以伪分布式模式设置和运行 Hadoop 当我运行 start all sh 脚本时 我得到以下输出 starting namenode logging to home raveesh Hado
  • 在映射器的单个输出上运行多个减速器

    我正在使用地图缩减实现左连接功能 左侧有大约 6 亿条记录 右侧有大约 2300 万条记录 在映射器中 我使用左连接条件中使用的列来创建键 并将键值输出从映射器传递到减速器 我遇到性能问题 因为两个表中的值数量都很高的映射器键很少 例如分别
  • 纱线上的火花,连接到资源管理器 /0.0.0.0:8032

    我正在我的开发机器 Mac 上编写 Spark 程序 hadoop的版本是2 6 spark的版本是1 6 2 hadoop集群有3个节点 当然都在linux机器上 我在idea IDE中以spark独立模式运行spark程序 它运行成功
  • HDFS:使用 Java / Scala API 移动多个文件

    我需要使用 Java Scala 程序移动 HDFS 中对应于给定正则表达式的多个文件 例如 我必须移动所有名称为 xml从文件夹a到文件夹b 使用 shell 命令我可以使用以下命令 bin hdfs dfs mv a xml b 我可以
  • 如何从hdfs读取文件[重复]

    这个问题在这里已经有答案了 我在 project1目录下的hadoop文件系统中有一个文本文件名mr txt 我需要编写 python 代码来读取文本文件的第一行 而不将 mr txt 文件下载到本地 但我无法从 hdfs 打开 mr tx

随机推荐

  • rar压缩命令行的使用

    压缩文件 rar a duxing rar duxing txt 压缩文件夹 rar a dodo rar dodo 带密码 p rar a pZaBaToAd r secret games 带密码压缩包括文件明 hp rar a hp 密
  • Tomcat的环境变量配置

    Tomcat 是一个小型的轻量级应用服务器 在中小型系统和并发访问用户不是很多的场合下被普遍使用 是开发和调试JSP 程序的首选 tomcat文件包中文件储存的文件 bin 启动和关闭tomcat脚本 conf 不同的配置文件 server
  • 27. Remove Element(运行效率打败了99.96%的人)

    我的解决办法效率很高 因为采取了倒序遍历给定val的方法 题目 Given an array nums and a value val remove all instances of that value in place and retu
  • 【阅读笔记】(语义分割最全总结,综述)《A Review on Deep Learning Techniques Applied to Semantic Segmentation》

    本文记录了博主阅读论文 A Review on Deep Learning Techniques Applied to Semantic Segmentation 的笔记 这篇论文是首篇综述深度学习用于语义分割的论文 论文作者称 语言很棒
  • sqli-labs-less-38~53

    less 38 45主要介绍堆叠注入的方法 less 46 53介绍order by 后的注入 less 38 查看源码 我们可以知道 sql SELECT FROM users WHERE id id LIMIT 0 1 我们使用堆叠注入
  • #yyds干货分享#DHCP服务三种机制分配IP地址

    自动分配方式 Automatic Allocation DHCP服务器为主机指定一个永久性的IP地址 一旦DHCP客户端第一次成功从DHCP服务器端租用到IP地址后 就可以永久性的使用该地址 DHCP服务器给主机指定一个具有时间限制的IP地
  • 跨域资源共享 CORS 详解

    CORS是一个W3C标准 全称是 跨域资源共享 Cross origin resource sharing 它允许浏览器向跨源服务器 发出XMLHttpRequest请求 从而克服了AJAX只能同源使用的限制 本文详细介绍CORS的内部机制
  • 测试的目的_为什么需要测试?(软件测试的目的)

    软件测试工程师的职责 也就是软件测试的目的 1 发现被测对象与用户需求之间的差异 即缺陷 2 通过测试活动发现并解决缺陷 增加人们对软件质量的信心 3 通过测试活动了解被测对象的质量状况 为决策提供数据依据 4 通过测试活动积累经验 预防缺
  • docker出现level=error msg=“error unmounting /var/lib/docker/overlay2/2da0b9~解决方案

    docker出现level error msg error unmounting var lib docker overlay2 2da0b9 解决方案 这是由于镜像原因产生的错误 1 停止docker服务 systemctl stop d
  • spring websocket 使用@SendToUser

    之前我们利用 SendTo在方法上进行注解 方法的返回值会被messageconverter转化并推送到消息代理器中 由消息代理器广播到订阅路径去 MessageMapping bar MessageMapping接收客户端消息 SendT
  • 条件变量signal与unlock的顺序

    编写同步队列时 有用到条件变量 对操作队列的线程进行同步 当队列为空时 允许get线程挂起 直到add线程向队列添加元素并通过唤醒条件变量 get线程继续向下运行 条件变量在多线程程序中用来实现 等待 gt 唤醒 逻辑常用的方法 条件变量要
  • 【算法】寻找右侧边界的二分查找

    寻找右侧边界的二分搜索是一种变体 它可以找到最后一个等于目标值的元素的位置 如果数组中不存在目标值 则返回 1 与寻找左侧边界的二分搜索类似 该算法的基本思想也是在每次迭代中将搜索范围缩小一半 直到找到目标元素或搜索范围为空为止 在寻找右侧
  • 前端面试题(四)

    前端面试题 四 1 props和state相同点和不同点 render方法在哪些情况下会执行 2 shouldComponentUpdate有什么作用 3 说说React中的虚拟dom 在虚拟dom计算的时候diff和key之间有什么关系
  • Mybatis动态xml中sql语句拼接参数#和$使用

    背景 在开发过程中一些sql语句需要在xml中进行书写 同时需要拼接一些参数 用于动态查询 例如where语句 排序字段动态排序等 涉及到了sql参数和字段注入的情况 使用 和 以上两种符号适用于参数占位作用 但是使用有一定的区别 用于参数
  • Mapbox GL JS Cookbook - 可视化中心

    点击开始浏览 这是一本关于 Mapbox GL JS 可视化的 小教程 包含多种空间数据格的可视化 地图服务的可视化 特色地图 热力图 聚合图 散点图 迁徙图等等 以及专题地图 Mapbox GL JS 自定义控件和图层l 结合 EChar
  • 5.10晚间黄金CPI精准分析及多空交易策略

    近期有哪些消息面影响黄金走势 本周黄金多空该如何研判 黄金消息面解析 周三 5月10日 亚欧盘中 现货黄金震荡下跌 现报2030美元 盎司 稍早一度触及2038美元 盎司高点 美联储理事杰斐逊周二表示 美国经济正在以一种 有序的方式 放缓
  • 学习Python可以做什么工作?选什么方向?

    学习Python可以做什么工作 Python相关岗位 数据分析师 Web开发 量化交易分析 游戏开发者 自动化测试 网站后端程序员 人工智能 网络安全等 Python语言非常受欢迎 随着互联网的快速发展 很多不是计算机专业的人都在学习Pyt
  • 操作系统导论-基础篇一

    一 操作系统 前期知识的积累 1 概念 CPU简单概念是一个处理器 用来处理和运算 一个CPU在一刻时间只能处理一件事 但为甚麽在现实生活中 我们的电脑好像可以同时进行多个程序 跟我刚才说的好像矛盾 2 虚拟化 举例 假如你的电脑CPU只有
  • spring mvc ajax 提交,SpringMVC的Ajax提交

    这种类型的提交 必须配合 multipartResolver button submit click function ajax type POST url sys config root path login html cache fal
  • 安装,使用hadoop集群遇到的坑(vSphere虚拟化环境)

    安装 使用hadoop集群遇到的坑 vSphere虚拟化环境 文章不定期更新 1 环境概述 服务器 LENOVO ThinkServer RD540 虚拟化环境 Esxi5 5 虚拟机系统 Ubuntu 16 04LTS 虚拟机配置 节点