构建Hadoop集群实验

2023-11-03

(1)在#后输入cd /home/命令,进入home目录下,在#后输入vi Dockerfile命令,创建并编辑一个Dockerfile文件,示例代码如下:

[root@xxx home]# vi Dockerfile

按i(小写)键,进入编辑模式,将以下代码输入至Dockerfile文件当中。示例代码如下:

FROM centos

MAINTAINER zing

ADD jdk-7u79-linux-x64.tar.gz /usr/local/

ENV JAVA_HOME /usr/local/jdk1.7.0_79

ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-2.6.4.tar.gz /usr/local

ADD hadoop-env.sh /usr/local/hadoop-2.6.4/etc/hadoop/hadoop-env.sh

ADD hdfs-site.xml /usr/local/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

ADD core-site.xml /usr/local/hadoop-2.6.4/etc/hadoop/core-site.xml

ADD yarn-site.xml /usr/local/hadoop-2.6.4/etc/hadoop/yarn-site.xml

ADD mapred-site.xml /usr/local/hadoop-2.6.4/etc/hadoop/mapred-site.xml

ADD slaves /usr/local/hadoop-2.6.4/etc/hadoop/slaves

ENV HADOOP_HOME /usr/local/hadoop-2.6.4

ENV PATH $HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

RUN yum install -y openssh-server openssh-clients sudo which

RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config

RUN echo "root:000000" | chpasswd

RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers

RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key

RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd

EXPOSE 22 50070 8088

CMD ["/usr/sbin/sshd", "-D"]

按Esc键进入末行模式,输入:wq命令,保存内容并退出。示例代码如图1所示:

在这里插入图片描述

(2)在#后输入docker build -t zing/hadoop .命令,构建镜像,示例代码如图2所示:
在这里插入图片描述

(3)待构建完成后,在#后输入docker images命令,查看镜像列表。示例代码如图3所示:

在这里插入图片描述

(4)通过在#后输入docker network create --subnet 192.168.5.0/24 --gateway 192.168.5.1 hadoop_net命令,创建Hadoop集群的网络。示例代码如图4所示:
在这里插入图片描述
(5)在#后输入docker run -idt -P --name master -h master --net hadoop_net zing/hadoop命令,使用Hadoop镜像创建master容器,然后在#后输入docker run -idt -P --name slave -h slave --net hadoop_net zing/hadoop命令,使用Hadoop镜像创建slave容器,示例代码如图5所示:

在这里插入图片描述

(6)在#后docker exec -it master ping -c 4 slave命令,检查Hadoop集群之间是否能通信,示例代码如图6所示:

在这里插入图片描述

(7)在#后输入docker exec -it master ssh-keygen命令,为master容器配置SSH无密钥登录,在(/root/.ssh/id_rsa):后按Enter键,在(empty for no passphrase):后按Enter键,在Enter same passphrase again:后按Enter键,示例代码如图7所示:

在这里插入图片描述

(8)在#后输入docker exec -it slave ssh-keygen命令,为master容器配置SSH无密钥登录,在(/root/.ssh/id_rsa):后按Enter键,在(empty for no passphrase):后按Enter键,在Enter same passphrase again:后按Enter键,示例代码如图8所示:
在这里插入图片描述
(9)在#后输入docker exec -it master ssh-copy-id slave命令,将master容器中的秘钥复制到slave中,在(yes/no)?后输入yes,在root@slave’s password:后输入密码000000,按Enter键,示例代码如图9所示:
在这里插入图片描述

(10)在#后输入docker exec -it slave ssh-copy-id master命令,将slave容器中的秘钥复制到master中,在(yes/no)?后输入yes,在root@master’s password:后输入密码000000,按Enter键,示例代码如图10所示:

在这里插入图片描述

(11)在#后输入docker exec -it master ssh-copy-id master命令,将master容器中的秘钥复制到master中,在(yes/no)?后输入yes,在root@master’s password:后输入密码000000,按Enter键,示例代码如图11所示:

在这里插入图片描述

(12)在#后输入docker exec -it slave ssh-copy-id slave命令,将slave容器中的秘钥复制到slave中,在(yes/no)?后输入yes,在root@slave’s password:后输入密码000000,按Enter键,示例代码如图12所示:

在这里插入图片描述
(13)在#后输入docker exec -it master hadoop namenode –format命令,初始化Hadoop集群,示例代码如图13所示:

初始化完成示例代码如图14所示:
在这里插入图片描述
(14)在#后输入docker exec -it master start-all.sh命令,启动Hadoop集群,在(yes/no)?后输入yes,并按Enter键。示例代码如图15所示:

在这里插入图片描述

(15)在#后输入docker port master命令,查看Hadoop集群映射端口,示例代码如图16所示:

在这里插入图片描述

(16)在#后输入curl -L http://127.0.0.1:32772命令(端口号为8088映射的端口),通过curl获取Hadoop集群网页代码,示例代码如图17所示:

在这里插入图片描述

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

构建Hadoop集群实验 的相关文章

  • 使用ECS和mysql搭建mysql服务器

    一 首先得在阿里云等云主机上申请两台主机 二 现在连上去安装mysql 1 通过安装源将mysql下载下来 root iz2ze2llim71y07x3numlbz wget https dev mysql com get mysql57
  • Windows Server 2019 会话远程桌面-快速部署(RemoteApp)

    目录 一 实验要求 二 搭建远程桌面服务RDS 三 需要软件安装 1 安装Firefox 浏览器 2 安装一款视频播放器 3 安装WPS office 套件 四 发布应用 1 发布Firefox 浏览器 2 发布一款视频播放器 3 发布WP
  • HTTP Connection 头(header)说明:keep-alive和closer的区别

    HTTP Connection 头 header 说明 keep alive和closer的区别 前言 在http请求时 我们一般会在request header 或 response header 中看到 Connection Keep
  • 一文揭秘饿了么跨端技术的演进、实践与落地

    本文会先带领大家一起简单回顾下跨端技术背景与演进历程与在这一波儿接着一波儿的跨端浪潮中的饿了么跨端现状 以及在这个背景下 相较于业界基于 React Vue 研发习惯出发的各种跨端方案 饿了么为什么会选择走另外一条路 这个过程中我们的一些思
  • DAMA-DMBOK2重点知识整理CDGA/CDGP——第2章 数据处理伦理

    目录 一 分值分布 二 重点知识梳理 1 语境关系图 2 引言 3 业务驱动因素 4 基本概念 一 分值分布 CDGA 2分 2单选 CDGP 0分 不考 二 重点知识梳理 1 引言 预警关系图 数据处理伦理定义 如何以符合道德准则及社会责
  • 千万并发连接下,如何保障网络性能

    点击一键订阅 云荐大咖 专栏 获取官方推荐精品内容 学技术不迷路 过去几十年互联网呈爆发式的增长 内容的丰富以及层出不穷的DDoS攻击等 对网络性能提出了极大的挑战 也同样促进了网络基础设施的快速发展 运营商的带宽越来越大 CPU 网卡等硬
  • 阿里云无影云电脑怎么买?阿里无影云电脑教程

    可以理解成一台普通的远程连接的电脑不能用于建站之类 纯粹处理办公文档一类 阿里云无影云电脑怎么买 云电脑无影在哪里买 阿里云无影云电脑已经底调上线 可以在阿里云官方云小站购买 目前 阿里云无影云电脑针对新用户有优惠活动 mini版无影云电脑
  • 北森,SaaS风口上的「新范式」

    在单纯的战略表象背后 成立19年 北森在每一个节点做选择的核心驱动力是什么 这家公司是否拥有自己内部的 组织密码 作者 皮爷 出品 产业家 2013年 纪伟国决定要去美国 取取经 和他同行的还有参与了北森A轮融资的经纬等机构投资人 对于北森
  • 【腾讯云云上实验室】个人对腾讯云向量数据库的体验心得

    目录 前言 Tencent Cloud VectorDB概念 使用初体验 腾讯云向量数据库的优势 应用场景有哪些 未来展望 番外篇 腾讯云向量数据库的设计核心 结语 前言 还是那句话 不用多说想必大家都能猜到 现在技术圈最火的是什么 非人工
  • 阿里云服务器有WordPress还可以再安装宝塔面板吗?

    不推荐 宝塔面板要求必须是纯净的操作系统环境安装宝塔 否则可能会有问题的 所以最好是先安装宝塔面板 再去安装wordpress 原文地址 阿里云服务器 WordPress 还可以再安装宝塔面板吗 轻量云Cloud WordPress一款广泛
  • 戴尔工作站测试VMware虚拟机使用 RTX4090显卡

    1 随着人工智能和AI的发展 显卡运算获得越来越广发的运用 nvidia必然是首选 如何将nvidia显卡应用于虚拟机成为一个新的需求 好处是不同虚拟机可以轮流使用显卡进行计算 缺点是不能同时使用 本次需求为硬件为戴尔工作站 里面装两块 R
  • 国外免费VPS真的零成本云计算体验?

    在当今数字化时代 云计算已经成为企业和个人的热门选择之一 云计算提供了便捷 灵活和经济高效的计算资源 可以帮助人们处理数据 托管网站 运行应用程序等等 然而 对于一些初学者来说 使用云计算可能会变得有些昂贵 但是 有一种方式可以让您尝试云计
  • 阿里云添加二级域名

    阿里云添加二级域名 1 申请配置域名 1 1 购买域名 1 2 登录到阿里云服务器控制台 进入云解析DNS页面 1 3 点击 域名解析 1 4 点击 添加记录 1 5 进行txt校验 1 6 添加记录
  • 干货下载丨不分业态、不关注核心需求,怎么做得好项目管理?!

    项目管理 装备制造业的破局利刃 对于装备制造行业而言 每一笔订单都是 非标定制 小批量制造 这种特性决定了其行业企业普遍存在 新品开发周期长 生产效率低 质量不稳定 交货期不稳定 成本预算难控制 非标品报价慢 等问题 如何提升企业的管理水平
  • 中国首家!腾讯云入选Gartner®视频平台服务市场指南代表厂商

    近日 Gartner正式发布 Market Guide for Video Platform Services 视频平台服务市场指南 下称 指南 凭借领先的音视频技术和产品组合优势 腾讯云成为中国首家且唯一入选的代表厂商 腾讯云VPS一站式
  • Docker与云计算平台集成:AWS、Azure、GCP完全指南

    Docker和云计算平台的结合 如AWS Amazon Web Services Azure Microsoft Azure 和GCP Google Cloud Platform 为现代应用的构建和部署提供了巨大的便利性 本文将深入研究如何
  • AWS解决方案架构师学习与备考

    系列文章目录 送书第一期 用户画像 平台构建与业务实践 送书活动之抽奖工具的打造 获取博客评论用户抽取幸运中奖者 送书第二期 Spring Cloud Alibaba核心技术与实战案例 送书第三期 深入浅出Java虚拟机 送书第四期 AI时
  • CloudPulse:一款针对AWS云环境的SSL证书搜索与分析引擎

    关于CloudPulse CloudPulse是一款针对AWS云环境的SSL证书搜索与分析引擎 广大研究人员可以使用该工具简化并增强针对SSL证书数据的检索和分析过程 在网络侦查阶段 我们往往需要收集与目标相关的信息 并为目标创建一个专用文
  • 实实在在万事达!实在智能助力山东万事达集团加速数智化转型

    近日 杭州实在智能科技有限公司 以下简称 实在智能 与山东建筑钢市场 领头羊 山东万事达控股有限公司 以下简称 万事达集团 召开 RPA 机器人流程自动化 项目启动会 实在智能携手万事达集团 联合共建财务RPA一体化研发管理项目 以下简称
  • 天翼运行高校云盘在线扩容

    天翼云文档地址 https www ctyun cn document 10027696 10169558 1 输入 growpart命令 检查此云主机是否已安装growpart扩容工具 若出现图中回显信息 则说明已经安装 无需手动安装 注

随机推荐

  • DS18B20使用说明

    DS18B20 温湿度监测模块 芯片介绍 基础介绍 引脚介绍 DS18B20是单总线协议的典型代表 同时也是单总线协议最广泛的应用场景 是常用的数字温度传感器 其输出的是数字信号 具有体积小 硬件开销低 抗干扰能力强 精度高的特点 DS18
  • 动态SQL,模糊查询,关联查询

    一 和 的区别 相同点 这两个都是占位符 用来指定传入sql的参数 不同点 这个是预编译的 不会发生sql注入 如果需要使用拼接的话可以使用sql的内置函数contact 这个是将其中的变量通过字符串拼接的方式插入到sql语句中的 容易发生
  • CodeSmith 使用教程(10): CodeTemplateInfo 对象

    通过CodeTemplateInfo对象可以获取代码模板文件本身的一些信息 比如文件名 源语言 编码方法 其支持的属性有 属性名 描述 CodeBehind 该模板的Code behind的文件名或者模板不使用CodeBehind时为空字符
  • Gromacs初探

    1 Gromacs是用来干什么的 分子动力学模拟是分子模拟中最接近实验条件的模拟方法 能够从原子层面给出体系的微观演化过程 直观地展示实验现象发生的机理与规律 gromacs就是一个用于分子动力学模拟的程序 2 Gromacs的步骤 以T4
  • 项目部署K8s中excel导出模板名乱码

    问题描述 线下环境测试问题 部署到k8s上时 导出报表1时 导出时用的时报表2的模板 进入镜像中查询template下的导出模板 发现模板名都是问号 乱码 而且数量少了一个 可能由于这两个模板的名字都是5个汉字 导致tomcat解析时变成了
  • 还在select 1 union select 2 union……?

    要目录干啥 用Union吧 太长 用values吧 神奇 引申Values用法 用Union吧 太长 有时候 要临时建个短列表 2047以内的纯数字还不错 有个表 也够用 select number from master spt valu
  • 人脸识别、无人驾驶背后:是谁在造人工大脑?

    NEW 关注剁手日记视频号 最新视频 OPPO下一代屏下镜头技术 这可能才是你想要的全面屏 来源 科技新知 文 樟稻 编辑 伊页 转瞬之间 ILSVRC比赛 又称ImageNet比赛 已经停办了四年 作为机器视觉领域最受追捧也是最具权威的学
  • 【马士兵】Python基础--07(列表)

    Python基础 07 文章目录 Python基础 07 列表的添加操作 列表中的删除操作 列表元素的修改操作 对列表的排序操作 列表生成式 列表的添加操作 列表的添加元素有四种方法 列表的添加操作不改变列表的id值 所以相当于没有新的列表
  • python 点云处理 使用plyfile库写.ply文件

    点云处理时 关使用python读写 ply文件的博客并不多 而且要么是从ply文件头部开始写起 要么是csdn收费的 所以这里写一个博客记录下 1 读ply文件 这个很简单 具体可以看官方文档 代码 首先安装plyfile库 pip ins
  • 关于Oracle sql查询未走索引的问题(第二次查询比第一次查询更慢)

    这段时间发现查询一个大表很慢 这个表数据量大概有3亿多 第一次查询发现返回数据很快 即正常使用索引 紧接着 再次执行这语句时 发现查询很慢 很久才返回数据 按照oracle正常sql查询来说 第二次查询应该是比第一次更快才对 所以这想象没有
  • 深入浅出谈数据挖掘

    作 者 段勇 一 数据挖掘的本质 一般来说 比较狭义的观点认为数据挖掘区别于常规数据分析的关键点在于 数据挖掘主要侧重解决四类问题 分类 聚类 关联 预测 关于这四类问题后文会详细阐述 而常规数据分析则侧重于解决除此之外的其他数据分析问题
  • 计算物品的相似度矩阵

    计算物品的相似度矩阵 例如现在有A B C D四个用户 分别对a b c d e五个物品表达了自己喜好程度 通过评分高低来表现自己的偏好程度高低 计算物品之间的相似度矩阵 算法 1 建立用户物品倒排表 A a b d B a c e C b
  • Centos8中创建LVM条带卷具体方法

    为了性能考虑 考虑将数据跨越多个磁盘上存储 即把LV上连续的数据分成大小相同的块 然后依次存储在各个磁盘PV上 类似于RAID 0的数据存放形式 实现数据读写的并发 管理员依据自己的数据需求 定义数据分块大小 分布PV磁盘个数信息 从而实现
  • 注解 @AutoConfigureBefore 和 @AutoConfigureAfter 的用途

    介绍 AutoConfigureBefore 和 AutoConfigureAfter 是 spring boot autoconfigure 包下的注解 用途 AutoConfigureBefore AAAA class 或 AutoCo
  • 利用eNSP的Cloud连接物理机防火墙(web)

    防火墙一般用USG6000V的 双击打开后一般会出现会出现以下提示 需要导入一个USG6000V的设备包 可以自行下载 下载好后 点击浏览找到对应设备包导入即可 然后就可以正常开机了 开机后输入默认的账号密码 账号 admin 密码 Adm
  • Qt/C++编写视频监控系统80-远程回放视频流

    一 前言 远程回放NVR或者服务器上的视频文件 一般有三种方式 第一种是调用厂家的SDK 这个功能最全 但是缺点明显就是每个厂家的设备都有自己的SDK 只兼容自家的设备 如果你的软件需要接入多个厂家的 那就意味着要写好多套SDK接入 而且一
  • ​​​苹果上架app需要什么条件​​​

    当我们开发完app后 需要将ipa ap 上传IPA 使用一门Ipa上传小助手把安装包上传到appstoreconnect等待审核 专用密码上传IPA IPA上传小助手可以在windows环境下把IPA上传到appuploader 1 登录
  • Ubuntu包管理工具介绍及本地源配置(三)

    不论是在学习还是在做Linux运维的过程中都需要安装各种软件包以及使用包管理工具 但由于很多内网环境几乎不允许生产环境的服务器连接互联网 这样就造成内网服务器无法使用网上的各种源 而且如果使用来回拷贝软件包安装还得解决依赖问题 所以就需要搭
  • Flowable的DurationHelper时间计算工具类

    Flowable的DurationHelper时间计算工具类 PnYnMnDTnHnMnS时间规则 Obtain a new instance of a Duration specifying the Duration as its str
  • 构建Hadoop集群实验

    1 在 后输入cd home 命令 进入home目录下 在 后输入vi Dockerfile命令 创建并编辑一个Dockerfile文件 示例代码如下 root xxx home vi Dockerfile 按i 小写 键 进入编辑模式 将