程序员经验分享-hwhale

hadoop3.0.3高可用(ZK;DN)

2023-11-03

server1-5五台配置好apache的hadoop

 

nfs-utils  rpcbind   将hadoopserver1挂载-->2-5

 

清空环境

sbin/stop-yarn.sh

sbin/stop-dfs.sh

rm -fr /tmp/*  每个节点

kill  所有java进程

 

2  5  高可用

134  zk 

 

 

server1  上   因为这里弄混了2 1  所以  你做的时候按照1

[hadoop@server2 ~]$ tar zxf zookeeper-3.4.9.tar.gz
[hadoop@server2 ~]$ cd zookeeper-3.4.9
zookeeper-3.4.9/        zookeeper-3.4.9.tar.gz  
[hadoop@server2 ~]$ cd zookeeper-3.4.9/con
conf/    contrib/
[hadoop@server2 ~]$ cd zookeeper-3.4.9/con
conf/    contrib/
[hadoop@server2 ~]$ cd zookeeper-3.4.9/conf/
[hadoop@server2 conf]$ cp zoo_sample.cfg zoo.cfg
  
[hadoop@server2 conf]$ vim zoo.cfg

server.1=172.25.11.2:2888:3888
server.2=172.25.11.3:2888:3888
server.3=172.25.11.4:2888:3888

 

server  1 3  4  分别echo 1 2 3  -->  myid

server  1  3  4  分别执行下面 但是id号要对应 1  2  3

[hadoop@server2 conf]$ mkdir /tmp/zookeeper
[hadoop@server2 conf]$ vim /tmp/zookeeper/myid
[hadoop@server2 conf]$ cat /tmp/zookeeper/myid
1

echo  1  > /tmp/zookeeper/myid    数字和空格>  要分开

 

 

 

server  134   zookeeper

bin/zkServer.sh start

~/zookeeper-3.4.9/bin/zkServer.sh start

server2

vim  core-site.xml

 

<property>
<name>ha.zookeeper.quorum</name>
<value>172.25.11.2:2181,172.25.11.3:2181,172.25.11.4:2181</value>
</property>

 

 

[hadoop@server2 zookeeper-3.4.9]$ vim ../hadoop/etc/hadoop/core-site.xml

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://masters</value>
    </property>

 

 


[hadoop@server2 zookeeper-3.4.9]$ vim ../hadoop/etc/hadoop/hdfs-site.xml

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<property>
<name>dfs.nameservices</name>
<value>masters</value>
</property>
<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.11.2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.11.2:9870</value>
</property>
<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.11.5:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.11.5:9870</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://172.25.11.1:8485;172.25.11.3:8485;172.25.11.4:8485/masters</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.masters</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>

 

 

bin/hdfs namenode -format

 

 

134  为节点

25为HA

 

server  134 

sbin/hadoop-daemon.sh start journalnode

~/hadoop/bin/hdfs --daemon start journalnode

 

server2

bin/hdfs namenode -format

 

scp -r /tmp/hadoop-hadoop 172.25.11.5:/tmp

~/hadoop/bin/hdfs zkfc -formatZK    故障控制器

 

~/hadoop/sbin/start-dfs.sh

http://172.25.11.2:9870/dfshealth.html#tab-overview

http://172.25.11.5:9870/dfshealth.html#tab-overview

../hadoop/bin/hdfs zkfc

 

[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir -p /user/hadoop
[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir input
[hadoop@server1 hadoop]$ bin/hdfs dfs -put  etc/hadoop/*  input

bin/hdfs  --daemon start namenode

~/zookeeper-3.4.9/bin/zkCli.sh -server 127.0.0.1:218

[hadoop@server1 zookeeper-3.4.9]$ /home/hadoop/zookeeper-3.4.9/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower

[hadoop@server3 ~]$ /home/hadoop/zookeeper-3.4.9/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower

[hadoop@server4 ~]$ /home/hadoop/zookeeper-3.4.9/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader

[hadoop@server4 ~]$ jps
13992 Jps
13498 DataNode
13403 JournalNode
13789 QuorumPeerMain

 

mapreduce

mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

 

 

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

 

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.11.1</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.11.5</value>
</property>

<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.11.1:2181,172.25.11.3:2181,172.25.11.4:2181</value>
</property>

 

server2 

sbin/start-yarn.sh

杀掉之后再打开测试

bin/yarn  --daemon start resourcemanager

[hadoop@server2 hadoop]$ jps
24800 NameNode
25998 Jps
25775 ResourceManager

Hbase分布式部署

（HIVE  HBASE是两个不同的）

 

[hadoop@server2 ~]$ tar zxf hbase-1.2.4-bin.tar.gz

[hadoop@server2 hbase]$ vim conf/hbase-env.sh

export JAVA_HOME=/home/hadoop/java/

export HADOOP_HOME=/home/hadoop/hadoop

export HBASE_MANAGES_ZK=false

因为上面自己做过ZK  这里去掉ZK
 

vim  conf/hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<name>hbase.zookeeper.quorum</name>
<value>172.25.11.1,172.25.11.3,172.25.11.4</value>
</property>

<property><name>hbase.master</name>
<value>h1</value>
</property>

[hadoop@server2 hbase]$ vim conf/regionservers

172.25.11.1
172.25.11.3
172.25.11.4

server 2   主结点

bin/start-hbase.sh 

server5

bin/hbase-daemon.sh start master

访问HBASE

172.25.11.2：16010

http://172.25.11.5:16010/master-status

http://172.25.11.2:16010/master-status

 

放数据

bin/hbase  shell

create "test","cf"

list 'test'

 

bin/hbase-daemon

 

 

 

 

 

 

 

 

 

 

 

 

 

 

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

hadoop3.0.3高可用(ZK;DN) 的相关文章

随机推荐

  • nodejs 读取文件中的几行

    最近遇到了这样的问题 如何每次从一个文件里面依次读里面的几行 对nodejs提供的readline和一些三方npm例如lineReader不满意 就自己实现一个简易版本 var fs require fs var data fs readF

  • Spark服务启动的一些总结

    1 我理解常用的Spark部署方式有三种 1 本地服务 就是所谓的local 在IDE上本地跑程序 用于调试 2 Standalone 使用自己的master worker进行服务的调度 脱离yarn的资源管理 3 Spark on yar

  • Java 转 C++ 那些事

    前提纪要 虽说编程语言只是承载思想的一种媒介 但是每种编程语言有自己的设计哲学 所以在实现自己思想的时候 也需要遵循该门语言的理念才行 截止 2022 年 07 月 12 日本人最大的体验是 Java 这门语言存在大量的过度封装 所以能封装

  • c#复习题2（含答案及解析）

    1 单选题 ArrayList集合的 属性表示集合中实际包含的元素数 A Capacity B Count C Total D Length 正确答案 B 解析 ArrayList集合的 Capacity属性表示它们所封装的Object 数

  • 【密码学】破解RSA密码（Python代码实现）

    题目 已知有人写了如下的代码 并将生成的 n e c 以及 n2 e2 c2 p2 1 q2 1 输出 from Crypto Util number import def ef p getPrime 512 q getPrime 512

  • 云开发初探 —— 更简便的小程序开发模式

    欢迎大家前往腾讯云 社区 获取更多腾讯海量技术实践干货哦 本文由heyli发表于云 社区专栏 小程序诞生以来 业界关注小程序前端的技术演进较多 因此众多小程序前端的框架 工具也应运而生 前端开发效率大大提高 而后台的开发技术则关注不多 痛点

  • js 解密

    Ai Chat sbaliyun com 在分析接口的时候 我们看到请求做了加密 查看事件我们发信啊了方法 callCHATGPT 得到 callCHATGPT 的代码 async function callCHATGPT var resp

  • 在概念堆里理解什么是智能SOA

    今年在继7月北京成功举办SOA与企业成长高峰论坛之后 在这个初冬的季节 IBM再次携众位专家11月15号在上海隆重举行了 IBM 2007 SOA创新高峰论坛 并且在这次峰会上首发了基于全球5700家SOA客户实施经验之上总结出的一套指导客

  • 实时查询与检测域名是否被微信封杀的核心代码和原理

    微信官方在对微信中推广活动的第三方网页内容管控越来越严格 如果活动效果稍微好一些 自己的网址域名可能就会被封杀 用户就打不开分享页面 很多人就是因为没有及时知道域名在微信中的状况 不知道什么时候被封的 然后导致损失惨重 在网上搜索了很多相关

  • 【Java基础教程】（三十六）常用类库篇 · 第六讲：数学运算类——全面讲解Java数学计算支持类库，BigDecimal、Math、Random、DecimalFormat...~

    Java基础教程之常用类库 数学运算类 1 概念 数学运算类汇总 2 优势和缺点 3 使用 3 1 各数学计算支持类使用案例 3 2 Math类 3 3 BigDecimal类 3 4 Random类 3 5 DecimalFormat类

  • Thymeleaf 对象空值处理

    前端代码 单例实体对象空值处理 div div class form group col md 6 div div

  • 小程序picker 多列选择详解

    需求 选择左边的选项 右边会显示对应的数据 如果你的数据和官方文档一样 数组套数组的形式 那直接复制复制就行了 这篇文章主要讲 数据是数组里面套对象的这种情况 我的数据结构如下 这就用用到 range key 属性 首先 通过 range

  • 【ubuntu】【rabbitmq】ubuntu 安装 rabbitmq

    文章目录 一 安装 erlang 二 添加公钥 三 更新软件包 可选 四 安装 RabbitMQ 五 RabbitMQ 状态管理 六 安装 web 插件 七 远程登录 web端 八 添加自定义 VHOST 及分配权限 一 安装 erlang

  • Java 使用LocalDate获取上周时间、本月时间等

    获取当前时间 LocalDate currentDate LocalDate now 获取当前日期所在的星期几 DayOfWeek currentDayOfWeek currentDate getDayOfWeek 计算需要减去的天数 in

  • 迟到的Pairwork工作总结 - by Glede

    迟到的总结 By Glede 队友连昭鹏的总结 http www cnblogs com lzplzp archive 2012 10 22 2732946 html 我们一开始交流的时候 就决定基本模仿生活中的电梯运行过程来设计程序 生活

  • 多列堆积柱形图怎么做_Excel两组数据做对比，用左右对比图才好看，操作简单又美观...

    我们都知道在Excel中 展示多组据的时候 可以使用图表来进行演示 Excel图表展示数据既直观 看起来也显得非常的大气 而一般人通常都是用柱形图 折线图等图表来展示 今天我们教大家一种特殊的图表 如何运用左右对比图来展示2组数据 如上图所

  • 老卫带你学---华为机试(17.坐标移动)

    华为机试 17 坐标移动 问题 题目描述 开发一个坐标计算工具 A表示向左移动 D表示向右移动 W表示向上移动 S表示向下移动 从 0 0 点开始移动 从输入字符串里面读取一些坐标 并将最终输入结果输出到输出文件里面 输入 合法坐标为A 或

  • 定制Android12系统：源码下载、编译、刷机（通俗易懂版本）

    定制系统步骤 一 下载源码 二 编译源码 三 刷机 一 源码下载 1 安装Git 2 安装Repo 3 新建目录 4 下载代码 1 Git是最常用的开源版本控制系统 git安装示例如下 2 Repo则是一个Google在git基础之上构建的

  • 你的眼界有多大，格局就有多大

    记得曾经有一次在公众号上看到一篇这样的文章 一个人格局越来越大的两个迹象 本文提出了重要的两点 格局大的人不计较小事的得失 他们只将时间和精力放在有意义的事情上 对错是非 我颇有感触 的确 我们日常的琐事比比皆是 只要是人与人之间进行交流

  • hadoop3.0.3高可用(ZK;DN)

    server1 5五台配置好apache的hadoop nfs utils rpcbind 将hadoopserver1挂载 gt 2 5 清空环境 sbin stop yarn sh sbin stop dfs sh rm fr tmp

热门标签