zookeeper3.4.6集群部署

2023-11-18

在安装Zookeeper之前,首先需要确保的就是主机名称(可选)、hosts都已经更改,并且JDK成功安装。

 

1、安装Zookeeper

使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Zookeeper的安装目录为:“/home/Hadoop”,解压后的Hadoop目录为/home/hadoop/zookeeper-3.4.6”,最好确保Master、Slave1、Slave2机器上的Zookeeper安装路径一致。

 

2、配置Zookeeper的环境变量

成功安装Zookeeper后,接下来要做的事情就是配置Zookeeper的环境变量,并通过命令“source “/etc/profile”命令使修改后的配置生效,如下所示:

Shell代码   收藏代码
  1. #ZOOKEEPER  
  2. ZOOKEEPER=/home/hadoop/zookeeper-3.4.6  
  3. PATH=$PATH:$ZOOKEEPER/bin  

 

3、修改Zookeeper的配置文件

首先将/home/hadoop/zookeeper-3.4.6/conf/zoo_sample.cfg文件复制一份,并更名为zoo.cfg,如下所示:

Shell代码   收藏代码
  1. # The number of milliseconds of each tick  
  2. tickTime=2000  
  3. # The number of ticks that the initial   
  4. # synchronization phase can take  
  5. initLimit=10  
  6. # The number of ticks that can pass between   
  7. # sending a request and getting an acknowledgement  
  8. syncLimit=5  
  9. # the directory where the snapshot is stored.  
  10. # do not use /tmp for storage, /tmp here is just   
  11. # example sakes.  
  12. dataDir=/home/hadoop/zk/data  
  13. dataLogDir=/home/hadoop/zk/log  
  14. # the port at which the clients will connect  
  15. clientPort=2181  
  16. # the maximum number of client connections.  
  17. # increase this if you need to handle more clients  
  18. #maxClientCnxns=60  
  19. #  
  20. # Be sure to read the maintenance section of the   
  21. # administrator guide before turning on autopurge.  
  22. #  
  23. # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance  
  24. #  
  25. # The number of snapshots to retain in dataDir  
  26. #autopurge.snapRetainCount=3  
  27. # Purge task interval in hours  
  28. # Set to "0" to disable auto purge feature  
  29. #autopurge.purgeInterval=1  
  30. server.1=Master:3333:4444  
  31. server.2=Slave1:3333:4444  
  32. server.3=Slave2:3333:4444  

 

server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

 

根据dataDir和dataLogDir变量创建相应的目录。

 

4、创建myid文件

在dataDir目录下创建一个myid文件,然后分别在myid文件中按照zoo.cfg文件的server.A中A的数值,在不同机器上的该文件中填写相应的值。

 

5、启动Zookeeper

执行命令“zkServer.sh start”将会启动Zookeeper。在此大家需要注意,和在Master启动Hadoop不同,不同节点上的Zookeeper需要单独启动。而执行命令“zkServer.sh stop”将会停止Zookeeper。

 

开发人员可以使用命令“JPS”查看Zookeeper是否成功启动,以及执行命令“zkServer.sh status”查看Zookeeper集群状态,如下所示:

Shell代码   收藏代码
  1. #192.168.1.224  
  2. JMX enabled by default  
  3. Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg  
  4. Mode: follower  
  5.   
  6. #192.168.1.225  
  7. JMX enabled by default  
  8. Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg  
  9. Mode: leader  
  10.   
  11. #192.168.1.226  
  12. JMX enabled by default  
  13. Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg  
  14. Mode: follower  

 

Zookeeper集群在启动的过程中,查阅zookeeper.out,会有如下异常:

Java代码   收藏代码
  1. java.net.ConnectException: Connection refused  
  2.         at java.net.PlainSocketImpl.socketConnect(Native Method)  
  3.         at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)  
  4.         at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)  
  5.         at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)  
  6.         at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)  
  7.         at java.net.Socket.connect(Socket.java:579)  
  8.         at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)  
  9.         at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:341)  
  10.         at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:449)  
  11.         at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:430)  
  12.         at java.lang.Thread.run(Thread.java:745)  

 
上述异常可以忽略,因为集群环境中某些子节点还没有启动zookeeper。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

zookeeper3.4.6集群部署 的相关文章

  • java.lang.reflect.InvocationTargetException

    产生原因 1 包冲突 有重复包或者缺少包 2 项目jdk和部署jdk版本不一样 导致InvocationTargetException异常信息返回一个空值 没有调用invoc里的重写消息方法 3 映射文件发生改变 对于不同原因的解决 1 包
  • Eureka和Zookeeper的区别

    Eureka和Zookeeper的区别 Mysql Oracle SqlServer等关系型数据库遵循的原则是 ACID 原则 即 A 原子性 C 一致性 I 独立性 D 持久性 Redis Mogodb 等非关系型数据库遵循的原则是 CA
  • 链路追踪Sleuth入门

    前言 在一个大型的分布式项目中存在各种各样的模块调用 每个模块负责不同的功能 组合成系统 在这种架构下的系统 一次请求往往会调用到许许多多的微服务 这样的跨度对于维护也是存在一定的问题 1 如何快速发现问题 2 如何判断故障影响范围 3 如
  • consul学习与常用命令和使用教程

    目录 consul是什么 常用命令 API 实例1 新建服务API 注册服务 查询服务 consul是什么 Consul是分布式的 高可用的 可横向扩展的用于实现分布式系统的服务发现与配置 consul就是提供服务发现的工具 做服务发现的框
  • Kafka

    1 概述 1 1 定义 Kafka是一个分布式的基于发布 订阅模式的消息队列 主要应用于大数据实时处理领域 优势 kafka可以做到 使用非常普通的硬件 也可以支持每秒数百万的消息读写 MQ 代表消息队列 kafka只是众多mq中一款产品
  • Dubbo高级应用-服务治理

    目录 1 dubbo admin 2 7 x版本安装部署 1 1 下载源码 1 2 部署访问 2 路由规则 2 1 Dubbo API配置 2 2 管理控制台配置 3 规则动态配置 3 1 应用粒度 3 2 服务粒度 4 服务降级 5 集群
  • dubbo zookeeper spring mvc简单整合的工程例子demo

    该demo只是简单的集成 包括了5个工程 都是maven结构的 如下图所示 服务端 dubbo demo server api 服务接口定义工程 dubbo demo server biz 服务接口实现工程 web dubbo server
  • 【zookeeper】raft 共识算法 动画演示 网站

    1 概述 地址 https cyberdak github io thesecretlivesofdatacn raft
  • 大数据技术之Zookeeper

    第1章 Zookeeper入门 1 1 概述 Zookeeper是一个开源的分布式的 为分布式框架提供协调服务的Apache项目 Zookeeper从设计模式角度来理解 是一个基于观察者模式设计的分布式服务管理框架 它负责存储和管理大家都关
  • netty 无阻塞队列 MpscArrayQueue,一个字就是快

    netty提供了高效的线程安全的队列 MpscArrayQueue 一个字快 至于快的原因可以去查看相关的文章 内存的伪共享先关的内容 import static java lang Thread sleep import io netty
  • docker中的zookeeper安装、连接及常见命令

    一 docker安装 1 搜索一下Zookeeper镜像 这一步可以省略 docker search zookeeper 2 从Docker上下载zookeeper docker pull zookeeper 3 启动Zookeeper镜像
  • ZooKeeper的一些总结

    文章目录 前言 一 Zookeeper是什么 二 Zookeeper用来做什么 三 Zookeeper的优势是什么 四 为什么用zookeeper 五 zookeeper解决了什么问题 总结 前言 Zookeeper作为一个分布式协调服务
  • etcd 集群搭建及常用场景分析

    概述 etcd 是一个分布式一致性k v存储系统 可用于服务注册发现与共享配置 具有以下优点 简单 相比于晦涩难懂的paxos算法 etcd基于相对简单且易实现的raft算法实现一致性 并通过gRPC提供接口调用 安全 支持TLS通信 并可
  • dubbo 项目既是提供方又是消费方,调用不到服务问题

    1 先查看服务提供者有没有注册 这里通过安装eclipse中的zookeeper插件 进行了查看 服务已经注册上了 2 注册上以后 查看调用者有没有在zookeeper中注册 此时通过查看 并没有 3 没有注册上 然后查看是否是配置哪里出了
  • Kafka一致性

    一 存在的一致性问题 1 生产者和Kafka存储一致性的问题 即生产了多少条消息 就要成功保存多少条消息 不能丢失 不能重复 更重要的是不丢失 其实就是要确保消息写入成功 这可以通过acks 1来保证 保证所有ISR的副本都是一致的 即一条
  • Docker搭建zookeeper

    问题背景 前言 本文参考自 docker compose快速搭建Zookeeper集群 熬到凌晨三点多验证部署成功 网上有很多文章已经无法正确部署了 因为有些东西版本升级了 版本跟不上就会报错 还有一种更加详细更加全面的部署方式 Docke
  • zookeeper3.4.6集群部署

    在安装Zookeeper之前 首先需要确保的就是主机名称 可选 hosts都已经更改 并且JDK成功安装 1 安装Zookeeper 使用命令 tar zxvf 命令将gz压缩文件解压 笔者Zookeeper的安装目录为 home Hado
  • kafka配置内外网访问

    listeners 学名叫监听器 其实就是告诉外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务 advertised listeners 和 listeners 相比多了个 advertised Advertised 的
  • Nacos、ZooKeeper和Dubbo的区别

    Nacos ZooKeeper和Dubbo是三个不同的分布式系统组件 它们之间有以下几点区别 功能定位 Nacos主要提供服务发现 配置管理和服务治理等功能 而ZooKeeper主要是分布式协调服务 提供了分布式锁 分布式队列等原语 Dub
  • 微服务框架

    微服务框架 1 SOA思想 面向服务的架构 SOA 是一个组件模型 它将应用程序的不同功能单元 称为服务 进行拆分 并通过这些服务之间定义良好的接口和协议联系起来 接口是采用中立的方式进行定义的 它应该独立于实现服务的硬件平台 操作系统和编

随机推荐

  • 使用Kotlin 重写毕设项目

    Kotlin目前已经转正 成为 Android 开发一级语言 前段时间不忙 将毕业设计用Kotlin 进行重写 毕业设计 Java 版 https blog csdn net qq 29375837 article details 8265
  • 谁能看懂这幅图?

    谁能看懂这幅图
  • 基于MediaPlayer实现视频播放

    一 概述 一个简单的视频播放器 满足一般的需求 使用原生的 MediaPlayer 和 TextureView来实现 功能点 获取视频的首帧进行展示 网络视频的首帧会缓存 视频播放 本地视频或者网络视频 感知生命周期 页面不可见自动暂停播放
  • 51单片机入门——矩阵键盘(附51代码)

    1 硬件介绍 矩阵键盘电路图 硬件如图非常简单 将一个4 4的矩阵键盘的8个管脚引到端子上 在连接到8个I O口上 ARRAY H代表着行 ARRAY L代表着列 当行与列的电平都置低的时候 就选中的相应的矩阵按键 比如当s1按下时 ARR
  • Shell if 条件判断

    Shell 语言中的if条件 一 if的基本语法 if command then 符合该条件执行的语句 elif command then 符合该条件执行的语句 else 符合该条件执行的语句 fi 二 文件 文件夹 目录 判断 b FIL
  • Android系统换字体不root,安卓手机更换字体简易方法(免ROOT)

    很多童鞋都是玩机族 都喜欢diy自己的手机来追求个性 更换手机字体是大家都热衷做的事 但至于换字体的方法 很多童鞋是折腾半天都不明觉厉 有的同学利用高深的方法 先root获取手机权限啊 改系统文件啊 改这改那的终于换了字体 但有时候一重启
  • 【机器学习】6:K-近邻(KNN)算法实现手写数字识别的三种方法

    前言 本来觉得自己从数据建模转人工智能方向应该问题不大 自我感觉自己算法学的不错 结果一个K 邻近实现手写数字识别的代码就让我改了三四天 虽然网上这方面的代码是很多 但是我运行了好几个 结果都不是很理想 一次偶然的念想 为什么我不把这些代码
  • HttpRunner 的中文使用手册

    2018开工大吉 给大家送上 HttpRunner 的中文使用手册 http cn httprunner org
  • 手机端使用ghelper_Anki手机端使用指南(一)

    本篇会对如何使用手机端anki进行详解 有小伙伴询问在应用商店搜索anki找不到名字叫 anki 的软件 这里解释一下 在手机端的名字和电脑端的名字不太一样 安卓对应的名字叫做AnkiDroid IOS对应的名字叫做Ankimobile 不
  • 快速排序法

    partition函数 int partition vector
  • C++ 数学与算法系列之牛顿、二分迭代法求解非线性方程

    1 前言 前文介绍了如何使用 高斯消元法 求解线性方程组 本文秉承有始有终的态度 继续介绍 非线性方程 的求解算法 本文将介绍 2 个非线性方程算法 牛顿迭代法 二分迭代法 牛顿迭代法 Newton s method 又称为牛顿 拉夫逊方法
  • 安装python包的方式,控制台方式以numpy安装为例

    说明 方式1 直接打开cmd 需要配置python环境 控制台输入 python m pip install package name 版本号 方式2 去网上将所需的包下载下来 链接 官方下载链接 一般是 whl格式 然后将其放在自己的路径
  • 【桥接模式】VMware虚拟机配置桥接模式

    在虚拟机配置中 桥接模式和NAT模式是两种常见的网络连接方式 区别 1 桥接模式使虚拟机直接连接到物理网络 可以与外部设备直接通信 并获取唯一IP地址 2 NAT模式使用网络地址转换器将虚拟机的网络流量转发到物理网络上 虚拟机可以与外部网络
  • 强化学习读书笔记

    强化学习读书笔记 09 on policy预测的近似方法 参照 Reinforcement Learning An Introduction Richard S Sutton and Andrew G Barto c 2014 2015 2
  • 理解区块链

    本文基本上是收集的内容汇总 略微全面一点 1 区块链的诞生 互联网上的贸易 几乎都需要借助可资信赖的第三方信用机构来处理电子支付信息 这类系统仍然内生性地受制于 基于信用的模式 区块链技术是构建比特币区块链网络与交易信息加密传输的基础技术
  • mysql InnoDB 数据存储和查找

    InnoDB 引擎数据存储 要想了解数据库 InnoDB 引擎是怎么样存储数据的 必须先了解 B Tree 了解之后才容易理解其存储原理 在 InnoDB 存储引擎中 也有页的概念 默认每个页的大小为 16K 也就是每次读取数据时都是读取
  • Element-UI中Select选择器详解

    前言 最近开发的后台管理系统项目采用Vue Element UI技术架构 在使用Elment UI中Select组件的时候遇到了比较多的操作难题 官网上关于这个组件的使用文档介绍的不是很详细 仅仅提供了一些基本用法 很多拓展场景都没有涉及到
  • win10服务器文件夹在哪里找,recent文件夹在哪里找_recent文件夹怎么清理

    recent文件夹在哪里找 recent文件夹怎么清理 Windows7系统在运行的时候会在系统内产生一定的垃圾 一般会保存在系统C盘中的WINDOWSCookies RECYCLED WINDOWSHistory WindowsRecen
  • 我的居转户之路

    1月6日提交材料 需要补充税单 重开离职证明 1月12日提交成功 3月10日受理通过 3月18日补充总公司组织机构代码 原来过期 房产证与居住证地址不一致证明 3月24日区里审核通过 3月17日去人才中心查询 市里还没有开始审核 4月29日
  • zookeeper3.4.6集群部署

    在安装Zookeeper之前 首先需要确保的就是主机名称 可选 hosts都已经更改 并且JDK成功安装 1 安装Zookeeper 使用命令 tar zxvf 命令将gz压缩文件解压 笔者Zookeeper的安装目录为 home Hado