程序员经验分享-hwhale

阿里云服务器上部署zookeeper 3.6.3（3）- 集群模式篇

2023-05-16

伪集群模式

这里我们采用的是伪集群模式，一台机器上三个节点，集群模式是一台机器上一个节点。之所以称伪集群，就是这台机器挂了，集群也就没了。集群与伪集群的方式完全一样的。

Zookeeper工作原理

在zookeeper的集群中，各个节点共有下面3种角色和4种状态：

角色：leader,follower,observer

状态：leading,following,observing,looking

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议（ZooKeeper Atomic Broadcast protocol）。

Zab协议有两种模式，它们分别是恢复模式（Recovery选主）和广播模式（Broadcast同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。

为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。低32位用于递增计数。

每个Server在工作过程中有4种状态：

LOOKING：当前Server不知道leader是谁，正在搜寻。

LEADING：当前Server即为选举出来的leader。

FOLLOWING：leader已经选举出来，当前Server与之同步。

OBSERVING：observer的行为在大多数情况下与follower完全一致，但是他们不参加选举和投票，而仅仅接受(observing)选举和投票的结果。

选举机制

  • 1、半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。

  • 2、需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘，因为独立磁盘可以确保zookeeper是高性能的。如果你的集群负载很重，不要把zookeeper和RegionServer运行在同一台机器上面，就像DataNodes和TaskTrackers一样。

  • 3、Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。

  • 4、以一个简单的例子来说明整个选举的过程。 假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么，如图

img

  • 1、服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是LOOKING状态。

  • 2、服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。

  • 3、服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。

  • 4、服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。

  • 5、服务器5启动，同4一样当小弟。

集群规划

机器编号Ip 地址端口
apache-zookeeper-01127.0.0.12181
apache-zookeeper-02127.0.0.12182
apache-zookeeper-03127.0.0.12183
# 解压移动重命名
mkdir -p /data/zk/
tar xf apache-zookeeper-3.6.3-bin.tar.gz
mv apache-zookeeper-3.6.3-bin /data/zk/zookeeper1
cp -r /data/zk/zookeeper1 /data/zk/zookeeper2
cp -r /data/zk/zookeeper1 /data/zk/zookeeper3
​
# 创建节点存放的数据和日志目录和myid标示
mkdir -p /data/zkdata/zkdata1/logs
mkdir -p /data/zkdata/zkdata2/logs
mkdir -p /data/zkdata/zkdata3/logs
​
echo "1" > /data/zkdata/zkdata1/myid
echo "2" > /data/zkdata/zkdata1/myid
echo "3" > /data/zkdata/zkdata1/myid
​
# 配置文件(基本默认不动，只用修改数据目录和日志目录和添加下server节点)
cd /data/zk/zookeeper1/
cp conf/zoo_sample.cfg conf/zoo.cfg
​
cd /data/zk/zookeeper2/
cp conf/zoo_sample.cfg conf/zoo.cfg
​
cd /data/zk/zookeeper3/
cp conf/zoo_sample.cfg conf/zoo.cfg

节点配置文件修改

# zookeeper3.5版本后提供了jetty默认后台管理8080端口，访问地址为：http://localhost:8081/commands/stat
# 同一台机器上启动多个节点会有冲突,解决办法：
# 启动脚本中修改 -Dzookeeper.admin.serverPort=xxx
# zoo.cfg配置文件中 修改配置admin.serverPort=xxx
# -Dzookeeper.admin.enableServer=false 在启动脚本中关闭管理控制台
​
# 修改节点1配置文件
vim conf/zoo.cfg
​
dataDir=/data/zkdata/zkdata1/
dataLogDir=/data/zkdata/zkdata1/logs
clientPort=2181
admin.serverPort=8081
server.1=192.168.16.206:2881:3881
server.2=192.168.16.206:2882:3882
server.3=192.168.16.206:2883:3883
​
# 修改节点2配置文件
vim conf/zoo.cfg
​
dataDir=/data/zkdata/zkdata2/
dataLogDir=/data/zkdata/zkdata2/logs
clientPort=2182
admin.serverPort=8082
server.1=192.168.16.206:2881:3881
server.2=192.168.16.206:2882:3882
server.3=192.168.16.206:2883:3883
​
# 修改节点3配置文件
vim conf/zoo.cfg
​
dataDir=/data/zkdata/zkdata3/
dataLogDir=/data/zkdata/zkdata3/logs
clientPort=2183
admin.serverPort=8083
server.1=192.168.16.206:2881:3881
server.2=192.168.16.206:2882:3882
server.3=192.168.16.206:2883:3883

分别启动zookeeper的3个节点

# 启动
/data/zk/zookeeper1/bin/zkServer.sh start
/data/zk/zookeeper2/bin/zkServer.sh start
/data/zk/zookeeper3/bin/zkServer.sh start
​
# 查看状态
/data/zk/zookeeper1/bin/zkServer.sh status
/data/zk/zookeeper2/bin/zkServer.sh status
/data/zk/zookeeper3/bin/zkServer.sh status
​
# 停止
/data/zk/zookeeper1/bin/zkServer.sh stop
/data/zk/zookeeper2/bin/zkServer.sh stop
/data/zk/zookeeper3/bin/zkServer.sh stop
​
# 重启
/data/zk/zookeeper1/bin/zkServer.sh restart
/data/zk/zookeeper2/bin/zkServer.sh restart
/data/zk/zookeeper3/bin/zkServer.sh restart

多机联合测试

c1运行结果：

[root@sso conf]# /var/local/server/zookeeper/bin/zkServer.sh status
JMX enabled by default
Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg
Mode: leader

c2运行结果：

[root@cas zookeeper]# /var/local/server/zookeeper/bin/zkServer.sh status
JMX enabled by default
Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg
Mode: follower

c3运行结果：

[root@localhost zookeeper]# /var/local/server/zookeeper/bin/zkServer.sh status
JMX enabled by default
Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg
Mode: follower

同步测试

c1上执行：create /c1project c1projecttest 和 get /c1project

[zk: c1:2181(CONNECTED) 2] create /c1project c1projecttest
Created /c1project
[zk: c1:2181(CONNECTED) 1] get /c1project
c1projecttest
cZxid = 0x100000013
ctime = Thu Aug 25 11:03:49 CST 2016
mZxid = 0x100000013
mtime = Thu Aug 25 11:03:49 CST 2016
pZxid = 0x100000013
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 13
numChildren = 0

c2上查看同步结果：get /c1project

[zk: c2:2181(CONNECTED) 0] get /c1project
c1projecttest
cZxid = 0x100000013
ctime = Thu Aug 25 11:03:49 CST 2016
mZxid = 0x100000013
mtime = Thu Aug 25 11:03:49 CST 2016
pZxid = 0x100000013
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 13
numChildren = 0

c3上查看同步结果： get /c1project

[zk: c3:2181(CONNECTED) 4] get /c1project
c1projecttest
cZxid = 0x100000013
ctime = Thu Aug 25 11:03:49 CST 2016
mZxid = 0x100000013
mtime = Thu Aug 25 11:03:49 CST 2016
pZxid = 0x100000013
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 13
numChildren = 0

此时说明zookeeper集群配置成功。

从节点主动升级和接管成为主节点

leader和follower的自动切换，前面我们知道c1是leader，当leader down掉后是否有从节点升级为leader。

c1上执行

/var/local/server/zookeeper/bin/zkServer.sh stop

c2上查看状态

[root@cas ~]# /var/local/server/zookeeper/bin/zkServer.sh status
JMX enabled by default
Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg
Mode: follower

可以发现c2仍然为从节点

再看看c3

[root@localhost ~]# /var/local/server/zookeeper/bin/zkServer.sh status
JMX enabled by default
Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg
Mode: leader

此时c3升级为了主节点。

再次启动c1，并查看状态

[root@sso conf]# /var/local/server/zookeeper/bin/zkServer.sh start
JMX enabled by default
Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@sso conf]#
[root@sso conf]# /var/local/server/zookeeper/bin/zkServer.sh status
JMX enabled by default
Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg
Mode: follower

发现c1作为了从节点。

每天努力一点，每天都在进步。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Zookeeper

阿里云服务器上部署

集群模式篇

阿里云服务器上部署zookeeper 3.6.3（3）- 集群模式篇 的相关文章

  • zookeeper介绍

    1 简介 Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目 它主要是用来解决分布式应用中经常遇到的一些数据管理问题 如 统一命名服务 状态同步服务 集群管理 分布式应用配置项的管理等 Zookeeper 作为一个

  • 启动dubbo项目提示zk连接不上 Will not attempt to authenticate using SASL

    背景 本来自己本地能正常连接zk 启动项目 突然就不行了 这种莫名其妙的错误 令人头大 虽然找到了解决方法 但不知其原因 希望有大佬一起交流下 解决方案 查看zookeeper安装目录下的 conf zoo cfg文件 查看dataDir的

  • ZooKeeper（一）：基础介绍

    文章目录 什么是 ZooKeeper ZooKeeper 发展历史 ZooKeeper 应用场景 ZooKeeper 服务的使用 ZooKeeper 数据模型 data tree 接口 znode 分类 总结 什么是 ZooKeeper Z

  • Kafka

    1 概述 1 1 定义 Kafka是一个分布式的基于发布 订阅模式的消息队列 主要应用于大数据实时处理领域 优势 kafka可以做到 使用非常普通的硬件 也可以支持每秒数百万的消息读写 MQ 代表消息队列 kafka只是众多mq中一款产品

  • 五：Zookeeper分布式一致性协议ZAB源码剖析

    目录 ZAB协议介绍 消息广播 崩溃恢复 数据同步 ZAB写数据源码流程图 整个Zookeeper就是一个多节点分布式一致性算法的实现 底层采用的实现协议是ZAB ZAB协议介绍 ZAB 协议全称 Zookeeper Atomic Broa

  • ZooKeeper 分布式协调工具

    目录 一 ZooKeeper 概述 二 ZooKeeper Windows 单机版安装 三 ZooKeeper 集群环境下选举过程 四 ZooKeeper 存储数据的过程 五 ZooKeeper 监听 六 java 操作 ZooKeeper

  • ZooKeeper之Java客户端API使用—创建节点。

    客户端可以通过ZooKeeper的API来创建一个数据节点 有如下两个接口 String create final String path byte data List

  • 《从Paxos到ZooKeeper》读书笔记之第一章（二）

    从Paxos到ZooKeeper 读书笔记之第一章 二 1 2从ACID到CAP BASE 这一节由三小节 从大家数值的数据库事务的四个特性 引出来分布式事务的概念 通过对ACID模型的讨论 提出如何构建一个兼顾可用性和一致性的分布式系统方

  • CAP和BASE

    CAP概念 Consistency 一致性 所有节点在同一时间具有相同的数据 Availability 可用性 保证每个请求不管成功或者失败都有响应 Partition Tolerance 分区容错性 系统中任意信息的丢失或失败不会影响系统

  • docker中的zookeeper安装、连接及常见命令

    一 docker安装 1 搜索一下Zookeeper镜像 这一步可以省略 docker search zookeeper 2 从Docker上下载zookeeper docker pull zookeeper 3 启动Zookeeper镜像

  • kafka详解及集群环境搭建

    一 kafka详解 安装包下载地址 https download csdn net download weixin 45894220 87020758 1 1Kafka是什么 1 Kafka是一个开源消息系统 由Scala写成 是由Apac

  • Docker搭建zookeeper

    问题背景 前言 本文参考自 docker compose快速搭建Zookeeper集群 熬到凌晨三点多验证部署成功 网上有很多文章已经无法正确部署了 因为有些东西版本升级了 版本跟不上就会报错 还有一种更加详细更加全面的部署方式 Docke

  • 搭建zookeeper集群的时候报： JAVA_HOME is not set and java could not be found in PATH.错误

    我在搭建zookeeper集群的时候总是报 JAVA HOME is not set and java could not be found in PATH 的错误 但是我的java环境是没问题的 这个问题困扰我两天了 终于解决了 在此记录

  • zookeeper3.4.6集群部署

    在安装Zookeeper之前 首先需要确保的就是主机名称 可选 hosts都已经更改 并且JDK成功安装 1 安装Zookeeper 使用命令 tar zxvf 命令将gz压缩文件解压 笔者Zookeeper的安装目录为 home Hado

  • Zookeeper之ZAB协议

    1 概念 Zookeeper使用 种称为Zookeeper Atomic Broadcast ZAB Zookeeper原 消息 播协议 的协议作为其数据 致性的核 算法 ZAB协议并不像Paxos算法那样 是 种通 的分布式 致性算法 它

  • 01-ZooKeeper快速入门

    1 Zookeeper概念 Zookeeper是Apache Hadoop项目下的一个子项目 是一个树形目录服务 zookeeper翻译过来就是 动物园管理员 它是用来管理Hadoop 大象 Hive 蜜蜂 Pig 小猪 的管理员 简称ZK

  • Nacos、ZooKeeper和Dubbo的区别

    Nacos ZooKeeper和Dubbo是三个不同的分布式系统组件 它们之间有以下几点区别 功能定位 Nacos主要提供服务发现 配置管理和服务治理等功能 而ZooKeeper主要是分布式协调服务 提供了分布式锁 分布式队列等原语 Dub

  • 从zookeeper官方文档系统学习zookeeper

    从zookeeper官方文档系统学习zookeeper 1 zookeeper 2 zookeeper 文档 3 zookeeper 单机版 3 1 配置 3 2 启动 3 3 验证 4 zookeeper 集群版 4 1 配置 4 2 启

  • Zookeeper 和 Dubbo 的关系？

    Zookeeper的作用 zookeeper用来注册服务和进行负载均衡 哪一个服务由哪一个机器来提供必需让调用者知道 简单来说就是ip地址和服务名称的对应关系 当然也可以通过硬编码的方式把这种对应关系在调用方业务代码中实现 但是如果提供服务

  • Zookeeper 和 Dubbo 的关系？

    Zookeeper的作用 zookeeper用来注册服务和进行负载均衡 哪一个服务由哪一个机器来提供必需让调用者知道 简单来说就是ip地址和服务名称的对应关系 当然也可以通过硬编码的方式把这种对应关系在调用方业务代码中实现 但是如果提供服务

随机推荐

热门标签