RabbitMQ两种集群模式配置管理

2023-11-12

一、RabbitMQ集群的两种模式

1)普通模式:默认的集群模式。

2)镜像模式:把需要的队列做成镜像队列,存在于多个节点,属于RabbitMQ的HA方案

普通模式:默认的集群模式

RabbitMQ集群中节点包括内存节点、磁盘节点。内存节点就是将所有数据放在内存,磁盘节点将数据放在磁盘上。如果在投递消息时,打开了消息的持久化,那么即使是内存节点,数据还是安全的放在磁盘。那么内存节点的性能只能体现在资源管理上,比如增加或删除队列(queue),虚拟主机(vrtual hosts),交换机(exchange)等,发送和接受message速度同磁盘节点一样。一个集群至少要有一个磁盘节点。一个rabbitmq集群中可以共享user,vhost,exchange等,所有的数据和状态都是必须在所有节点上复制的,对于queue根据集群模式不同,应该有不同的表现。在集群模式下只要有任何一个节点能够工作,RabbitMQ集群对外就能提供服务。

默认的集群模式,queue创建之后,如果没有其它policy,则queue就会按照普通模式集群。对于Queue来说,消息实体只存在于其中一个节点,A、B两个节点仅有相同的元数据,即队列结构,但队列的元数据仅保存有一份,即创建该队列的rabbitmq节点(A节点),当A节点宕机,你可以去其B节点查看,./rabbitmqctl list_queues发现该队列已经丢失,但声明的exchange还存在。

当消息进入A节点的Queue中后,consumer从B节点拉取时,RabbitMQ会临时在A、B间进行消息传输,把A中的消息实体取出并经过B发送给consumer,所以consumer应平均连接每一个节点,从中取消息。该模式存在一个问题就是当A节点故障后,B节点无法取到A节点中还未消费的消息实体。如果做了队列持久化或消息持久化,那么得等A节点恢复,然后才可被消费,并且在A节点恢复之前其它节点不能再创建A节点已经创建过的持久队列;如果没有持久化的话,消息就会失丢。这种模式更适合非持久化队列,只有该队列是非持久的,客户端才能重新连接到集群里的其他节点,并重新创建队列。假如该队列是持久化的,那么唯一办法是将故障节点恢复起来。

为什么RabbitMQ不将队列复制到集群里每个节点呢?这与它的集群的设计本意相冲突,集群的设计目的就是增加更多节点时,能线性的增加性能(CPU、内存)和容量(内存、磁盘)。当然RabbitMQ新版本集群也支持队列复制(有个选项可以配置)。比如在有五个节点的集群里,可以指定某个队列的内容在2个节点上进行存储,从而在性能与高可用性之间取得一个平衡(应该就是指镜像模式)。

镜像模式:把需要的队列做成镜像队列,存在于多个节点,属于RabbitMQ的HA方案

该模式解决了上述问题,其实质和普通模式不同之处在于,消息实体会主动在镜像节点间同步,而不是在consumer取数据时临时拉取。该模式带来的副作用也很明显,除了降低系统性能外,如果镜像队列数量过多,加之大量的消息进入,集群内部的网络带宽将会被这种同步通讯大大消耗掉。所以在对可靠性要求较高的场合中适用,一个队列想做成镜像队列,需要先设置policy,然后客户端创建队列的时候,rabbitmq集群根据“队列名称”自动设置是普通集群模式或镜像队列。

二、RabbitMQ普通集群配置

1、每台主机均安装 rabbitmq

环境:

主机名 :ip
mq-161 : 10.100.0.161
mq-162 : 10.100.0.162
mq-163 : 10.100.0.163

ubuntu系统

install  rabbitmq-server  # 直接搞定

以下centos系统

1)Install Erlang

# For EL5:
rpm -Uvh http://download.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
# For EL6:
rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
# For EL7:
rpm -Uvh http://download.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-8.noarch.rpm

yum install erlang

2)Install RabbitMQ Server

rpm --import https://www.rabbitmq.com/rabbitmq-release-signing-key.asc
yum install rabbitmq-server-3.6.5-1.noarch.rpm

3)use RabbitMQ Server

chkconfig rabbitmq-server on
service rabbitmq-server stop/start
2、RabbitMQ集群搭建

1)RabbitMQ集群搭建

均同步主机的/etc/hosts文件

10.100.0.161        mq-161
10.100.0.162        mq-162
10.100.0.163        mq-163

同步erlang.cookie文件,集群主机统一,通过Erlang的分布式特性(通过magic cookie认证节点)进行RabbitMQ集群,各RabbitMQ服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收。

root@mq-161:~ # cat /var/lib/rabbitmq/.erlang.cookie 
WJLPTHZIMFLJRTOGPYNA
root@mq-162:~ # cat /var/lib/rabbitmq/.erlang.cookie 
WJLPTHZIMFLJRTOGPYNA
root@mq-163:~ # cat /var/lib/rabbitmq/.erlang.cookie 
WJLPTHZIMFLJRTOGPYNA

编译安装,普通用户启动的话,.erlang.cookie文件会在宿主目录下生成

在mq-161节点上查看集群信息,此时集群中应只有自己。

root@mq-161:~ # rabbitmqctl cluster_status
Cluster status of node 'rabbit@mq-161' ...
[
{nodes,[{disc,['rabbit@mq-161']}]},
#集群中的节点,disc表示为磁盘模式,ram表示为内存模式
{running_nodes,['rabbit@mq-161']},
#正在运行的集群节点
{cluster_name,<<"rabbit@mq-161">>},
#集群的名称
{partitions,[]}
]
...done.

下面将mq-161、mq-162、mq-163组成集群:

mq-162加入mq-161节点。

root@mq-162:~ # rabbitmqctl stop_app
root@mq-162:~ # rabbitmqctl join_cluster rabbit@mq-161
root@mq-162:~ # rabbitmqctl start_app

mq-163加入mq-161节点。

root@mq-163:~ # rabbitmqctl stop_app
root@mq-163:~ # rabbitmqctl join_cluster rabbit@mq-161 --ram
root@mq-163:~ # rabbitmqctl start_app

此时mq-162与mq-163也会自动建立连接,上面我的两个节点,其中mq-162是磁盘节点,mq-163是内存节点,但mq-161节点默认是磁盘节点(一个集群中最少要有一个磁盘节点)。如果想把mq-162由磁盘节点改成内存节点,使用如下change_cluster_node_type命令修改即可,但要先stop:

root@mq-162:~ # rabbitmqctl stop_app
Stopping node 'rabbit@mq-162' ...
...done.
root@mq-162:~ # rabbitmqctl change_cluster_node_type ram
Turning 'rabbit@mq-162' into a ram node ...
...done.
root@mq-162:~ # rabbitmqctl start_app
Starting node 'rabbit@mq-162' ...
...done.

2)允许远程用户访问

# 第一、添加mq用户并设置密码
rabbitmqctl add_user mq 123456

# 第二、设置mq用户为管理员
rabbitmqctl set_user_tags mq administrator

# 第三、设置mq用户的权限,指定允许访问的vhost以及write/read
rabbitmqctl set_permissions -p "/" mq ".*" ".*" ".*"

    Setting permissions for user "live" in vhost "/" ...
    ...done.

# 第四、查看vhost(/)允许哪些用户访问
rabbitmqctl list_permissions -p /
    Listing permissions in vhost "/" ...
    mq .* .* .*
    ...done.

# 第五、配置允许远程访问的用户,rabbitmq的guest用户默认不允许远程主机访问。
cat /etc/rabbitmq/rabbitmq.config 
    [
    {rabbit, [{tcp_listeners, [5672]}, {loopback_users, ["mq"]}]}
    ].
    # ps:主机1设置完以上这些之后,在集群内的机器都会同步此配置,但是/etc/rabbitmq/rabbitmq.config文件不会同步。

rabbitmqctl list_users
    Listing users ...
    mq  [administrator]
    ...done.
    最后,可以选择删除默认guest用户(密码也是guest)

rabbitmqctl delete_user guest

三、RabbitMQ镜像集群配置

上述配置的RabbitMQ默认集群模式,但并不包管队列的高可用性,尽管互换机、绑定这些可以复制到集群里的任何一个节点,然则队列内容不会复制。固然该模式解决一项目组节点压力,但队列节点宕机直接导致该队列无法应用,只能守候重启,所以要想在队列节点宕机或故障也能正常应用,就要复制队列内容到集群里的每个节点,须要创建镜像队列。

镜像队列是基于普通的集群模式的,所以你还是得先配置普通集群,然后才能设置镜像队列,我们就以上面的集群接着做。

我是通过上面开启的网页的管理端来设置的镜像队列,也可以通过命令,这里先说其中的网页设置方式:

1、点击admin菜单–>右侧的Policies选项–>左侧最下下边的Add/update a policy。

2、按照图中的内容根据自己的需求填写。

3、点击Add policy添加策略。

此时你就会来你的两台rabbitmq服务器的网页管理端amind菜单下看见刚才创建的队列了,下面我们来添加一个queues队列来看看效果,这里只是测试结果,其它的先不填写。

设置镜像队列策略

在任意一个节点上执行:

root@mq-161:~ # rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

将所有队列设置为镜像队列,即队列会被复制到各个节点,各个节点状态保持一直。

我们去live-mq-02上查看策略。

root@mq-162:~ # rabbitmqctl list_policies
Listing policies ...
/   ha-all  all ^   {"ha-mode":"all"}   0
...done.

此时镜像集群就已经完成了,可以在任意节点上创建队列,看看其他两个节点是否会同步。


转载地址:http://www.ywnds.com/?p=4741

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

RabbitMQ两种集群模式配置管理 的相关文章

随机推荐

  • 4月24日云栖精选夜读

    点击订阅云栖夜读周刊 轻松筹首创了 大病救助 模式 帮助了众多病患在第一时间解決了医疗资金等问题 为了从源头解决了医疗资金问题 而在轻松筹这样全球5 5亿用户信赖的大病筹款平台的背后 是日益增长的各种数据 面对这样数据量所造成的巨大挑战 阿
  • 安装PyTorch-Lightning踩坑

    官网地址 PyTorch PyTorch Lightning 安装PyTorch Lightning 1 不能直接使用pip install pytorch lightning 否则如下图会直接卸载掉你的torch而安装cpu版本的torc
  • 这些有趣的AI人脸特效背后,腾讯云都做了什么?

    导语 深受泛娱乐场景喜爱的人脸特效产品 在不断的尝试和拓展中已挖掘出很多火爆的玩法及积累了不少优秀落地案例 本文是对腾讯云高级工程师 李凯斌老师在 云加社区沙龙online 的分享整理 以人脸特效产品 人脸融合 人脸试妆包括试唇色和美颜 人
  • 后代,后裔 descendant offspring posterity progeny

    后代 后裔 descendant offspring posterity progeny 后代 后裔 descendant offspring posterity progeny posterity descendant 和 offspri
  • xp能ping通kali,而kali却ping不了winxp的解决方案

    今天天气不错 手机响了 学妹向我提问了一个问题 她的win xp能ping通linux kali 而linux kali却ping不了winxp 这个问题起初我以为是vmware 15版本的虚拟网卡乱掉了 等到问题解决的时候发现 大错特错
  • 【ESP-IDF】ESP32利用wifi联网(STA模式)

    1 AP和STA的含义 AP模式 Access Point模式 提供无线接入服务 允许其它无线设备接入 提供数据访问 STA模式 Station模式 类似于无线终端 sta本身并不接受无线的接入 它可以连接到AP设备 2 STA模式例程 官
  • 卫星安全组网认证论文详解

    文章 卫星安全组网认证关键技术研究 文章链接 卫星安全组网认证关键技术研究 中国知网 1 摘要 对象 双层卫星网络 通常由地球同步轨道卫星 GEO 和低地球轨道卫星 LEO 组成 其中GEO在通信中起到中继器的作用 能够提供广域覆盖区域 但
  • python中的键不允许重复_在python中使用重复键字典

    在python中使用重复键字典 我有以下列表 其中包含具有不同值的重复的汽车登记号码 我想把它转换成一个字典 接受这个汽车登记号码的多个键 到目前为止 当我尝试将列表转换为字典时 它消除了其中一个键 有人可以告诉我如何使用重复的键字典列表是
  • FFmpeg x264编码b帧时时间戳,帧率等总结

    1 在进行FFmpeg API转码视频时 解码出来的视频帧是包含有frame gt pict type字段的 如果编码前不处理 x264会按照该类型强制编码 如果希望x264自动插入b帧编码 在编码前需要将frame gt pict typ
  • c语言什么是关键字,c语言关键字是什么

    c语言关键字是什么 c语言关键字又称为保留字 就是已被C语言本身使用 不能作其它用途使用的字 C语言简洁 紧凑 使用方便 灵活 ANSI C标准C语言共有32个关键字 9种控制语句 程序书写形式自由 区分大小写 把高级语言的基本结构和语句与
  • 关于项目启动;500报错问题

    HTTP Status 500 An exception occurred processing JSP page index jsp at line 1 type Exception report message An exception
  • 2017 年最推荐的五篇深度学习论文

    价值 思考 共鸣 简评 2017 年度最值得深入阅读的五篇深度学习相关论文 如果没读过的可以行动了 1 最酷视觉效果 使用 CycleGAN 在不成对图像集之间转换 论文 https arxiv org abs 1703 10593 目标
  • 用 clang 编译成 IR 汇编 和 目标机器汇编语言文件

    clang emit llvm c sum c o sum bc clang emit llvm S c sum c o sum ll clang S sum c o sum asm 一 C源文件 sum c int sum int x i
  • Redis基础

    Redis 简介 Redis 是完全开源免费的 遵守BSD协议 是一个高性能的key value数据库 Redis 与其他 key value 缓存产品有以下三个特点 Redis支持数据的持久化 可以将内存中的数据保存在磁盘中 重启的时候可
  • 更改/去除 a链接默认样式

    比较常见的一个需求 但是点击a链接的时候又不想让它变色 下面的代码就可以解决 a text decoration none important color C00017 important
  • 小白也能操作的“电脑恢复出厂设置”,windows8/10通用型

    出厂设置恢复到出厂时的默认状态 删除所有的文件和软件 在手机上很多朋友都会设置出厂设置 那么你们知道电脑如何恢复出厂设置吗 今天 我给大家带来了电脑恢复出厂设置的两种方法 一起来了解一下吧 电脑是我们当今社会发展的必备利器 各行各业都不开电
  • Markdown数学语法

    Markdown数学语法 文章目录 Markdown数学语法 1 基本格式 1 1 行内公式 1 2 块级公式 行间公式 1 3 角标 1 4 整体内容 1 5 多行公式 equation CSDN不支持 align CSDN不支持 支持a
  • 24点

    刚学c 的我是怎么解决判断24点问题的 本人大一狗 高中因为高考 浙江选考 学过vb 开学两周后 教c的老师突然在一节课教完if for switch语句 然后出了个挑战题 如何随意输入四个数判断能否用 计算出24点 有人写了几十行的if语
  • Java基础中的IO流

    一 IO流 IO 上传下载 写入写出 流 一连串流动的数据 以先入先出的方式进行流动 管道 以程序为中心 程序与网络 文件 服务器 数组 1 分类 1 按照流向 输入流 输出流 2 操作单元分 字节流 万能流 任何内容都可以转为字节 可以传
  • RabbitMQ两种集群模式配置管理

    一 RabbitMQ集群的两种模式 1 普通模式 默认的集群模式 2 镜像模式 把需要的队列做成镜像队列 存在于多个节点 属于RabbitMQ的HA方案 普通模式 默认的集群模式 RabbitMQ集群中节点包括内存节点 磁盘节点 内存节点就