Kafka集群搭建详细步骤

2023-05-16

Kafka集群搭建

1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;

2、 准备好kafka安装包,官网下载地址:
http://kafka.apache.org/downloads.html

3、 下载好kafka安装包后,将其解压到/usr/local目录下,删除压缩包

4、 目前搭建了三个节点的kafka集群,分别在10.10.67.102,10.10.67.104和10.10.67.106服务器上;

5、 查看配置文件
进入kafka的config的目录:

这里写图片描述

6、 先建立zk集群,直接使用kafka自带的zookeeper建立zk集群,修改zookeeper.properties文件:

这里写图片描述

三个机器上的zookeeper.properties文件配置相同,需要注意的是日志保存的路径,不会自动生成,需要自己手动建立相关的路径, dataLogDir是我自己加的,日志文件太多,把日志文件区分开;

7、 创建myid文件,进入/usr/local/kafka/zookeeper,创建myid文件,将三个服务器上的myid文件分别写入1,2,3,如图:

这里写图片描述
—-myid是zk集群用来发现彼此的标识,必须创建,且不能相同;

8、 进入kafka目录 执行启动zookeeper命令:
./bin/zookeeper-server-start.sh config/zookeeper.properties &
三台机器都执行启动命令,查看zookeeper的日志文件,没有报错就说明zookeeper集群启动成功了。

9、 搭建kafka集群,修改server.properties配置文件:
这里写图片描述

这里写图片描述

server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为0,1,2;log.dirs必须保证目录存在,不会根据配置文件自动生成;

10、 启动kafka集群,进入kafka目录,执行如下命令 :
./bin/kafka-server-start.sh –daemon config/server.properties &
三个节点均要启动;启动无报错,即搭建成功,可以生产和消费消息,来检测是否搭建成功。

11、 如何生产和消费消息,请见下一篇博客:
http://blog.csdn.net/zxy987872674/article/details/72493128

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Kafka集群搭建详细步骤 的相关文章

随机推荐

  • postman的经典操作实例

    今天我们就来说说postman这个工具的使用 xff0c 具体介绍几种经典的接口测试用例 首先打开postman这个工具 xff0c 点击新增页面 1 首先测试一个get请求的接口 xff0c 其实get请求直接在浏览器就可以测试 xff0
  • IP头中的校验和计算方法介绍

    校验和的作用 按照协议的规定 xff0c 报文到达每一层 xff0c 首先验证校验和是否正确 xff0c 丢弃掉不正确的报文 xff0c 再才会进行后续操作 那么校验和是怎么计算的呢 xff1f 校验和的计算方法 以 IP 首部中的校验和为
  • STM32循环队列串口通信(工程末尾自取)

    STM32循环队列串口通信 包含内容 xff1a 循环队列 环形队列 循环队列本质是先进先出的线性序列 xff0c 通过定义的头尾指针对一个数组或者一个合法的内存进行循环访问的方式存入和取出数据 xff0c 通过数组或者合法内存形成数据的缓
  • OAuth的学习

    1 OAuth介绍 OAUTH协议为用户资源的授权提供了一个安全的 开放而又简易的标准 与以往的授权方式不同之处是OAUTH的授权不会使第三方触及到用户的帐号信 息 xff08 如用户名与密码 xff09 xff0c 即第三方无需使用用户的
  • UART协议

    UART协议 简介 UART是通用异步收发传输器 xff08 Universal Asynchronous Receiver Transmitter xff0c 通常称作UART xff0c 是一种异步收发传输器 是设备间进行异步通信的关键
  • git标签和分支命令

    本编记录git标签和分支的基本命令 61 61 61 61 61 git 标签基本命令 查看总共有哪些标签 l参数用于过滤 xff0c 比如这里是查看以v开头的所有分支 git tag l v 创建一个临时标签 最简单的创建标签的方法 gi
  • C语言实验——计算1到n的和(循环结构)

    include lt stdio h gt int main int i n sum 61 0 scanf 34 d 34 amp n for i 61 1 i lt 61 n i 43 43 sum 61 sum 43 i printf
  • ubuntu18.04安装Realsense D435i 摄像头的驱动SDK和ROS Wrapper

    ubuntu18 04安装Realsense D435i 摄像头的驱动SDK和ROS Wrapper 2022年更新 xff1a 安装教程同 xff1b 进更新安装包下载方式和下载链接 见文末 1 安装Realsense SDK 1 下载s
  • Window内置ubuntu安装与图形界面显示

    文章目录 一 Window安装ubuntu1 打开控制面板2 WSL升级1 xff09 启用适用于 Linux 的 Windows 子系统2 xff09 检查运行 WSL 2 的要求3 xff09 启用虚拟机功能4 xff09 下载 Lin
  • vscode超实用插件-REST Client

    背景 xff1a 作为前端开发 xff0c 经常需要进行接口调试 xff0c 比如常用的postman Rest client则是vscode推出的一款直接在vscode编辑器内就可以进行接口调试的插件 可以帮助我们快速在编辑器中进行接口调
  • 使用curl库,以post方式向服务器发送json数据

    使用curl库 xff0c 以post方式向服务器发送json数据 json数据的组合可以参考jsoncpp库 xff0c 也可以按json格式自己组合字符串 注意事项 xff0c 以下代码不可以多线程执行 xff0c 如果多线程执行 xf
  • STM32中printf重定向

    声明 xff1a 所有资源均来自于普中STM32F103开发板相关资料 xff0c 这是自己购买的一款开发板 xff0c 如果原作者认为侵权 xff0c 请联系我以便及时处理 printf重定向简介 C语言中printf函数默认输出设备是显
  • 解决ImportError: dlopen(/usr/local/Cellar/python/3.7.2_2/Frameworks/Python.framework/Versions/3.7/lib/

    import span class token punctuation span span class token string 34 ssl 34 span span class token punctuation span E Impo
  • linux JSON 解析命令 jq

    linux JSON 解析命令 jq 背景 前两天用终端curl请求服务端接口 xff0c 返回json格式数据有一些问题 xff0c 拿给开发看 xff0c 开发说你怎么不转换成json格式 xff0c 好看一点 xff0c 正准备把js
  • pip install 报错解决办法

    pip install 报错解决办法 报错如下 python m pip span class token function install span U pip Requirement already satisfied pip span
  • mac os+selenium2+chrome驱动+python3

    mac os 10 11 5 mac自带python2 7 xff0c 自己下载了python3 5 xff0c pip list查看系统中的安装包 xff0c 本人电脑中已经安装了pip和setuptools xff0c 若未安装 xff
  • redis服务启动和停止

    最近工作中需要使用redis内存数据库 xff0c 用的较多的师redis服务的启动与停止 xff0c 以及redis的常用命令 先简单了解一下redis xff0c redis是一个key value存储系统 和Memcached类似 x
  • sublime python环境(代码自动补全,调试python脚本等插件)

    用过sublime和pycharm xff0c 两款各有优缺点 xff0c 本人只是用来写一些脚本 xff0c 不开发大型项目 xff0c 选择轻量级的sublime编辑器 xff0c sublime需要根据开发语言 xff0c 自己安装一
  • 解决Vim插入模式下backspace按键无法删除字符的问题

    最近使用某个服务器编辑文件时 xff0c 快捷键i进入插入模式后 xff0c 下方不出现insert模式 xff0c 却可以插入字符 xff0c 但是backspace按键不能删除字符了 xff0c 最终google解决了此问题 xff0c
  • Kafka集群搭建详细步骤

    Kafka集群搭建 1 Kafka的安装需要java环境 xff0c cent os 7自带java1 6版本 xff0c 可以不用重新安装 xff0c 直接使用自带的jdk 即可 xff1b 如果觉得jdk版本太旧 xff0c 也可以自己