Part1前言
最近选用kafka作为消息缓存,来低于大流量的数据。Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
本文主要介绍如何搭建kafka的开发环境,用来开发验证。
Part2安装docker compose
我们采用容器化的方式运行kafka。在安装之前,先安装docker-compose。Docker-Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。通过Docker-Compose,您可以使用 YML 文件来配置应用程序需要的所有服务。然后,使用一个命令,就可以从YML 文件配置中创建并启动所有服务。
安装地址参考https://docs.docker.com/compose/install/other/
下载安装docker-compose
curl -SL https://github.com/docker/compose/releases/download/v2.14.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
设置运行权限
chmod +x /usr/local/bin/docker-compose
查看版本
docker-compose --version
安装成功截图如下:
Part3安装kafka的镜像
这里我们采用github上开源的kafka镜像
https://github.com/wurstmeister/kafka-docker
我们将整个工程下载下来,然后拷贝到系统中,这里我的路径为/home/kafka/kafka-docker
如下图所示
之后定位到这个目录,运行docker-compose up
镜像就会自动进行安装并运行了,等待安装过程如下,这取决于你的网速
安装好之后,可以查看kafka的版本号,通过进入镜像查看,运行命令如下
#运行docker-compose需要到有docker-compose.yml的文件夹中
docker-compose exec -it kafka bash
#查看kafka版本 # 输出2.8.1
echo "$KAFKA_VERSION"
Part4应用配置
我们需要在docker-compose.yml
中通过修改配置,使得可以按照自己期望的来工作。
例如修改KAFKA_ADVERTISED_HOST_NAME为实际的服务器地址。还可以在其中设置kafka的环境变量。如下图所示
Part5kafka客户端工作
由于kafka是一个纯后台的服务,我们需要一个工具来进行验证,这里推荐kafkatool工具,下载网址如下
https://www.kafkatool.com/download.html
安装好之后即可对kafka的Brokers,Topics和Consumers进行管理了。
Part6总结
本文主要介绍了如何安装docker-compose、kafka镜像以及kafka的客户端工具,实现从零开始搭建一个kafka的开发环境。