Part1前言

最近选用kafka作为消息缓存，来低于大流量的数据。Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
本文主要介绍如何搭建kafka的开发环境，用来开发验证。

Part2安装docker compose

我们采用容器化的方式运行kafka。在安装之前，先安装docker-compose。Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。通过Docker-Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从YML 文件配置中创建并启动所有服务。
安装地址参考https://docs.docker.com/compose/install/other/
下载安装docker-compose

curl -SL https://github.com/docker/compose/releases/download/v2.14.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

设置运行权限

chmod +x /usr/local/bin/docker-compose

查看版本

docker-compose --version

安装成功截图如下：

Part3安装kafka的镜像

这里我们采用github上开源的kafka镜像

https://github.com/wurstmeister/kafka-docker

我们将整个工程下载下来，然后拷贝到系统中，这里我的路径为/home/kafka/kafka-docker如下图所示

之后定位到这个目录，运行docker-compose up 镜像就会自动进行安装并运行了，等待安装过程如下，这取决于你的网速

安装好之后，可以查看kafka的版本号，通过进入镜像查看，运行命令如下

#运行docker-compose需要到有docker-compose.yml的文件夹中
docker-compose exec -it kafka bash
#查看kafka版本 # 输出2.8.1
echo "$KAFKA_VERSION"

Part4应用配置

我们需要在docker-compose.yml中通过修改配置，使得可以按照自己期望的来工作。
例如修改KAFKA_ADVERTISED_HOST_NAME为实际的服务器地址。还可以在其中设置kafka的环境变量。如下图所示

Part5kafka客户端工作

由于kafka是一个纯后台的服务，我们需要一个工具来进行验证，这里推荐kafkatool工具，下载网址如下

https://www.kafkatool.com/download.html

安装好之后即可对kafka的Brokers，Topics和Consumers进行管理了。

Part6总结

本文主要介绍了如何安装docker-compose、kafka镜像以及kafka的客户端工具，实现从零开始搭建一个kafka的开发环境。