Kafka集群搭建配置与eagle监控界面

kafka集群环境搭建

首先在多台机器上搭建配置Kafka环境，可以参考Kafak环境搭建：

Kafka - kafka环境配置以及参数分析

集群搭建配置

对于kafka来说，一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量，只需要多启动几个broker实例即可。为了有更好的理解，现在我们在一台机器上同时启动三个broker例。
首先，我们需要建立好其他2个broker的配置文件：

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties

配置文件需要修改的内容分别如下：
config/server-1.properties:
#broker.id属性在kafka集群中必须要是唯一 
broker.id=1 
#kafka部署的机器ip和提供服务的端口号 
listeners=PLAINTEXT://192.168.36.131:9093 
log路径
log.dir=/usr/local/data/kafka-logs-1 
#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同 zookeeper.connect=192.168.36.131:2181
    
config/server-2.properties:
broker.id=2 
listeners=PLAINTEXT://192.168.36.131:9094 
log.dir=/usr/local/data/kafka-logs-2 
zookeeper.connect=192.168.36.131:2181
    
启动两个broker结点：
bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties

Kafka-Eagle 安装

修改 kafka-server-start.sh 命令中的 jvm参数

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -
XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -
XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -
XX:InitiatingHeapOccupancyPercent=70"
 export JMX_PORT="9999"
 #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

下载kafka-eagle

官网：https://www.kafka-eagle.org/
解压配置 环境变量

export KE_HOME=/soft/eagle3.0.1
export JAVA_HOME=/soft/java
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin

修改 eagle配置文件

vim conf/system-config.properties

修改数据库配置信息

efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://node02:33306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=root

启动/关闭eagle

bin/ke.sh start
bin/ke.sh stop