kafka的安装搭建

2023-11-12

Kafka就不介绍了,主要记录下安装的过程。

1、安装kafka得先安装jdk:

可以使用以下命令查看下是否有安装过jdk:

rpm -qa | grep jdk

没有则运行一下命令安装jdk

yum install java-1.8.0-openjdk* -y

jdk安装
可以通过以下命令查看到安装目录:

which java

2、kafka是依赖zookeeper的,所以得安装zookeeper先

选择一个目录下载一下zookeeper

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz

zookeeper下载

// 解压下
tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz
cd apache-zookeeper-3.7.1-bin

复制zookeeper配置
启动zookeeper:

// 启动zookeeper,当前目录:/xxx/zookeeper/apache-zookeeper-3.7.1-bin
bin/zkServer.sh start

start zookeeper
客户端连接zookeeper:

// 连接客户端
bin/zkCli.sh
// 查看zk根目录节点
ls /

connect zookeeper
ls root folder

安装kafka

先下载kafka安装包:https://archive.apache.org/dist/kafka

# 下载 : kafka版本号是2.8.1,2.12是scala的版本号,kafka是用scala语音开发的
wget https://archive.apache.org/dist/kafka/2.8.1/kafka_2.12-2.8.1.tgz
# 解压
tar -xzf kafka_2.12-2.8.1.tgz
cd kafka_2.12-2.8.1
# 修改配置文件
config/server.properties

配置文件config/server.properties需要改动的信息:

# broker实例的唯一号
broker.id=0
# kafka的服务ip号和提供的端口
listeners=PLAINTEXT://localhost:9092
# 日志文件存储地址
log.dirs=/tmp/kafka-logs
# zookeeper的连接地址
zookeeper.connect=localhost:2181

这里需要注意一点的是,当你的listeners配置的是ip地址,则需要将ip地址和主机名绑定到/etc/hosts 文件里:

# 查看主机名:
hostname
vim /etc/hosts
#格式如下:
# 第一部份:网络IP地址; 第二部份:主机名或域名; 第三部份:主机名别名;
192.168.88.255 hostname1

现在就可以启动下kafka了。

# daemon 表示后台启动,在kafka安装目录下执行的命令
bin/kafka-server-start.sh -daemon config/server.properties

可以使用命令查看是否启动成功:

ps -ef | grep kafka

kafka服务
进入zookeeper里查看数据可以看到和刚开始安装时的节点不一样了:
进入zookeeper客户端
zookeeper root节点
可以看到多了很多节点。
其中kafka的实例节点只有一个,上图中的 ls /brokers/ids 命令查询所示。
关闭kafka服务:

bin/kafka-server-stop.sh

关闭服务
至此kafka就搭建完成了。

kafka集群搭建

kafka的集群搭建起来更加方便,只是启动多个kafka实例就好了,使用同一个zookeeper的服务注册中心。
复制两份配置文件:

# 切换到config目录下
cp server.properties server-2.properties
cp server.properties server-3.properties

然后修改两个配置信息的端口号等信息:

# server-2.properties
broker.id=1
listeners=PLAINTEXT://localhost:9093
log.dirs=/xxxx/kafka/data/logs2
# server-3.properties
broker.id=2
listeners=PLAINTEXT://localhost:9094
log.dirs=/xxxx/kafka/data/logs3

然后启动下:

bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-start.sh -daemon config/server-2.properties

我就启动了0和1的id实例。可以看到下面检测到的实例就两个
kafka实例
然后就可以查看到zookeeper上注册了几个broker实例了。
查看zk中注册点
就ok了,就是这么简单。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

kafka的安装搭建 的相关文章

  • Kafka传输数据到Spark Streaming通过编写程序java、scala程序实现操作

    一 案例说明 现有一电商网站数据文件 名为buyer favorite1 记录了用户对商品的收藏数据 数据以 t 键分割 数据内容及数据格式如下 二 前置准备工作 项目环境说明 Linux Ubuntu 16 04 jdk 7u75 lin
  • kafka创建话题遇到的错误

    确定Kafka安装和启动正确 ZooKeeper可以查到所有的Brokers 但执行 kafka topics sh create zookeeper localhost 2181 replication factor 3 partitio
  • 面对kafka频发的rebalance,该如何处理?

    Kafka 是我们最常用的消息队列 它那几万 甚至几十万的处理速度让我们为之欣喜若狂 但是随着使用场景的增加 我们遇到的问题也越来越多 其中一个经常遇到的问题就是 rebalance 重平衡 问题 但是要想了解 rebalance 那就得先
  • Kafka面试必问几个概念 与 使用场景

    介绍下我写的这个kafka项目 里面做了详细的配置注释已经代码的demo 可供大家学习 项目 地址 springboot kafka集群项目实战 kafka集群批量消费数据去重和一致性 kafka的几个重要概念 接下来围绕下面几个概念来进行
  • kafka处理快速的原因

    生产者分析 生产者 producer 是负责向Kafka提交数据的 我们先分析这一部分 Kafka会把收到的消息都写入到硬盘中 它绝对不会丢失数据 为了优化写入速度Kafka采用了两个技术 顺序写入 和 MMFile 顺序写入 因为硬盘是机
  • Kafka之基础笔记

    1 kafka offset 存储 1 1 去zookeeper依赖 比较广为人知的Kafka offset存储方式为zookeeper 在0 8版本时 默认依然是zk 但是此时其实已经出现另外一种offset存储方式了 Kafka以 co
  • python 自建kafka消息生成和消费小工具

    要将 Kafka 的消息生产和消费转换为 API 接口 我们可以使用 Python 的 Web 框架 其中 Flask 是一个轻量级且易于使用的选择 下面是一个简单的例子 使用 Flask 创建 API 来生成和消费 Kafka 消息 1
  • Kafka原理分析

    在基础篇中我们介绍MQ的一些基础原理 这篇文章 我们针对kafka进行较深入的分析 上篇文章中我们提到了kafka中一个名词broker 其实broker可以理解成为一台kafa服务器 kafka的特性和功能 在kafka设计之初是为了实时
  • 如何更好地使用Kafka?

    引言 要确保Kafka在使用过程中的稳定性 需要从kafka在业务中的使用周期进行依次保障 主要可以分为 事先预防 通过规范的使用 开发 预防问题产生 运行时监控 保障集群稳定 出问题能及时发现 故障时解决 有完整的应急预案 这三阶段 事先
  • Linux 下搭建 Kafka 环境

    安装步骤 准备软件目录 mkdir datalake 上传之前下载好的安装包到 datalake 目录下 jdk 8u181 linux x64 gz kafka 2 11 2 1 0 tgz zookeeper 3 4 5 tar gz
  • Kafka一文懂

    初识 Kafka 什么是 Kafka Kafka 是由 Linkedin 公司开发的 它是一个分布式的 支持多分区 多副本 基于 Zookeeper 的分布式消息流平台 它同时也是一款开源的基于发布订阅模式的消息引擎系统 Kafka 的基本
  • Kafka——集群

    文章目录 集群 1 搭建个集群 2 集群发送消息 3 集群消费 3 1 Procuder 3 2 Consumer 4 消费顺序 集群 对于kafka来说 一个单独的broker意味着kafka集群中只有一个节点 要想增加kafka集群中的
  • windows python kafka 初级使用

    今天花了点时间在这个kafka上 因为我们工作中也用到了kafka 我这边对于kafka的理解是能用或者知道基本原理就行 实现在自己的windows环境搭建一次kafka 然后使用python进行数据的生产和消费 如果之后工作中对于kafk
  • springboot集成kafka实战项目,kafka生产者、消费者、创建topic,指定消费分区

    springboot集成kafka实战项目 kafka生产者 消费者 创建topic 指定消费分区 前言 本项目代码可直接集成到你现有的springboot项目中 功能包括 1 kafka生产者配置 2 kafka消费者配置 指定分区消费
  • kafka消费者客户端线程安全以及多线程实现并发读取消息

    kafka的生产者客户端Producer是线程安全的 但是消费者客户端是非线程安全的 每次操作时都会调用accqure方法用来确定当前只有一个线程操作 如果有多个线程在操作 会抛出CME异常 针对这种情况 为了能够多线程更快速的读取消息 可
  • 附录:kafka源码启动

    本文以源码2 8为例 准备如下 idea 2019 1 4 jdk 1 8 scala 2 12 8 gradle 6 8 1 zookeeper 3 4 10 kafka2 8源码 注意 以下安装都需要装在没有空格的路径上 比如D Pro
  • Kafka生产者模式生成10亿条数据

    生产者生产消息 public class MyProducer2 public static void main String args throws InterruptedException 生产者 Properties properti
  • explain查看sql语句执行计划

    explain sql 执行结果字段描述 id select唯一标识 select type select类型 table 表名称 type 连接类型 possible keys 可能的索引选择 key 实际用到的索引 key len 实际
  • [Docker]使用Docker部署Kafka

    Kafka 是一个分布式流处理平台 它依赖于 ZooKeeper 作为其协调服务 在 Kafka 集群中 ZooKeeper 负责管理和协调 Kafka 的各个节点 因此 要在 Docker 容器中启动 Kafka 通常需要同时启动一个 Z
  • 公司实战 ElasticSearch+Kafka+Redis+MySQL

    一 需求 前一段时间公司要进行数据转移 将我们ES数据库中的数据转移到客户的服务器上 并且使用定时将新增的数据同步 在这过程中学到了很多 在此记录一下 二 技术栈 Mysql Redis ElasticSearch Kafka 三 方案 为

随机推荐