kafka 集成SpringBoot

2023-11-14

目录

一、Kraft模式

配置

集群启动停止脚本

二、集成SpringBoot

资源配置

生产者

消费者

三、API

依赖

yml格式配置文件

properties格式配置文件


 

一、Kraft模式

        kafka 2.8.0后新特性

        2.8.0以前,kafka需要搭配zookper,这样会产生大量的网络通信,影响效率,也不便于后续的维护和升级。

 

配置

 

集群启动停止脚本

二、集成SpringBoot

 

资源配置

生产者

 

 

消费者

 加上消费者组id和反序列化

三、API

依赖

        <!-- Springboot整合 Kafka使用。注意:版本一致   -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.8.1</version>
        </dependency>

yml格式配置文件

spring:
  application:
    name: kafka-springboot
  # kafka配置信息
  kafka:
    bootstrap-servers: 192.168.xxx.xxx:9092 # 集群用逗号分隔
    producer: # 生产者
      retries: 3 # 失败重试次数
      batch-size: 16384
      buffer-memory: 33554432
      acks: 1
      # 指定消息key和消息体的编解码方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer: # 消费者
      group-id: default-group # 消费组
      enable-auto-commit: false
      # auto-offset-reset: earliest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    listener:
      ack-mode: MANUAL_IMMEDIATE

 

 

properties格式配置文件

server.port=8080
###########【Kafka集群】###########
spring.kafka.bootstrap-servers=localhost:9092
#==================================【初始化生产者配置】==================================#
# 重试次数
spring.kafka.producer.retries=0
# 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
spring.kafka.producer.acks=1
# 批量大小
spring.kafka.producer.batch-size=16384
# 提交延时
spring.kafka.producer.properties.linger.ms=0
# 当生产端积累的消息达到batch-size或接收到消息linger.ms后,生产者就会将消息提交给kafka
# linger.ms为0表示每接收到一条消息就提交给kafka,这时候batch-size其实就没用了
# 生产端缓冲区大小
spring.kafka.producer.buffer-memory = 33554432
# Kafka提供的序列化和反序列化类
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
# 自定义分区器
#spring.kafka.producer.properties.partitioner.class=com.felix.kafka.producer.CustomizePartitioner

 

整理的不错的链接:

Spring Boot整合Kafka_Charge8的博客-CSDN博客_springboot整合kafka

kafka客户端操作之Admin API_codingXT的博客-CSDN博客_kafkaadmin

Springboot整合kafka_fFee-ops的博客-CSDN博客_springboot整合kafka

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

kafka 集成SpringBoot 的相关文章

  • Java中遍历所有文件

    我想让我的程序打印我计算机上所有文件的巨大列表 我的问题是 当我希望它打印位于我的计算机上的所有文件时 它仅打印第一个硬盘驱动器的第一个文件夹中的文件 有什么想法我在这里做错了什么吗 谢谢 这是我使用的代码 Main import java
  • Android Proguard Javascript 接口失败

    我在我的项目中使用了一段代码 如此处所述 http lexandera com 2009 01 extracting html from a webview http lexandera com 2009 01 extracting htm
  • 如何使用 Java Swing 创建图像映射?

    我需要使用 Swing 制作一个显示背景图像的图像地图 然后当鼠标悬停在 或单击 特定热点上时 我需要弹出一个 放大 图像并显示它 我正在考虑扩展 JPanel 以包含图像引用并通过 PaintComponent g 方法绘制该图像 到目前
  • Java:如何将所有 java 日期分组到相应的周中?

    Problem 我有一个很大的日期清单 我需要按周安排它们 问题 如何按以下方式对日期进行分组一年中的一周他们在吗 示例数据集 Date date new SimpleDateFormat parse 04 01 2015 Date dat
  • Java 1.6 和 Desktop.open() 的问题

    我一直在使用 Destop open 在 Windows 计算机 Vista 和 XP 上启动 pdf 查看器 并且大多数都工作得很好 但是 在一台 XP 计算机上 该调用不起作用 只是返回而不抛出任何异常 并且查看器不会启动 据我所知 在
  • 如何将背景图像设置到 JPanel 中的 JTextArea

    我想在JTextArea 我在谷歌上查找过 但没有结果 背景可能是一个标志 我也想知道如何设置背景的分辨率 我的包中只有一门课 我有一个 MySQL 连接器驱动程序作为参考库 我的工作台是 Eclipse 使用 Fat jar 插件导出 j
  • 信用卡号应该存储为字符串还是整数?

    是啊 只是想想而已 我应该将在我的网站上输入的信用卡号存储为字符串还是整数 我的意思是 它们由数字组成 这让我认为它是一个整数 但我不对它们进行数学运算 所以也许字符串更合适 编辑 所以我必须在加密之前存储在某个时刻输入的数字 我可能应该更
  • MyBatis 遵循 JPA 吗?

    作为我的第一个 ORM 我已经使用 myBatis 几个月了 现在我正在尝试学习其他东西 例如 Hibernate JPA 起初很难理解 Hibernate 和 JPA 之间的区别 经过几分钟的研究 我明白 JPA 只是一个规范 Hiber
  • 我在这个正则表达式中做错了什么?

    我正在做一个关于正则表达式的学校作业 我先解释一下 我必须编写一个正则表达式来检查 URL 我必须检查的条件是 URL 是 http s 还是 ftp s 域名是 nl 还是 edu 至少有一个第三级域名 但如果该域名以 万维网 必须有一个
  • 如何设置鼠标监听器的优先级

    我有一个带有列表和按钮的面板 名单已定MouseAdapter with mouseClick 我添加到面板MouseAdapter with mousePressed and mouseReleased and MouseMotionAd
  • SLF4J 日志级别作为参数[重复]

    这个问题在这里已经有答案了 我们希望使用 SLF4J 但我们发现的一件事是您无法将级别指定为参数 即 Logger log Level INFO messsage 你必须这样做 logger info message 这使得无法通过方法传递
  • org.openqa.selenium.remote.service.DriverService$Builder.createArgs()Lcom/google/common/collect/ImmutableList;使用 Selenium 3.5.3

    我正在使用 IntelliJ 编写 Selenium Junit 测试 如果我直接从测试触发 测试运行正常 但是 如果我使用 JunitCore 触发 TestRunnerSuite 的测试 我遇到了以下奇怪的错误 在谷歌研究后我没有找到解
  • ViewCompat.setOnApplyWindowInsetsListener使状态栏颜色消失

    这是我用来检测何时的代码Keyboard Height变化 唯一的问题是Statur Bar当此代码运行时 颜色消失并变为白色 ViewCompat setOnApplyWindowInsetsListener this getWindow
  • Maven build 编译错误:无法在项目 Maven 上执行目标 org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile)

    我有一个 Maven 项目 从 git 存储库分叉并克隆到我的 Eclipse 上 它是基于 Java 8 构建的 我做的第一件事是执行 mvn clean install 但我收到以下失败消息 INFO Scanning for proj
  • hibernate中映射到数据库表的bean的默认继承策略是什么?

    这是我在 stackoverflow 中的第一个查询 我想我正在提供所有必要的输入 我已经提供了我的 Java bean 和数据库表详细信息如下 Java Bean 类 import java sql Timestamp import ja
  • 在 OpenCV 中将 `BufferedImage` 转换为 `Mat`

    我怎样才能转换BufferedImage to a Mat in OpenCV 我正在使用 JAVA 包装器OpenCV not JavaCV 由于我是新手OpenCV我在理解如何做时遇到一些问题Mat works 我想做这样的事情 基于
  • 使用 Appengine 进行多线程处理

    既然Appengine不允许java多线程 那么我们如何将现有的多线程代码迁移到该平台呢 例如我有以下代码 Thread t new Thread public boolean alive true public void run whil
  • 可选的比较器

    I have abstract class OptionalComparator
  • 如何更改 Java 中不同类的变量?

    如何更改 Java 中不同类的变量 我正在尝试更改另一个类中的变量 然后在第一个类中使用它 我在 First 类中创建了一个变量 并将其值设置为 1 然后我尝试在 Second 类中将同一变量的值更改为 2 但是当我在 First 类中使用
  • JDK1.6 中 ManagementFactory 的托管 Mbean - NotCompliantMBeanException:

    我使用 ManagementFactory 来获取 JDK1 5 和 JBOSS 4 X 中的 ManagedMbeans 现在想将我的相同代码移至 JDK 1 6 Mbean 部分中断并抛出异常 引起原因 javax management

随机推荐

  • Spring Source Tools安装Virgo插件

    1 STS 3 7 4 安装Virgo插件失败 需要先安装 先下载一个STS IDE 地址 http spring io tools sts all 然而在STS中添加Virgo插件 如果你直接在Install new software中输
  • mysql 1054错误 "Unknown column 'xxx' in 'field list'"

    出现问题的代码如下 s 测试 sql INSERT INTO ffff ID VALUES s s try cursor execute sql db commit print 写入成功 except Exception as e prin
  • FPGA基本IP核之FIFO(异步)

    异步FIFO 创建新的异步FIFO IP核 可以看出相比于同步FIFO这里做了写和读两侧并且各自用一个时钟 一般选用二级同步 然后勾选读和写两侧需要用到的三种信号 选择添加额外的MSB 由于分成两侧时 中间不知道数据是否写满了或者写空了 添
  • GE IS215VCMIH2BB IS200VCMIH2BCC 数字量输入模块

    GE IS215VCMIH2BB 和 IS200VCMIH2BCC 是数字量输入模块 通常用于工业自动化和控制系统中 用于接收和处理数字量输入信号 以下是这些模块可能具备的一些常见功能和产品特点 多通道输入 这些模块通常具有多个数字量输入通
  • 【数据读写】csv文件与xls/xlsx文件

    目录 一 csv格式与xls xlsx格式的区别 二 两种文件格式的读写操作 1 csv文件的读 写函数 csvread csvwrite 2 xls xlsx文件的读 写函数 xlsread xlswrite 三 应用案例 1 实例1 参
  • STM32寄存器

    问题 什么是寄存器 什么是存储器映射 什么是寄存器映射 STM32架构 程序存放在FLASH中 const的常量存放在FLASH中 变量 全局 静态变量 存放在SRAM中 System总线主要读取寄存器 AHB 高速 总线上挂着SDIO 复
  • 【微信公众号开发系列文章】二、Access token相关操作

    所有内容首发微信公众号 WEB前端李志杰 欢迎关注 点赞并转发 写在最前 关于获取Access token这部分内容建议仔细阅读官方文档 本文章对于重点内容进行了摘录 有利于大家把握重点部分 最后文章中会给出这一部分的程序设计思路及示例代码
  • c++编译踩坑大赏

    1 编译错误error binding const Person to reference of type Person discards qualifiers 意思是在进行函数传参时 不能把常变量 这里是常引用 传递给非常变量 Perso
  • 在vs2019上编写Linux系统下的c++程序_远程 Linux 系统上的 Ubuntu

    在vs2019上编写Linux系统下的c 程序 远程 Linux 系统上的 Ubuntu 正文 遇到的问题 方法一 如果方法一无法解决 您可以尝试方法二 正文 第一步 先将自己的Linux 系统设为静态IP 具体操作如下 在修改以下文件时
  • 做好三件事,就能避免远程办公变成“肥宅办公”

    随着上海疫情持续 越来越多的白领开启了远程办公 可由于宅家办公运动量小 一天三餐还是照常吃 因此有些人的远程办公渐渐变成了 肥宅办公 自己变得不爱动弹 体态也变得臃肿 这可怎么办才好 专业人士表示 如果做到了这三件事就可以避免远程办公变成
  • 微信小程序(或uniapp)引入腾讯视频插件播放视频

    1 申请插件 注意 个人开发者无法使用 登录微信公众平台 在你的小程序后台的设置 第三方服务 插件管理 搜索插件并点击添加 添加成功之后 点击详情 查看该插件的具体信息 拿到该插件的appid以及版本号 github地址 https git
  • 使用ogg 从oracle 同步mysql遇到问题记录

    ORACLE 同步mysql遇到问题 2018 08 27 10 59 54 WARNING OGG 01004 Aborted grouped transaction on DESIGNXXxx Database error 1105 S
  • SQL批量操作大全

    1 list嵌套list查询SQL
  • 解决IDEA中maven导入jar包

    查 看 File gt Project Structure gt Libraries如下面没有maven所引入的jar包则为该错误 1 错误原因 是导入的module错误 应该导入maven的module 解 决 File gt Proje
  • JS 传各种文件到后端

    一个前端上传文件按钮功
  • 伯努利分布的最大似然估计

    前言 昨天晚上参加阿里巴巴的实习面试 各种被虐 面试了将近90分钟 才做了3个题 加上项目的介绍 在机器学习方面 问到了一个伯努利分布的最大似然估计的推导 想到逻辑回归的推导就是利用最大似然估计 然后就套用了其推导过程 可能前面被说的有点迷
  • python之js解密_python中的RSA加密和JS中的解密

    我是密码学的全新人物 我想从服务器端生成RSA密钥对 并将其发送给所有客户端 浏览器 但在此之前 我只是通过加密python中的数据并通过pubnub发送到index html文件并尝试在JavaScript中解密来测试场景 问题是当我做加
  • Redis——Windows安装

    本篇只谈安装 后续会深入讲解Redis 比如它的内存管理 快照 订阅等待 针对不同的用户 Redis有Windows和Linux两种环境安装 官网上下的是Statble版是Linux 大家一定要注意 由于本人做本地端 所以以下谈的是Wind
  • SpringBean生命周期&扩展接口&简化配置

    目录 1 生命周期简图 2 扩展接口介绍 BeanFactoryPostProcessor接口 Aware接口 BeanPostProcessor接口 InitializingBean接口 DisposableBean接口 3 spring
  • kafka 集成SpringBoot

    目录 一 Kraft模式 配置 集群启动停止脚本 二 集成SpringBoot 资源配置 生产者 消费者 三 API 依赖 yml格式配置文件 properties格式配置文件 一 Kraft模式 kafka 2 8 0后新特性 2 8 0