kafka对单分区重设偏移量

2023-11-05

一、整个kafka设置偏移量

对kafka整个集群设置偏移量大家使用较多,适合测试环境,丢弃整个消息队列中的数据:

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group group_mytest --reset-offsets --all-topics --to-latest --execute

二、指定topic的指定分区设置偏移量

当一个topic存在多个分区,其中单个分区产生堆积时,生产环境中显然不适合丢弃整个topic的数据,所以,为了尽量减少对生产数据的影响,可以对指定的分区重设偏移量
1、首先查看当前分区情况以及消费组信息:

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my_group

CURRENT-OFFSET:将这个值调大,则可以丢弃掉指定分区的一部分数据

2、然后根据具体积压的分区情况,设置指定分区的偏移量:

./kafka-consumer-groups.sh --bootstrap-server localhost:9092  --group my_group --reset-offsets --topic my_topic:10 --to-offset 123123123  --execute

–topic kafkatest:10:10表示分区
–to-offset 123123123
3、如果出现报错:

Error: Assignments can only be reset if the group ‘my_group’ is
inactive, but the current state is PreparingRebalance.

说明指定的消费组处于活跃状态,需要停止消费之后,才能操作。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

kafka对单分区重设偏移量 的相关文章

  • 今天带你体验79毫秒启动一个SpringBoot项目

    大家好 我是雷小帅 今天来个项目实战 先抛一个问题 大家在自己电脑上启动一个 spring boot 项目需要花费多久 根据项目大小和机器环境 花费几秒到几十秒的人应该都有 最近 spring 官方推出了一项技术可以将项目的启动时间缩短到

随机推荐

  • 荒野行动服务器维护啥时好,荒野行动服务器真的极差

    说起 荒野行动 这个游戏 我想大家都不陌生 毕竟这个是在端游吃鸡出现不到三个月的时间 就由网易出品的一款吃鸡手游 可以说这个是第一款吃鸡手游 我玩了快半年的 荒野行动 了 先不说这个游戏咋样 咱们先说一说官网的态度 当真是不想让我们在继续玩
  • Vue2.0与Vue3.0的区别

    Vue2 0 Vue3 0 双向绑定 利用ES5的ApiObject defineProperty 对数据进行劫持 并结合发布订阅模式的方式实现 利用Es6的Proxy 对数据进行代理的方式实现 根节点 根节点只能是一个 根节点可以是多个
  • nginx之反向代理服务器

    本文摘抄自 深入理解Nginx 模块开发与架构解析 反向代理 reverse proxy 方式是指用代理服务器来接受Internet上的连接请求 然后将请求转发给内部网络中的上游服务器 并将从上游服务器上得到的结果返回给Internet上请
  • QGuiApplication底层鼠标处理(一)使用QSocketNotifier建立侦听连接

    QGuiApplication底层鼠标处理 一 使用QSocketNotifier建立侦听连接 读取外设信息 建立外设连接 init plugins QEvdevMousePlugin QEvdevMouseManager QEvdevMo
  • vmware 最近 win10 更新补丁后,需要更新后才能使用

    preface 最近准备换工作 在搭建自己的项目 一直未更新博文 等到 稳定后就把 项目流程 相关 发布出来 项目都是 搭建在 vmware 的 centos 中 尴尬的是 昨天 vmware 不能打开了 不能打开并且提示需要更新 vmwa
  • Unity实现UI在屏幕边缘跟随并指向视野外敌人

    最终效果 实现 心急的小伙伴可以直接跳到文章末尾查看最终代码 如果有问题再来看下思路 首先我们需要确定实现思路 我想到的方案是将玩家和敌人的世界坐标转换为UI坐标 然后求玩家和敌人坐标的线段与Canvas边界的交点即为箭头坐标 下面是求出交
  • 学习笔记TF043:TF.Learn 机器学习Estimator、DataFrame、监督器Monitors

    线性 逻辑回归 input fn 建立简单两个特征列数据 用特证列API建立特征列 特征列传入LinearClassifier建立逻辑回归分类器 fit evaluate 函数 get variable names 得到所有模型变量名称 可
  • Documentation/x86/entry_64.txt

    Chinese translated version of Documentation x86 entry 64 txt If you have any comment or update to the content please con
  • 【Linux操作系统】【综合实验三 用户帐号、文件系统与系统安全管理】【未整理】

    文章目录 一 实验目的 二 实验要求 三 实验内容 1 创建新用户帐号 并在用户主目录下放置用户文件 2 增添新的用户组 3 掌握chmod chgrp chown等命令的操作 熟悉其选择项功能 4 用户与用户组的修改 删除等操作及用户信息
  • 7.网络爬虫—正则表达式详讲

    7 网络爬虫 正则表达式详讲与实战 Python 正则表达式 re match 函数 re search方法 re match与re search的区别 re compile 函数 检索和替换 检索 替换 findall re findit
  • linux free命令详解

    一 作用 free命令可以显示当前系统未使用的和已使用的内存数目 还可以显示被内核使用的内存缓冲区 二 语法 free 选项 三 选项 默认情况下 即在没有选项的情况下 free 命令显示内存的使用信息 默认按照k b 的计数单位统计 to
  • vue+elementUI上传单张、多张图片/视频至oss

    1 上传单张图片 效果 创建oss js接口配置文件 import request from utils re js 封装的请求文件 import axios from axios export function policy1 retur
  • U盘启动盘安装Windows11 提示此电脑不符合安装windows11的最低系统要求

    1 Windows11安装失败 为了体验 Windows 11 系统 笔者也制作了 Win11 的 U盘 启动盘 来为自己的电脑安装 Windows 11 但是问题发生了 在使用 U盘 启动盘安装过程中提示笔者说 提示此电脑不符合安装win
  • 2023华为OD机试真题【同时出现的整数】

    题目内容 现有两个整数数组 需要你找出两个数组中同时出现的整数 并按照如下要求输出 1 有同时出现的整教时 先按照同时出现次数 整数在两人数组中都出现并目出现次数较少的那人 进行归类 然后按照出现次数从小到大依次按行输出 2 没有同时出现的
  • 攻防世界-level0

    攻防世界 level0 gdb peda run Starting program home giantbranch Desktop study level0 Hello World C Program received signal SI
  • 缓存与数据库的双写一致性

    背景 在高并发的业务场景下 系统的性能瓶颈往往是出现在数据库上 用户并发访问过大 压力都打到数据库上 所以一般都会用redis做缓存层 起到一个缓冲作用 让请求先访问到缓存层 而不是直接去访问数据库 减轻数据库压力 从而减少网络请求的延迟响
  • 你不知道的正则表达式理解

    正则表达式 Regular Expression 简称正则 一 什么是正则 在我们实际开发过程中经常会遇到 有查找符合某些复杂规则的字符串的需要 比如 我们要查找用户名 邮箱 手机号码等 这时候想匹配或者查找符合某些规则的字符串 就可以使用
  • ODS 、DW、 DM、CDC等名词解释

    Q ODS层 DW层 DM层是什么意思 A ODS层 DW层和DM层是数据仓库中的三个重要组成部分 它们分别代表了操作数据存储层 数据仓库层和数据集市层 ODS层 Operational Data Store 操作数据存储层 ODS层是数据
  • 金融ARQC、ARPC验证生成规则

    从2012年从事金融行业的IT开发和实施工作以来 接触最多的就是IC卡片的ARQC等安全验证 只从发行IC卡以来 行业里面安全验证就是使用ARQC来验证交易的安全性 最近在项目中实施改造的时候因为前段读卡上送过来的ARQC到我系统 我系统去
  • kafka对单分区重设偏移量

    一 整个kafka设置偏移量 对kafka整个集群设置偏移量大家使用较多 适合测试环境 丢弃整个消息队列中的数据 kafka consumer groups sh bootstrap server localhost 9092 group