程序员经验分享-hwhale

重置 JDBC Kafka 连接器以从头开始提取行？

2024-06-23

Kafka 连接器可以利用主键和时间戳来确定需要处理哪些行。

我正在寻找一种重置连接器的方法，以便它从一开始就进行处理。


因为要求是在分布式模式下运行，所以最简单的做法是将连接器名称更新为新值。这将提示在 connect-offsets 主题中添加一个新条目，因为它看起来像一个全新的连接器。然后连接器应该再次开始读取，就好像尚未向 Kafka 写入任何内容一样。您还可以手动将逻辑删除消息发送到与该特定连接器关联的 connect-offsets 主题中的键，但重命名比处理它要容易得多。此方法适用于所有源连接器，而不仅仅是此处描述的 JDBC 连接器。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

sqlserver

ApacheKafka

apachekafkaconnect

重置 JDBC Kafka 连接器以从头开始提取行？ 的相关文章

  • 将记录与另一个表上的最新记录连接

    我正在尝试创建一个 SQL 视图 我如何从一个表中选择最新的记录 而其他记录保持原样 我需要从所有表中选择所有记录 这工作正常 但我需要仅按日期选择最新的提案 这是我遇到的问题 这是我到目前为止所拥有的 SELECT TOP 100 PER

  • 即使在不活动状态下，Hangfire 也会继续运行 SQL 查询

    我正在开发一个 ASP net MVC 5 网站 并使用 Hangfire 来安排一些任务 在本例中每 3 分钟一次 我知道一个事实是 运行这样的任务 以及与之相关的数据库查询 只需要几秒钟 我面临的问题是 Hangfire 似乎让我的 S

  • SQL Server 2014执行计划创建需要很长时间（旧版本中很快）

    我在 SQL Server 2014 中遇到一个查询问题 第一次运行该查询时 需要很长时间才能生成执行计划 奇怪的是 它在 SQL Server 的所有早期版本 2012 2008 R2 2008 等 中都运行良好 它似乎与所涉及的表之一上

  • SQL Server 中不需要的日期时间舍入

    我遇到了一些看起来很奇怪的事情 SQL Server 似乎正在舍入一些DateTime当我将它们保存到时 值不合适datetime列 我怀疑我错过了一些东西 但我找不到它 我正在使用 NET 4 0 针对 SQL Server 2008 运

  • Spring Boot 中的 Kafka 版本覆盖因某些依赖项而失败

    我有一个新的 Spring Boot 2 6 3 Java 11 应用程序 带有 Spring Kafka 依赖项 使用生成 默认使用Kafka 3 0 0 我想将Kafka版本更改为3 1 0并添加

  • 从主题内的特定分区进行流式传输（Kafka Streams）

    据我在阅读 Kafka Streams 文档后了解到 不可能将其用于仅来自给定主题的一个分区的流数据 人们总是必须阅读整个文档 那是对的吗 如果是这样 将来是否有计划向 API 提供这样的选项 不 你不能这样做 因为内部消费者订阅了加入通过

  • SQL限制数据库中的最小值和最大值

    CREATE TABLE TBL CD CDnr int identity 1 1 CDTitel nvarchar 80 NOT NULL CDduur int CDprijs smallmoney 所以我正在创建这个表 有什么方法可以将

  • 如何在 SQL 中编写 where 子句来按一天中的时间过滤 DATETIME 列？

    我有带有 DATETIME 列时间戳的数据 我想将其过滤到 DATETIME 介于上午 9 30 到下午 5 30 之间的任意一天的记录集 最好的方法是什么 更新 更改是因为我需要精确到分钟 而不仅仅是小时 对于那个很抱歉 您始终可以将其编

  • 获取SQL中前2个特殊字符之间的字符

    我有数据在sql 只是要注意 SQL STudio is the IDE like data a 10 b c a 1 b c 我想获取前两个符号之间的数据 Output 10 1 这就是我的方法 SELECT CAST

  • 选择仅属于特定部门的用户

    我有下表 其中包含两个字段 即 a 和 b 如下所示 create table employe empID varchar 10 department varchar 10 插入一些记录 insert into employe values

  • 如何在插入后获取插入的行 ID 以及相关数据而不插入相关数据

    我有一组数据需要在表中产生新行 创建此行后 我需要将元数据附加到与此信息相关的单独表中 那就是我需要创建我的 Identity 首先 得到GlobalId从行返回 然后附加 Accounts and Metadata to it 插入数据并

  • 微服务数据复制模式

    在微服务架构中 我们通常有两种方式让2个微服务进行通信 假设服务 A 需要从服务 B 获取信息 第一个选项是远程调用 通常通过 HTTPS 同步 因此服务 A 查询服务 B 托管的 API 第二种选择是采用事件驱动架构 其中服务 B 的状态

  • Spring Boot / Kafka Json 反序列化 - 可信包

    我刚刚开始将 Kafka 与 Spring Boot 一起使用 并且想要发送和使用 JSON 对象 当我尝试使用 Kafka 主题中的消息时 出现以下错误 org apache kafka common errors Serializati

  • 根据多列删除重复项

    我使用以下内容列出了重复项 select s MessageId t from Message s join select ToUserId FromUserId count as qty from Message group by ToU

  • SQL 用逗号替换点

    我有以下代码 SELECT cast Listenpreis 1 19 as decimal 29 2 as Listenpreis FROM SL M03KNE dbo ARKALK 我得到这个值 5 59 我尝试将点替换为 komma

  • 如何获取ms sql中float列中小数点后的位数？

    我必须计算 MS Sql Server 托管的数据库中小数点后的数字 2005 或 2008 并不重要 以纠正用户犯的一些错误 我在 Oracle 数据库上也遇到同样的问题 但事情没那么复杂 Oracle 上的底线是 select leng

  • 测试 ODBC 连接的有效方法

    我们的产品是一个 TCP 监听事务处理器 传入连接被分配一个线程来处理连接和一个数据库连接来使用 我们维护一个数据库连接池 而不是为每个传入的客户端连接建立新的数据库连接的昂贵方法 数据库连接池相当可配置 最小 最大大小 增长率等 一些细节

  • TFS 2017 如何使用 SQL 查询工作项

    我正在寻找一种使用 SQL 选择直接从 TFS 的 SQL 数据库查询工作项的方法 对于 TFS 2010 您可以使用一些数据库视图来实现此目标 TFS2010 如何在关系仓库上使用 SQL 查询工作项 https blogs msdn m

  • Kafka 消费者无法读取所有可用分区

    我们注意到我们的产品主题之一 6 个分区 存在一个奇怪的问题 其中我们的消费者 dotnet core 只有 1 个实例 只能从 3 个分区 0 1 3 读取 这显然会影响应用程序行为 因为消费者丢失了来自其他 3 个分区 2 4 5 的消

  • PowerShell：带有 Get-Credential 的 invoke-sqlcmd 不起作用

    我从未见过如此简单的脚本会如此失败 SQLServer localhost cred Get Credential invoke sqlcmd ServerInstance SQLServer Credential cred Query s

随机推荐

  • 如何在 A 形框架中显示文本？

    For http aframe io http aframe io 如何在无需创建图像的情况下渲染文本 EDIT 文本组件已登陆 A Frame 主分支 这将在 0 5 0 中推出 该组件将支持字体 对齐方式 锚点 基线 着色器等

  • 如何在主线程的 onCreate/ 中获取房间列表的大小？

    如何轻松获取数据库大小的计数 以便根据数据库是否为空来执行适当的操作 我有一个应用程序数据库 视图模型 存储库 Dao 和所有其他部分 并且我的对象插入 但我无法调用onCreate 数据库中列表的大小 当我试图得到mAppDatabase

  • Perl 标识符中允许使用哪些字符？

    我正在做正则表达式作业 其中一个问题是 使用在线语言参考手册确定 Java Python Perl 和 C 的整数常量和标识符的正则表达式 我不需要关于正则表达式的帮助 我只是不知道 Perl 中的标识符是什么样的 我找到了描述有效标识符的

  • Android 以编程方式创建一个简单的菜单

    我正在尝试创建一个简单的菜单 其中一个按钮将调用一种方法来清除数组 我不想使用 xml 因为我需要的只是一个按钮 像这样的东西 public boolean onCreateOptionsMenu Menu menu button Clea

  • C 中的分号和逗号 [关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 为什么这些程序可以工作 为什么我没有

  • 如何动态更改 WPF 中 DataGridTextColumn 绑定上的转换器？

    我真的不明白 WPF 和 XAML 并且继承了一些写得很糟糕的代码 所以我可能会扼杀它 但这里是 我继承了一个绑定到 Person 对象列表 在代码后面 的 DataGrid 其中必要的 DataGridTextColumn 在 XAML

  • 延迟连接可枚举的列表

    我想编写一个类似于 List concat 1 的函数 它接受可枚举的列表并将连接的列表作为连续流发出 它会像这样工作 iex gt 1 3 gt Stream map 1 gt Enum to list 1 2 3 iex gt 1 3

  • 不传播的原因是什么（es 6传播运算符）javascript错误对象[重复]

    这个问题在这里已经有答案了 我正在努力传播 JavascriptError对象 标准内置对象 我得到空对象作为输出 let error new Error error console log error output 没有传播Error对象

  • laravel 根据条件隐藏字段[重复]

    这个问题在这里已经有答案了 我有一个名为 Vote actions 的数据库和模型 如下所示 id group id user id 动作类型 匿名 布尔值 用户可以要求匿名 这将使布尔值变为 true 如果是这种情况 我想将返回模型中的

  • iOS 隐藏默认键盘并打开自定义键盘

    我有一个UITextview 当用户点击UITextview我需要隐藏默认键盘 为此我所做的 myTextView setEditable NO 所以键盘没有显示 这里我创建了一个自定义视图UIButton 我需要展示这个UIView当用户

  • NHibernate：多对一和惰性

    关于 NHibernate 1 2 webapp C aspnet 3 5 和延迟加载 我不明白 也找不到一些明确的答案 多对一是否支持延迟加载 假设我们有一些Person对象和一个Squeletton目的 这两个对象都很大 具有很多属性

  • ASP.NET MVC FileResult 正在损坏文件

    我一直在尝试让我的 ASP NET MVC 网站将一些数据导出为 Excel 文件 几个小时以来 我一直以为 NPOI 只是在生产垃圾 所以我转向了 EPPlus 我在 LINQPad 中对其进行了测试 它创建了一个正常工作的 XLSX 文

  • 从 Python 脚本使用 POST 发送文件

    有没有办法从 Python 脚本使用 POST 发送文件 From https requests readthedocs io en latest user quickstart post a multipart encoded file

  • React Native NetInfo 总是返回离线状态

    我目前正在尝试在我的 React Native 应用程序中实现一些功能 如果设备离线 我将使用本地存储的信息 如果设备在线 则执行提取 读完这篇文章后我使用了 NetInfo当网络关闭时 如何处理 React Native 中的网络故障 h

  • 我想制作具有3D效果的幻灯片菜单，如下图所示

    我可以使用此代码制作滑块 但我不知道如何制作3D import android os Bundle import android support v4 app Fragment import android support v7 app A

  • 评论投票数据库结构的最佳实践

    我正在开发一个 PHP 应用程序 它有几个可以评论的对象 每个评论都可以进行投票 用户可以给它 1 或 1 如 Digg 或 Reddit 现在我计划建立一个 投票 表 其中包含 user id 及其投票信息 这似乎工作正常 问题是 每个对

  • jQuery 克隆() 问题

    这是我完整的 html 日期和时间表 div class addmore box date div class row div class col xs 6 col sm 4 col md 4 div div div

  • AudioSet 和 Tensorflow 理解

    With AudioSet https research google com audioset index html发布并为那些进行合理研究分析的人提供了一个全新的研究领域 最近几天我一直在努力深入研究如何分析和解码这些数据 数据在 tf

  • Rails 3.2.3 - Bundler 找不到 gem“railties”的兼容版本

    我一直在关注 Michael Hartl 的更新版本 Ruby on Rails 教程 http ruby railstutorial org ruby on rails tutorial book fig 3aheroku app 31我

  • 重置 JDBC Kafka 连接器以从头开始提取行？

    Kafka 连接器可以利用主键和时间戳来确定需要处理哪些行 我正在寻找一种重置连接器的方法 以便它从一开始就进行处理 因为要求是在分布式模式下运行 所以最简单的做法是将连接器名称更新为新值 这将提示在 connect offsets 主题中

热门标签