程序员经验分享-hwhale

是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式？

2023-12-22

据我所知，我们可以在Kafka上定义AVRO模式，并且使用该模式定义的主题将只接受与该模式匹配的数据。在接受队列之前验证数据结构非常有用。

Google Pub/Sub 中有类似的东西吗？


Kafka 本身并不验证模式，因此主题除了一对字节数组和一些元数据之外本身没有其他模式。序列化程序是生产客户端的一部分，在数据到达主题之前执行验证。类似地，在 PubSub 中，归根结底，它只是存储/发送byte[] data.

因此，理论上，在通过 PubSub 移动的数据的任一端使用类似于 Confluence Avro Schema Registry 的东西是完全可行的。 AFAIK，Google 不提供这样的功能，因此您需要重新创建可以执行 Avro 兼容性检查的上述服务，并在该服务的客户端周围绑定一个 PubSub 序列化+生产者客户端。例如，您可以首先将注册表本身作为 GKE 中的容器运行。

可能想查看一下Google Cloud Pub-Sub 的 Avro 消息？ https://stackoverflow.com/q/51624011/2308683

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ApacheKafka

MessageQueue

Avro

googlecloudpubsub

是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式？ 的相关文章

  • 使用Spring Cloud Stream Kafka动态更改instanceindex

    如同 在运行时更改 spring cloud stream 实例索引 计数 https stackoverflow com questions 37579939 changing spring cloud stream instance i

  • Kafka 主题删除不起作用

    我使用的是 Kafka 0 8 2 版本 在开发过程中 我想我可能需要删除一个主题 所以我所做的是将以下行放入服务器配置文件中并启动两个 kafka 服务器 delete topic enable true 当我需要删除一个主题并运行以下命

  • Kafka Streams 如何处理包含不完整数据的分区？

    Kafka Streams 引擎将一个分区映射到一个工作线程 即 Java 应用程序 以便该分区中的所有消息都由该工作线程处理 我有以下场景 并试图了解它是否仍然可行 我有一个主题 A 有 3 个分区 发送给它的消息由 Kafka 随机分区

  • Kafka - 如何同时使用过滤器和过滤器？

    我有一个 Kafka 流 它从一个主题获取数据 并且需要将该信息过滤到两个不同的主题 KStream

  • 编辑 Kafka Listener Spring 应用程序以更改阶段/目标

    我可以利用另一个运行 Kafka 应用程序 代码库的团队来使用相同的数据 将其加载到我们的新暂存表中 而不是他们的 他们在 Messages 文件夹中有许多不同的 kafka 侦听器适配器 java 文件 每个文件消耗不同类型的数据 每个

  • Kafka 分区键无法正常工作

    我正在努力解决如何正确使用分区键机制的问题 我的逻辑是设置分区号为3 然后创建三个分区键为 0 1 2 然后使用分区键创建三个KeyedMessage 例如 KeyedMessage 主题 0 消息 KeyedMessage 主题 1 消息

  • Apache Kafka Streams 将 KTable 物化到主题似乎很慢

    我正在使用 kafka 流 并试图将 KTable 具体化为一个主题 它有效 但似乎每 30 秒左右完成一次 Kafka Stream 如何 何时决定将 KTable 的当前状态具体化为主题 有没有什么办法可以缩短这个时间 让其更加 实时

  • 使用表白名单选项更新 Debezium MySQL 连接器

    我正在使用 Debezium 0 7 5 MySQL 连接器 并且我试图了解如果我想使用以下选项更新此配置 最好的方法是什么table whitelist 假设我创建了一个连接器 如下所示 curl i X POST H Accept ap

  • 将数据从 Kafka 存储传输到 Kafka 主题

    我想在卡夫卡做这样的事情 继续将数据存储在 KStream Ktable Kafka store 中 当我的应用程序收到特定事件 数据时 仅将上述存储中的特定数据集发送到主题 我们可以在卡夫卡中做到这一点吗 我认为单独使用 Kafka 消费

  • 使用 Spring Boot 进行 Kafka 流

    我想在我的 Spring Boot 项目中使用 Kafka Streams 实时处理 所以我需要 Kafka Streams 配置或者我想使用 KStreams 或 KTable 但我在互联网上找不到示例 我做了生产者和消费者 现在我想实时

  • 我的 Kafka 流应用程序刚刚退出，代码为 0，什么也不做

    为了尝试 Kafka 流 我这样做了 public static void main String args final StreamsBuilder builder new StreamsBuilder final Properties

  • Kafka：如何获取主题的最后修改时间，即添加到主题的任何分区的最后一条消息

    我们的用例是从 kafka 中删除陈旧 未使用的主题 即如果某个主题 在所有分区上 在过去 7 天内没有任何新消息 那么我们会将其视为陈旧 未使用并删除它 许多谷歌结果建议向消息添加时间戳 然后解析它 对于新主题和消息 灵魂可以工作 但我们

  • 频繁出现“offset out of range”消息，分区被消费者抛弃

    我们正在运行 3 节点 Kafka 0 10 0 1 集群 我们有一个消费者应用程序 它有一个连接到多个主题的消费者组 我们在消费者日志中看到奇怪的行为 有了这些线 Fetch offset 1109143 is out of range

  • 当我重新运行 Flink 消费者时，Kafka 再次消费最新消息

    我在用 Scala 编写的 Apache Flink API 中创建了一个 Kafka 消费者 每当我从某个主题传递一些消息时 它就会及时接收它们 但是 当我重新启动使用者时 它不会接收新的或未使用的消息 而是使用发送到该主题的最新消息 这

  • Spring Kafka - 为任何主题的分区消耗最后 N 条消息

    我正在尝试读取请求的卡夫卡消息数 对于非事务性消息 我们将从 endoffset N 对于 M 个分区 开始轮询并收集当前偏移量小于每个分区的结束偏移量的消息 对于幂等 事务消息 我们必须考虑事务标记 重复消息 这意味着偏移量将不连续 在这

  • Kafka Java Consumer 已关闭

    我刚刚开始使用卡夫卡 我面临着消费者的一个小问题 我用Java写了一个消费者 我收到此异常 IllegalStateException 此消费者已关闭 我在以下行中遇到异常 ConsumerRecords

  • 创建 Kafka 主题导致没有领导者

    我正在使用 Kafka v0 9 0 1 Scala v2 11 和com 101tec zkclientv0 7 我正在尝试使用AdminUtils创建一个kafka主题 我的代码如下 String zkServers node1 218

  • 在RabbitMQ中如何使用特定键消费多条消息或读取队列中的所有消息或交换中的所有消息？

    我想使用给定的密钥使用来自特定队列或特定交换的多条消息 所以场景如下 发布者通过队列 1 发布消息 1 发布者通过队列 1 发布消息 2 发布者通过队列 1 发布消息 3 发布者通过队列 2 发布消息 4 发布者通过队列 2 发布消息 5

  • 单台机器最快的 Perl IPC/消息队列是多少？

    我正在开发一个 主要 Perl 项目 并希望使用消息队列来相互隔离进程 我有这样的工作流程 输入 gt 接收器 gt 处理器 gt 输出 我需要每秒处理数百笔交易 所以速度是我最大的动力 对于这种类型的设置来说 最快的消息队列系统是什么 我

  • Kafka中如何同时实现分布式处理和高可用？

    我有一个由 n 个分区组成的主题 为了进行分布式处理 我创建了两个在不同机器上运行的进程 他们使用相同的 groupd id 订阅主题并分配 n 2 个线程 每个线程处理单个流 每个进程 n 2 个分区 这样我就可以实现负载分配 但现在如果

随机推荐

  • 无法在react router dom中使用Link传递道具

    using this to pass props over Watch page but can t get any value 我是新手 所以可能会出现愚蠢的错误或信息不足 请让我知道任何额外信息 如果您正在使用react router

  • ostrstream 将常量字符串解释为指针

    我在清理旧 C C 应用程序的调试宏时遇到了这个问题 我们有一个继承自的 Tracer 类ostrstream 我知道自 C 98 以来它已被弃用 但这个应用程序是在 1998 年编写的 我们这样使用它 Tracer lt lt some

  • 如何从 matplotlib 将时间控制面板添加到 FuncAnimation

    我目前正在使用matplotlib animation FuncAnimation http matplotlib org api animation api html matplotlib animation FuncAnimation在

  • 注销后实时数据库onDisconnect不执行

    我已经实现了 Firebase 实时数据库存在系统 如官方 Firebase 文档中所示 我希望确保数据库安全 以便登录用户只能写入数据库中自己的存在条目 因此 在登录时 用户写入参考路径 auth authId connections并同

  • 图表不会显示数据点

    我正在尝试做一个Chart使用字典中的值但是我的Chart不显示任何内容 我的代码运行良好 没有错误 并且表单上有一个图表 我以前从未用 C 制作过图表 所以我不知道我在做什么 这是我的填充代码 如果我删除StatChart update

  • 更改JIT编译的最终值

    我注意到一件非常奇怪的事情 在通过反射更改最终字段后 返回该字段的方法始终给出旧值 我想这可能是因为 JIT 编译器 这是示例程序 public class Main private static final Main m new Main

  • 无法以编程方式启动 Windows Azure VM

    我正在执行 REST API 操作开始角色 http msdn microsoft com en us library jj157189 aspx 在链接中https management core windows net subscrip

  • RedHat 上的 Scipy 和 Scikit-learn 中未定义的符号

    我正在尝试在没有 root 权限的 64 位 Red Hat Enterprise 6 6 服务器上安装 Scikit Learn 我已经全新安装了 Python 2 7 9 Numpy 1 9 2 Scipy 0 15 1 和 Sciki

  • 使用 jQuery 更改模态内容

    我正在使用 twitter bootstrap 的模式来制作弹出表单 下面的代码显示了模式形式 第一情态形式 div class modal fade div class modal dialog modal dialog1 div cla

  • 如果不通过 createElementNS 处理，为什么动态 SVG 无法工作

    我试图在纯 JS 中操作 SVG 发现如果我不使用类似的方法 它就不会按预期运行createElementNS and setAttributeNS

  • 使用 Anaconda 或 Canopy 安装 Python 模块

    我玩过一点 Python 但从来不需要安装自己的包 我目前正在尝试编写一个读取 tiff 文件的程序 因此我尝试安装 libtiff 包 但我做了一场噩梦 首先 我使用的是 Anaconda 发行版和短语 conda install lib

  • 在 django 模板中输出排序的 python 字典

    我得到了一个 python 字典 如下所示 由于隐私原因 重要信息被替换为 xxx 我想在 django 模板中显示这个字典 但它应该是有序的 所以它应该以 A 开头 然后继续以 B 而不是 H 这是我的字典 缩短 A birthday d

  • 无法在 Mac 上找到 matplotlib 的字体缓存

    我对此进行了很多研究 但无法使其发挥作用 如何更改 matplotlib 的字体 根据我的研究 我认为我的问题是字体缓存 我在正确的文件夹中有 ttf 人们一直说 rm matplotlib fontList cache 是要使用的命令 但

  • 通过预定义索引分割Python字符串[重复]

    这个问题在这里已经有答案了 我有一个字符串 我想将其在特定位置拆分为字符串列表 分割点存储在单独的分割列表中 例如 test string thequickbrownfoxjumpsoverthelazydog split points 0

  • 在 JTable 中使用空列作为分隔符

    我正在尝试使用空列作为中的两列之间的分隔线JTable 这是我到目前为止所拥有的图片和代码 我知道我可以使用自定义更改外观TableCellRenderer 在我走这条路之前 有更好的方法吗 任何想法表示赞赏 import javax sw

  • 为什么我的 iPhone 上没有收到任何通知？

    在 Xcode8 3 上使用 swift 3 1 运行它 下面是我在 AppDelegate swift 中的代码 func application application UIApplication didFinishLaunchingW

  • 重写 BuildRenderTree 时是否可以获取 RenderFragments 列表？

    我想知道是否可以引用子元素ChildContent组件的参数 我可以显式地或通过使用级联参数将值从父组件传递给子组件 但是父组件没有很好的方法来 了解 父组件内部的元素ChildContent RenderFragment 一个可能的用例是

  • Smarty PHP 与 AngularJS 发生冲突

    当我在同一模板中使用 AngularJS 时 如何阻止 Smarty 抛出错误 我有一个带有以下代码的 Smarty 页面模板 li p class item i p li 当我在浏览器中查看时 我得到一个空白页面 我的 apache er

  • 将 varchar 值“simple,”转换为数据类型 int 时转换失败

    我为这个问题苦苦挣扎了几天 但我不知道如何解决它 我想group by我的价值观表1 2 3 4 5所以我创建了一个临时表与这个价值观 现在我必须INNER JOIN这张桌子和其他桌子上a value myTempTable num BUT

  • 是否可以像使用 AVRO 的 Kafka 那样为 Google Pub/Sub 主题定义模式？

    据我所知 我们可以在Kafka上定义AVRO模式 并且使用该模式定义的主题将只接受与该模式匹配的数据 在接受队列之前验证数据结构非常有用 Google Pub Sub 中有类似的东西吗 Kafka 本身并不验证模式 因此主题除了一对字节数组

热门标签