Cloud PubSub 重复消息触发的 Cloud Functions

2024-04-09

我正在尝试使用 Cloud Functions 作为由 PubSub 触发的异步后台工作程序,并执行更长的工作(以分钟为单位)。 完整的代码在这里https://github.com/zdenulo/cloud-functions-pubsub https://github.com/zdenulo/cloud-functions-pubsub

我的原型将数据插入 BigQuery 并等待几分钟(以模仿更长的任务)。 我正在向 PubSub 主题发布 100 条消息(间隔 1 秒)。

需要强调的是,PubSub 可以多次传递相同的消息,但令我惊讶的是,100 条消息中有 10 到 40 条是重复的。 CF 的响应时间为 5、6、7 分钟。 4 分钟的响应,我没有注意到重复。
我在相同的时间间隔内进行了多次测试。接收第一条消息和第二条消息之间的时间差范围为 ~30 到 ~600 秒。

在文档中https://cloud.google.com/pubsub/docs/troubleshooting https://cloud.google.com/pubsub/docs/troubleshooting提到“Cloud Pub/Sub 可以发送重复的消息。例如,当您在确认截止日期到期之前未确认消息时,Cloud Pub/Sub 会重新发送该消息。”对于云功能订阅,确认截止时间为 600 秒(10 分钟),因此根据我的理解,这不应该是原因。

也许我的测试用例是特定的,或者也许还有其他的东西。
我将不胜感激有关如何处理这种情况以及这是否正常或如何防止重复(不包括数据流)的建议。


存在一个影响 2019 年 1 月之前部署的 Cloud Functions 的问题,该问题会导致运行时间超过 5 分钟的函数的重复触发器率增加。请尝试删除并重新部署您的函数来解决问题。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Cloud PubSub 重复消息触发的 Cloud Functions 的相关文章

随机推荐