DynamoDB Stream 的计划读取

2024-04-26

我正在寻找一种按计划时间间隔从 DynamoDB 批量读取更新的方法。

例如,每隔 10 分钟,我希望能够读取自上次读取以来 DynamoDB 表发生的所有更新。

我了解 DynamoDB Streams 可以设置为触发 Lambda 函数。 Lambda 是否可以在特定时间间隔内批量更新所有更新?要一次性处理完吗?


Yes.

您需要设置一个云监视警报(每 10 分钟一次,就像 cronjob 一样),并将其配置为 lambda 的触发器。

然而(!),您将需要编写读取 dynamodb 流的代码,这将是一个挑战。

您需要将 dynamodb 流中处理的最后一个位置保存在某个地方(另一个 dynamodb 表、S3 或 redis),这样您就不会两次处理相同的更新。

我强烈建议您使用默认拓扑,并将触发器设置为 dynamodb,然后您的 lambda 将获取更新的记录作为输入。 AWS 为您管理流上的位置,这是(与其他选项不同)是一个可扩展的解决方案。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

DynamoDB Stream 的计划读取 的相关文章

随机推荐