程序员经验分享-hwhale

将数据从 Amazon dynamoDB 加载到 redshift

2023-11-24

我们在生产中有一个正在不断更新的 DynamoDB 表，我们希望将所有记录从 dynamoDB 加载到 redshift。

我们尝试使用复制命令，但由于新记录不断插入表中，因此复制命令将永远运行。

我们想知道将数据从实时 dynamodb 加载到 redshift 的最佳方式是什么。


考虑调查一个DynamoDB 流基于解决方案。 Streams 提供每个 DynamoDB 分区上发生的数据平面事件的有序日志（因此每个主键的事件都是绝对有序的）。您可以使用Kinesis 客户端库 and DynamoDB 流 Kinesis 适配器将流处理为 Redshift。

DynamoDB Streams 目前处于预览阶段，但应该很快就会全面推出。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

amazondynamodb

amazonredshift

将数据从 Amazon dynamoDB 加载到 redshift 的相关文章

  • [XX000][500310] [Amazon](500310) 无效操作：解析的清单不是有效的 JSON 对象

    我正在一个包含多个具有不同架构的文件的文件夹上运行爬网程序 我希望为每个文件找到一个表 发生的情况是 在 Glue Catalog 中 我实际上可以看到每个文件的一个表 以及它自己的架构 但是当我尝试通过 Redshift Spectrum

  • DynamoDB ProjectionExpression 排除属性（除一个字段外的所有字段）

    我有一个要求 我的 dynamodb 表具有许多属性 并且我需要投影表达式中的所有属性 除了我不需要响应的一两列 我正在扫描桌子 有没有一种方法可以在 ProjectionExpression 中定义它 除了这一列 我见过一些示例 其中 P

  • 使用 ExclusiveStartKey 选项进行 AWS Dynamodb 扫描

    对于我最近的项目 我试图从 dynamodb 获取数据 除了我在参数中添加 exclusiveStartKey 选项之外 似乎一切正常 下面是我的代码 function scanDataFromDB datetime let params

  • Amazon Redshift 中的 WHERE EXISTS 与 IN

    我在 Amazon Redshift 中对同一查询的两个版本运行 EXPLAIN SELECT t1 column FROM table1 t1 WHERE t1 column IN SELECT t2 column FROM table2

  • Heroku Dynos 是否享受 AWS 网络内的免费数据传输？

    我正在考虑将 Heroku 用于 NodeJS 应用程序 我想知道他们的 Dynos 是否享受 AWS 网络内的免费内部数据传输 我想使用 DynamoDB ElastiCache RDS SQS 和许多其他 AWS 产品 如果我可以从 H

  • 如何将纪元转换为日期时间红移？

    我在 dbeaver 工作 我有一个表x 表 x 有一个 时间戳 列 1464800406459 1464800400452 1464800414056 1464800422854 1464800411797 我想要的结果 Wed 01 J

  • 使用复制命令和清单文件将 parquet 格式文件加载到 Amazon Redshift 时出错

    我正在尝试使用清单文件加载镶木地板文件并出现以下错误 查询 124138由于内部错误而失败 文件 https s3 amazonaws com sbredshift east data 000002 0 https s3 amazonaws

  • Dynamodb - 更新对象数组中 JSON 对象的值

    以下是存储在 DynamoDb 中的示例项目对象 记录 我使用 NodeJS 和AWS DynamoDB DocumentClient访问数据库 我正在构建一个 PUT 函数来更新数组中 JSON 对象的状态 该函数将有权访问该项目的uui

  • 返回 dynamodb 中具有最大排序键的项目

    我正在使用 python 脚本访问 AWS 中的 dynamodb 数据库 我有一个带有哈希键和排序键的表 对于给定的哈希键 我想找到具有小于某个值的最大排序键的项目 我怎样才能做到这一点 或者 有没有办法从给定的键查找前一项 I am n

  • AWS IAM——使用条件

    我是 AWS 中的 IAM 新手 而且 我希望将各种用户的查询限制为仅主键与 cognito id 匹配的表条目 为了实现这一目标 我制定了政策 Version 2012 10 17 Statement Sid AllowAccessToO

  • Django 中是否有适用于 Amazon DynamoDB 的良好数据库后端？ [关闭]

    Closed 这个问题正在寻求书籍 工具 软件库等的推荐 不满足堆栈溢出指南 help closed questions 目前不接受答案 我想在我的下一个 Django 项目中使用 DynamoDB 我已经找到了将会话数据存储到 Dynam

  • DynamoDB Stream 的计划读取

    我正在寻找一种按计划时间间隔从 DynamoDB 批量读取更新的方法 例如 每隔 10 分钟 我希望能够读取自上次读取以来 DynamoDB 表发生的所有更新 我了解 DynamoDB Streams 可以设置为触发 Lambda 函数 L

  • AmazonDB 免费套餐的含义是什么？

    在我的 Android 应用程序中 我使用 Amazon DynamoDB 我创建了 10 个表 读取容量为 10 写入容量为 5 今天我收到了一封来自 Amazon 的电子邮件 我花了 11 36 美元 我不明白免费套餐的含义 这是我从亚

  • 获取 emr-ddb-hadoop.jar 将 DynamoDB 与 EMR Spark 连接

    我有一个 DynamoDB 表 需要将其连接到 EMR Spark SQL 才能对该表运行查询 我获得了带有发行标签 emr 4 6 0 和 Spark 1 6 1 的 EMR Spark Cluster 我指的是文档 使用 Spark 分

  • DynamoDB 中条件写入的日期时间比较

    我目前正在使用 DynamoDB 如果该记录的日期早于新记录日期字段 我想使用条件写入来更新该记录 有没有办法比较条件写入的 DateTime 类型 或者目前仅适用于整数 字符串和流 Thanks 既然你提到你正在使用ISO 8601 ht

  • 适用于 Hadoop 的 DynamoDB 输入格式

    我必须使用 Hadoop mapreduce 处理保留在 Amazon Dynamodb 中的一些数据 我在互联网上搜索 Dynamo DB 的 Hadoop InputFormat 但找不到它 我对 Dynamo DB 不熟悉 所以我猜测

  • 更新项目时，NUMBER_VALUE 无法转换为字符串

    我在 DynamoDB 上遇到了这个奇怪的问题 我似乎无法更新项目 这是我的命令 TableName UserTable Key UID S h4XJj3YRxZiF7TDcGkxAhc UpdateExpression SET numRa

  • AWS DynamoDB 的 r 语言支持 [重复]

    这个问题在这里已经有答案了 这是对此的后续 更新问题 AWS dynamodb 支持 R 编程语言 https stackoverflow com questions 14224919 aws dynamodb support for r

  • 是否可以更新 amazon dynamodb 中的哈希键？

    我想更新 amazon dynamodb 表中的哈希键值 我在同一张表中也有一个范围键 是否有可能做到这一点 您无法更新哈希键值 您必须删除并重新创建该项目 这是相关的aws文档http docs aws amazon com amazon

  • DynamoDB 冲突解决策略

    DynamoDB 的冲突解决策略是什么 Dynamo 的白皮书谈到了通过 GetItem 返回多个版本以供客户端解析 This SO 问题 https stackoverflow com questions 41933959 how do

随机推荐

  • React .map 不是一个函数

    我正在尝试学习 React 但在 Javascript 方面我还是个初学者 现在我正在开发一个从 Flickr 的 API 获取数据的应用程序 问题是 当我尝试在 Main js 组件中的 props 上使用 map 方法时 我收到一条错误

  • 实施 Apple 推送通知时出现 SSL 错误

    我正在尝试使用 python 和 django 实现 Apple 推送通知 我正在使用以下库来实现它 http leepa github com django iphone push 这是我创建发送消息的代码 from django htt

  • 安装 hashLib 会出现 SyntaxError: Missing Parentheses in call to 'print'

    我需要一个简单的密码哈希函数 并认为我可以使用hashlib PyCharm 建议通过运行来安装它pip install hashLib 但现在 PyCharm 抱怨库中存在语法错误 Collecting hashLib Using cac

  • 如何在reactjs解决方案中集成Youtube Iframe api

    在反应中 我试图为自定义 YouTube 播放器创建一个组件 以便我可以引入一个新的播放器控制栏 在 youtube iframe API 中 提到使用以下代码来创建播放器实例 var tag document createElement

  • 确定 java 应用程序在 Eclipse 中是否处于调试模式

    我想根据我是否在调试来更改日志记录级别 但我找不到代码片段来检查应用程序是否在调试模式下运行 我正在使用 Eclipse 来调试应用程序 因此如果解决方案仅在 Eclipse 中运行 那就没问题了 找到了答案如何查找调试模式是否已启用 bo

  • 在发出请求之前，Rspec 2.7 访问规范中的控制器会话

    我正在使用 Rspec 测试我的控制器 在向路径发出请求之前 我似乎无法设置当前测试控制器的会话变量 例如这有效 describe GET controller path do it if not matching CRSF should

  • MySQL——使用Python连接不同服务器上的数据库？

    In MySQL 我有两个不同的数据库 我们称它们为A and B 数据库A驻留在服务器上server1 而数据库B驻留在服务器上server2 两台服务器 A B are 身体上彼此接近 但位于不同的机器上并且具有不同的连接参数 不同的用

  • 垂直居中响应图像

    我想知道是否有一种简单的方法可以垂直居中响应图像 请参考以下jsFiddle http jsfiddle net persianturtle yawTb 1 基本 HTML img class mobile title size src h

  • 验证用户名和电子邮件崩溃，无法插入到 firebase 数据库

    当这行代码给应用程序带来错误时 应用程序无法将任何数据插入数据库 ref child uid orderByChild username equalTo validateName addListenerForSingleValueEvent

  • Vaadin @Javascript：清除更新的 JS 文件的缓存

    我的应用程序中有一个 JavaScript 注释 用于从类路径加载 js 文件 现在我已经更新了文件并重新部署 本地 但我总是得到旧版本 我已经尝试重新加载所有内容 ctrl R ctrl F5 但这不起作用 而且我也不希望用户必须这样做

  • 为什么我们不能在类级别声明 var a = new List ？

    我知道我们不能在类级别做到这一点 但在方法级别我们总是可以做到这一点 var myList new List

  • Java 会话管理的最佳选择

    在 Java 中管理会话的最佳方法 我听说 cookie 不是可靠的选择 因为它们会存储到浏览器中并可以稍后访问 它是否正确 如果可能 请通过编码示例给出答案 其中最好的是 网址重写 服务器会在URL链接末尾添加一个附加参数 表单中的隐藏参

  • 如何在控制台的同一行上打印整数中的文本和值？

    这就是我所做的 但没有成功 int money Console Writeline Enter how much money you want money int Parse Console ReadLine Console Writeli

  • R 中的撤消命令

    我找不到 R 中撤消命令效果的内容 无论是在 R 简介还是在 R in a Nutshell 中 我对处理交互式图表时的撤消 删除特别感兴趣 您建议采用什么方法 您应该考虑采用不同的方法 这会导致可重现的 work 选择您喜欢且具有以下功能

  • 如何为域轴和范围轴设置相同的比例 JFreeChart

    我想创建类似于的极点 零图极 零图 它用于显示 IIR 和 FIR 滤波器属性 例如稳定性 类型 我的问题是 如何为两个轴设置相同的比例 而不是范围 我使用 ScatterPlot 绘制图表 JFreeChart chart ChartFa

  • SQL Server：在 UTC 和本地时间之间精确转换

    我在 SQL Server 2008 R2 数据库中有几列 需要将其从本地时间 SQL Server 所在的时区 转换为 UTC 我在 StackOverflow 上看到了很多类似的问题 但答案都无法在夏令时下正常工作 它们只考虑当前的差异

  • 异步执行多个任务并在 JavaScript 函数中返回第一个成功结果

    我必须编写一个 javaScript 函数 将一些数据返回给调用者 在该函数中 我有多种方法来检索数据 即 从缓存中查找 从 HTML5 LocalStorage 检索 从 REST 后端检索 奖励 将新鲜数据放回到缓存中 每个选项都可能需

  • postgres where 子句中的 JSONB

    I Have a data like this 所以我需要找出 id 203498 的所有行 我该如何为此编写查询 有帮助吗 使用 JSON 包含运算符 gt WHERE jsoncol gt id 203498

  • 对 ObservableCollection 进行排序 - 最好的方法是什么？

    我有一个 ObservableCollection 其中 MyData 是一个具有 4 个属性的类 即 int id 字符串名称 bool IsSelected 字符串 IsVisible 此 ObservableCollection 绑定

  • 将数据从 Amazon dynamoDB 加载到 redshift

    我们在生产中有一个正在不断更新的 DynamoDB 表 我们希望将所有记录从 dynamoDB 加载到 redshift 我们尝试使用复制命令 但由于新记录不断插入表中 因此复制命令将永远运行 我们想知道将数据从实时 dynamodb 加载

热门标签