将 R 数据集中的数据写入 Redshift

2024-06-22

我使用“RPostgreSQL”包将 R 连接到 amazon Redshift,我可以连接、创建和删除表、查询数据库、将数据保存到 R 数据框架中并手动插入值。

我不能做的是将数据插入直接从 R 数据帧读取的 Redshift 中,并且由于 redshift 中缺少 Posgress 组件,我无法使用 dbWriteTable 函数。

我究竟做错了什么?

先谢谢您的帮助!


只需使用 RODBC 包自己解决即可。

您需要设置一个 ODBC 连接(我们称之为 redshift_con)。 从 R 中,您需要使用以下命令创建连接(我称之为 ch):

ch <- odbcConnect("Annalect DB", uid = "username", pwd = "******")

在 R 中加载我的数据框并运行:

sqlSave(ch, mydataframename, addPK = TRUE, verbose = TRUE)

R 在 redshift 中创建一个名为“mydataframename”的新表。这不是很快,如果我找到并优化了方法,我会及时通知您。

如果您需要更多信息,请参阅http://cran.r-project.org/web/packages/RODBC/index.html http://cran.r-project.org/web/packages/RODBC/index.html

################ SAMPLE CODE FOR TESTING ##############
install.packages("RODBC")
library('RODBC')
ch <- odbcConnect("redshift_con", uid = "admin", pwd = "********")
sqlColumns(ch, "public.r_test")
USArrest<-data(USArrests)
sqlSave(redshift_con, USArrests, rownames = "State", addPK = TRUE, verbose = TRUE)

我将发表有关处理速度的评论。

UPDATE

仅适用于非常少量的数据

半小时1500条记录。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

将 R 数据集中的数据写入 Redshift 的相关文章

  • 如何使用 R 获取所有 S&P500 公司代码列表?

    我想在R中制作FOR语句来一次性分析股票数据 但我不知道如何获得 S P 公司代码列表 请让我知道解决方案 谢谢 library rpart library rpart plot library quantmod startDate as
  • 当 R 中出现“warnings()”时中断循环

    我有一个问题 我正在运行一个循环来处理多个文件 我的矩阵非常巨大 因此如果我不小心 我经常会耗尽内存 如果创建任何警告 是否有办法打破循环 它只是继续运行循环并报告它在很久以后失败 烦人 聪明的 stackoverflow ers 有什么想
  • 将数据帧的每一列乘以向量的相应值[重复]

    这个问题在这里已经有答案了 我有以下数据框和向量 dframe lt as data frame matrix 1 9 3 vector lt c 2 3 4 我想将每一列相乘dframe通过相应的值vector 这不会做 gt vecto
  • dplyr 通过评估查找单元格值来改变特定列

    我已经使用定额 符号和求值探索了各种选项 但我似乎无法获得正确的语法 这是一个示例数据框 data frame A letters 1 4 B letters 26 23 C letters c 1 3 5 7 D letters c 2
  • R 中循环函数返回什么值

    我正在阅读 R 语言手册 想知道循环函数返回什么值 手册第 3 3 2 节循环中说 三个语句 for while repeat 中的每一个都返回最后计算的语句的值 循环语句的返回值始终为 NULL 并且是不可见返回的 那么返回什么值 NUL
  • 如何计算两个邮政编码之间的距离?

    我有一个美国邮政编码列表 我必须计算所有邮政编码点之间的距离 它是一个 6k 邮政编码长列表 每个实体都有邮政编码 城市 州 纬度 经度 面积和人口 所以 我必须计算所有点之间的距离 即 6000C2 组合 这是我的数据示例 我已经在 SA
  • 使用 R 并行处理 XML 节点

    我正在尝试与 R 并行处理 XML 文档xml2包装和foreach功能 但我收到 node attrs x node nsMap ns 中的错误 外部指针无效 尝试导出树集群导出 示例代码 library xml2 library for
  • R 数据框中的重复行

    我正在尝试使用下面的代码复制数据框中的行 但是 我发现它很慢 duprow df 1 for i in 1 2000 print i df rbind df duprow 有更快的方法吗 您可以使用rep 例如对于数据框第 1 行的 5 个
  • 我想将两个变量合并为一个具有日期格式的变量

    我有一个包含几个月的字符列的数据集 MONTH 和指示年份的数字列 YEAR 为了将其用作面板数据 我需要将这些结合起来YEAR and MONTH转换为日期格式的变量 我尝试过改变变量MONTH转换为数字格式 然后合并MONTH与柱YEA
  • 从数据/系数创建 lm 对象

    有谁知道可以在给定数据集和系数的情况下创建 lm 对象的函数 我对此很感兴趣 因为我开始使用贝叶斯模型平均 BMA 并且我希望能够根据 bicreg 的结果创建 lm 对象 我想访问所有不错的通用 lm 函数 例如诊断绘图 预测 cv lm
  • 如何在R中绘制堆积柱形图?

    有谁知道如何使用 R 绘制由超过 1 个变量堆叠的列的直方图 就像excel中的 堆积柱形图 一样 谢谢你 我假设您确实想要一个条形图而不是直方图 在这种情况下 barplot从标准图形或barchart格子包中的两者都可以做到 或者使用
  • R 矩阵到犰狳的转换非常慢

    观察 对于中等大小的矩阵 将矩阵从 R 传递到 C 的开销要慢得多arma mat类型比NumericMatrix类型 大约需要 250 倍的时间 这是一个最小的例子 include
  • 在 data.table 1.9.4 或更早版本上,按字符串键 `order(-x,v)` 对 data.table 中的行进行降序排序会出现错误

    假设我有以下内容data table in R library data table DT data table x rep c b a c each 3 y c 1 3 6 v 1 9 我想按两列排序 例如列x and v 我用过这个 D
  • 张量流:RStudio 中的 [NOT FOUND] 错误

    我尝试在中运行以下代码RStudio library tensorflow x data lt runif 100 min 0 max 1 y data lt x data 0 1 0 3 W lt tf Variable tf rando
  • multidplyr :将函数分配给集群

    参见下面的工作解决方案 我想使用 multidplyr 并行化函数 calculs R f lt function x return x 1 main R library dplyr library multidplyr source ca
  • R:根据排名重新排列数据框的列

    我有以下数据框 df1 Type CA AR OR alpha 2 3 5 beta 1 5 6 gamma 6 2 8 delta 8 1 9 Total 17 11 28 我想根据 总计 行重新排序该数据框 使其按降序排列 生成的数据框
  • 如何在 R 中计算带有变量的表达式?

    我希望这段代码能够设置plt等于 10 gt var plt gt eval paste0 var lt 10 1 plt lt 10 但相反 它返回一个字符串 I tried eval as expression paste0 var l
  • 从数据框中提取具有最高值和最低值的行

    我对 R 还很陌生 我主要用它来可视化统计数据ggplot2图书馆 现在我遇到了数据准备的问题 我需要编写一个函数 该函数将从数据框中删除指定列中具有最高和最低值的一些数字 2 5 或 10 行 并将它们放入另一个数据框中 并对两个因素的每
  • 如何引用基于 data.frame 中的变量的列表?

    我有一张简单的桌子emp id and job code 我想返回正确的payout基于job code 我已经用嵌套的 ifelse 来解决这个问题 但是如果我有更多怎么办job code s library dplyr set seed
  • 将多个ggplot2图保存为列表中的R对象并在网格中重新显示

    我想在大型 for 循环期间将多个绘图 使用 ggplot2 保存到列表中 然后随后在网格中显示图像 使用 grid arrange 我已经尝试了两种解决方案 1 将其存储在列表中 如下所示 pltlist qplot lt qplot 然

随机推荐

  • 当引导模式打开时如何防止正文内容滚动

    我正在使用 Angular UI Bootstrap模态框 http angular ui github io bootstrap modal 当模式打开时 主体有一个滚动条 当我滚动时 模式后面的内容也会滚动 我可以将溢出 隐藏到正文标记
  • 如何从非图像的 WebSocket 读取 BLOB 数据

    我创建了一个到网络服务器的 WebSocket 连接来接收一些数据 但是 当我记录在onmessage函数 那么我就看不到数据的真实内容 当我复制 Chrome 浏览器 v32 作为curl 命令打开的网络连接并在我的操作系统控制台上运行它
  • 使用 AWS Lambda 在无服务器中 Cron 作业触发两次

    我正在运行一个 Cron 作业 该作业每周日上午 10 00 UTC 运行 它将短信推送到电报组 这是我的完整代码 https github com deadcoder0904 lessons of hn telegram bot 以下相关
  • C# 自定义列表视图

    有人有关于创建 绘制自定义 ListView 对象的任何信息吗 目前我正在从事一个需要在应用程序中定制外观和感觉的项目 我使用的是标准 Windows Forms ListView 它与 GUI 的其余部分的风格不同 我们没有使用自定义控件
  • java中的四舍五入值

    我将如何圆 1 1 5 怎么样 double rounded Math ceil number 2 2 Since Math ceil 已经返回双精度值 无需除以2 0d这里 只要您在可以表示为双精度数的整数范围内而不丢失精度 这就可以正常
  • 近4季度数据

    我想获取最后 4 个季度的数据 包括当前季度的数据 假设如果我运行查询30 MAR 2019然后我想要来自的数据01 APR 2018 to 31 MAR 2019如果我运行查询01 apr 2019然后我想要之间的数据01 JUL 201
  • 将 Serilog 配置代码行转换为 json 配置时遇到问题

    我发现一篇博文解释了如何按 LogEvent 级别过滤到单独的文件以进行 Serilog 配置 我正在 appsettings json 中进行所有 Serilog 配置 这在 json 配置中看起来怎么样 我似乎不知道如何 json la
  • Java Webstart 无法脱机工作(NoRouteToHostException/UnknownHostException)

    我想配置我的 webstart app jnlp 以便如果没有可用的互联网连接 它将从缓存启动 然而 当我断开与互联网的连接时 尽管配置如下 但我总是收到 NoRouteToHostException 或 UnknownHostExcept
  • 交错行二维 Numpy 数组

    我有一个 2D numpy 数组 如下所示 array x1 x2 x3 x4 x2 x3 x4 x5 x3 x4 x5 x6 y1 y2 y3 y4 y2 y3 y4 y5 y3 y4 y5 y6 我想交错行 使数组看起来像这样 arra
  • 使用查找函数未找到值的错误消息

    我使用此代码来检查条形码是否在数据库中 但每次条形码不在列表中时 它都会提示一条错误消息 运行时错误 91 未设置对象变量或 With 块变量 是否有一行我可以像消息框一样添加 表明输入的条形码无效 我知道这就是我所需要的 但显然 我不知道
  • rabbitmq的兑换次数有限制吗?

    在文档或谷歌上找不到任何关于此的信息 除了它应该绑定到服务器的可用资源 有人有在工作环境中一次进行大量交换的经验吗 仅创建交换不应成为问题 直到达到内存限制为止 而是在具有高消息吞吐量且主要是动态交换创建 删除的工作项目中使用它 考虑到 R
  • 为什么不允许使用 lock(),但允许使用 Monitor.Enter()?

    对于以下代码 我收到编译时错误 int 不是引用类型 lock 语句所要求的 int i 0 lock i 但没有错误 int i 0 Monitor Enter i 据我所知 由于装箱引起的复杂性 值类型不应该用于锁定 但是 那为什么它可
  • 如何将依赖包引用到 Android 库(如 .aar 文件)中?

    我有一个 android library 插件 它使用多个作为 jar 文件包含的 android 库 并直接从我的 build gradle 文件引用 compile fileTree dir libs include jar 然后我会发
  • C# 如何读取值并将其放入数组中

    我今天开始发现 C 如你所知 有一些困难 using System using System Collections Generic using System Linq using System Text namespace Console
  • 了解函数类型

    我在尝试理解 Haskell 如何确定函数类型时感到有点困惑 这是一个例子 boolFcn x y x 3 y 4 当我检查上述函数的类型时 它给出了结果 Num a1 Num a Eq a1 Eq a gt a gt a1 gt Bool
  • Realm.open 与新 Realm

    在 React Native 应用程序的上下文中 仅在本地使用 Realm 因此目前没有领域对象服务器 使用打开领域有什么区别Realm open schema Car Person 并创建一个新的 Realm 实例new Realm sc
  • 通常只允许每个套接字地址(协议/网络地址/端口)使用一次

    过去几周 我们在使用 Azure 搜索 SDK 1 1 1 1 1 2 并执行搜索时遇到了此错误消息 我们从内部 API 部署为 Azure Web 应用程序 使用搜索 SDK 这些 API 根据流量进行扩展 因此可能有超过 1 个 API
  • MvcMiniProfiler 是否需要 Web 应用程序才能工作,或者可以在纯库中使用,例如在单元测试中?

    我真的很喜欢我所看到的MvcMiniProfiler http code google com p mvc mini profiler 我很想在非 Web 应用程序 Windows 服务 单元测试等 上使用 SQL 监控功能 这可能吗 还是
  • JavaBean 和 ManagedBean 有什么区别

    我在读JSF MVC 框架中的 MVC 是什么组件 https stackoverflow com questions 5104094 what components are mvc in jsf mvc framework 在总体架构图中
  • 将 R 数据集中的数据写入 Redshift

    我使用 RPostgreSQL 包将 R 连接到 amazon Redshift 我可以连接 创建和删除表 查询数据库 将数据保存到 R 数据框架中并手动插入值 我不能做的是将数据插入直接从 R 数据帧读取的 Redshift 中 并且由于