从 RStudio EC2 实例中的 S3 读取大型 JSON 文件(Louis Aslett 的 AMI)

2023-12-05

我正在经历与这个问题类似的问题here:

我在 AWS S3 上有一个大的 JSON 文件,并尝试通过 RStudio(来自 Louis Aslett 的 AMI 的 EC2 实例)访问它。 我什至尝试从 t2 迁移到具有 30GB 内存的 r4.xlarge,但无济于事: 我收到错误:

writeBin(httr::content(r, as = "raw"), con = file) 中的错误:长 尚不支持向量:connections.c:4147

如果我使用免费层实例,则会出现错误:

curl::curl_fetch_memory(url,handle=handle) 中的错误:失败 写入主体 (0 != 16360)

看来我在参考文献中提到的问题已经找到了一种方法,尽管我无法完全遵循它。当有人说目录需要是“home”以外的其他内容时,可以解释一下吗?你如何实施它?因为 Louis AMI 没有允许这样做。 这个问题可能非常基本,但我在这里失去了理智。

干杯! A


“当有人说目录需要是“home”以外的东西时,可以解释一下吗?你如何实现它?因为 Louis AMI 没有这样做的权限。这个问题可能非常基本,但我是让我从这里发疯。”

我在这里对你表示同情,因为这对于来自 Windows 的新 Linux 用户来说是违反直觉的,恕我直言,具有讽刺意味的是,我看到两个问题回答了这个问题,因为它们对于这个高级论坛来说被认为太基础了。但您并不孤单,从使用相同 AMI 读取数据时出现相同错误消息的个人经验来看,这听起来像是同样的问题。

如果您上传到实例上的不同驱动器,那么这个问题很可能会得到解决。由于 Louis Aslett Rstudio AMI 基于此 8-10GB 空间,因此您必须将工作目录设置在此主目录之外。从 Rstudio 服务器界面来看并不直观。

我建议查看其他目录(例如,在 Rstudio 中的 RHS 上的 Rstudio 目录选择框中,或在 linux 命令行上使用 df 命令,在 home 上方向上几级)。然后在另一个目录(例如 xda 或任何有足够空间的目录)中 setwd() 并尝试再次读入。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从 RStudio EC2 实例中的 S3 读取大型 JSON 文件(Louis Aslett 的 AMI) 的相关文章

随机推荐

  • 使用 BeautifulSoup find_all 从最后一个元素获取内容

    我正在尝试从 find all 创建的列表中的最后一个 div 中提取内容 post content soup find all div class body content inner 存储以下文本 div class body cont
  • 回调中的问号

    static setItem key string value string callback error Error gt void 这是AsyncStorage中setitem的声明 第三个参数是回调 有人可以解释一下这里问号的使用吗
  • Facebook 应用程序安全画布 URL

    我对 Facebook 应用程序安全画布 URL 有一些疑问 对于 Facebook 应用程序安全画布 URL 或安全页面选项卡 URL 是否需要特定类型的 SSL 证书 或者任何类型都可以 由于我使用一个域来托管不同应用程序中的所有内容
  • Java旋转像素数组

    我尝试用java编写一个算法来旋转二维像素数组 不限于90度 我遇到的唯一问题是 最终结果在图像中留下了点 孔 这是代码 for int x 0 x lt width x for int y 0 y lt height y int xp i
  • 当计算机程序运行时会发生什么?

    我知道一般理论 但我无法了解细节 我知道程序驻留在计算机的辅助存储器中 一旦程序开始执行 它就会被完全复制到 RAM 中 然后处理器一次检索一些指令 这取决于总线的大小 将它们放入寄存器中并执行它们 我还知道计算机程序使用两种内存 堆栈和堆
  • Android 的子类按钮:很多错误

    我尝试子类化Button 但是我在启动项目时遇到很多错误 你能看一下并告诉我如何解决这个问题吗 我可能会出现 50 个错误 package my project name import android public class MyButt
  • 查找函数无法更新特定位置的文件 - python

    我实际上正在开发一个使用 UDP 发送文件的项目 由于该协议不可靠 我在每个数据包上添加了一些信息 即数据的索引 这样我就可以按照正确的顺序写入接收到的数据 我在文件中的特定位置写入字节时遇到问题 这是我的代码中处理写入新数据的部分 whi
  • 用什么来代替 ::ng-deep

    我正在尝试以角度设置路由器出口放置的元素的样式 并希望确保生成的元素的宽度为 100 从大多数回复中 我发现我应该使用 ng deep选择器 但是来自 Angular 的docs它正在被弃用 有没有替代方案 ng deep FWIW 在我的
  • 十六进制字符串到图像

    我有一个十六进制字符串 如下所示 String hexImage 0xFFD8FFE000104A46494600010200006400640000FFEC00114475636B79000100040000003C 我需要使用 Java
  • 如何在asp.net中启用角色?

    我正在尝试在 ASP NET 中启用角色 但是 我收到了一些错误 并且在尽力之后我无法解决它们 我是 Visual Studio 界面的新手 我尝试创建一个登录页面作为 ASP NET Web 应用程序 然后 由于我们必须配置页面以连接到数
  • WP8 IE10 视口问题

    你们是否注意到 当使用 ms viewport 特定宽度为 320px 或设备宽度 时 Web 浏览器内容可以移动到可用空间之外 似乎文档大小错误 因此我可以将其内容滚动到左侧 但没有任何空白 我也可以将其缩小 但我不应该 之后它的大小并不
  • 使用ggplot2绘制不同颜色的多条线

    我有一个数据框 其中包含年份列 1980 2009 和 16 列 其中包含来自 16 个不同模型的气象数据 因此每个值代表一年和一个模型的年值 下面是一些代码 可以很容易地重现 set seed 20 df lt as data frame
  • 如何在显示表单后运行代码? (“显示”有问题。)

    我想Shown就是答案 但似乎并非所有控制都是平等的 一个面板is立即显示 而标签则不显示 我有以下代码 public partial class Form2 Form Panel p new Panel BackColor Color G
  • Ng-animate 停止使用 $templateRequest 装饰器工作

    当我的用户未经身份验证时 我试图避免使用 Angular js 出现模板错误 为了做到这一点 我来到了这个堆栈溢出解决方案 它对我有用 但现在我注意到我的 ng animate 停止工作而没有抛出控制台错误 我缺少什么 Update 这是使
  • if 语句中的布尔值

    今天 我收到了关于代码的评论 考虑到我在学校作业中检查变量是真还是假的方式 我写的代码是这样的 var booleanValue true function someFunction if booleanValue true return
  • oracle中需要修剪空格

    无法修剪表中以下数据中的空格 列数据类型为 VARCHAR2 650 CHAR 我尝试了修剪功能来消除空白 但这对我不起作用 我的表中的数据 xxxxxxxxxx yyyyyyyyy 12 7 14 12 13 14 xxxxxxxxxx
  • 分配给 BigInteger 数组中的 an 元素时出错

    这是我的代码 当我创建数组时它显示错误BigInteger并尝试赋值 package test import java math import java lang import java util public class Test pub
  • Tomcat工作目录必须定期清理

    我们的 Tomcat 遇到了一个问题 我的同事都无法真正解释 我们有一只雄猫 版本7 0 26 在 Linux 计算机上 部署是通过爆炸战争 我们的类是jar打包的 其余的直接进入WEB INF和META INF 另外还有一个内容管理服务器
  • Spring Security 6 和 JSP 视图渲染

    我正在将应用程序从 Spring Boot 2 7 升级到 Spring Boot 3 其中包括更新到 Spring Security 6 我们设置了以下属性 spring mvc view prefix WEB INF view spri
  • 从 RStudio EC2 实例中的 S3 读取大型 JSON 文件(Louis Aslett 的 AMI)

    我正在经历与这个问题类似的问题here 我在 AWS S3 上有一个大的 JSON 文件 并尝试通过 RStudio 来自 Louis Aslett 的 AMI 的 EC2 实例 访问它 我什至尝试从 t2 迁移到具有 30GB 内存的 r