在 R 中通过 Arrow 包编写 Parquet 文件的问题

2024-02-18

只是想知道在 Windows 和 Linux 操作系统中运行时,R 中的 arrow 包的读/写 parquet 功能是否有区别?

示例代码(在数据框中插入任何内容):

mydata = data.frame(...)

write_parquet(mydata, 'mydata.parquet')

read_parquet('mydata.parquet')

我注意到,当此代码在 Windows 中运行时,可以在 Windows 或 Linux 中毫无问题地读取 parquet 文件,并在 R 中返回数据帧。但是当在 Linux 中运行 write parquet 代码时,然后如果我尝试在 Windows 中的 R 中读取这些镶木地板文件,它不会返回数据帧,而是返回分组列表(分组列表中的每个向量都包含相应列的数据)。最初,我尝试使用 do.call(rbind...) 进行解决方法,将分组列表转换回数据帧,但它不包含任何列名称。

请告诉我是否有任何方法可以解决此问题。理想情况下,我希望能够编写镶木地板文件,并能够将它们作为数据帧从任一操作系统读回到 R 中。作为参考,我在两个操作系统上都使用 R4.0。

提前致谢。


None

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 R 中通过 Arrow 包编写 Parquet 文件的问题 的相关文章

  • 如何在R中将plot转换为ggplot?

    我是 R 新手 我正在尝试将绘图转换为 ggplot plot res s type n main title print lines res s res s output 2014 02 14 51 8460 2014 02 14 44
  • gridExtra 2.0.0 更改标题大小

    我知道 gridExtra 已更新 因此 我想知道如何更改标题大小 这不再有效 grid arrange a b c d ncol 2 nrow 2 main textGrob Title gp gpar fontsize 15 font
  • R数据表:将行值与组值进行比较,有条件

    这是问题的延伸 R数据表 将行值与组值进行比较 https stackoverflow com questions 33285050 r data table compare row value to group values 我现在有了
  • 使用变量标签作为标题和轴标题时自动化 ggplots

    我对 NSE 和绘图函数有点混淆 我试图在使用变量标签 而不是名称 标记轴等的同时自动绘制一些图 假设我们有一个大型数据集 所有变量都已标记 这里的小例子 library tidyverse library sjlabelled libra
  • 如何在 R 中关闭管道连接之前获取输出?

    在 R 中 我们可以使用以下命令打开管道连接pipe 并写信给它 我观察到以下情况 我不太明白 让我们使用一个python管道例如 z pipe python open w cat x 1 n file z cat print x n fi
  • 导入 mgcv 失败,因为找不到 Rlapack.dll

    我想通过使用链接到 IronPython 中的 R 统计包R NET http rdotnet codeplex com 图书馆 它一直工作得很好 但现在我需要使用 R 的mgcv http cran r project org web p
  • ggplot 中的分层轴?

    我想知道是否可以在 GGLPOT2 或其他图形包 我只是更喜欢 ggplot 中制作分层 分段轴 我想要做的是获取下面的数据 制作一个堆积条形图 其中 x 轴上有周期 但在每个周期内 还有每种动物 那么每只动物内的条形颜色将是 颜色 变量
  • 不同元素的ggplot字体大小

    我知道在创建 ggplot 图后我可以使用theme get 返回所有主题元素的详细信息 这对于弄清楚诸如此类的事情非常有帮助strip text x等等 但我有两件事无法弄清楚 1 在下面的ggplot图形中 代表短语 被土拨鼠卡住的木头
  • R 用簇绘制热图,但隐藏树状图

    默认情况下 Rheatmap将聚集行和列 mtscaled as matrix scale mtcars heatmap mtscaled scale none 我可以禁用集群 heatmap mtscaled Colv NA Rowv N
  • Rshinyjsshinydashboard框在radionButtons输入上展开

    基于这个问题Rshinyjsshinydashboard框在操作按钮输入时展开 https stackoverflow com questions 49659804 r shinyjs shinydashboard box uncollap
  • 将缺失的行添加到数据表中

    我有一个数据表 library data table f lt data table id1 c 1 2 3 1 2 3 id2 as factor c a a b c b d v 1 6 key c id1 id2 id1 id2 v 1
  • 使用 kableExtra 增加行/行间距

    有没有办法在 r markdown 或 bookdown 中使用 kableExtra 增加 pdf 输出的行间距 library knitr library kableExtra kable head iris 5 caption Iri
  • 使用“kde”函数进行 R 中的 5-D 核密度估计

    我想通过使用 R 的 ks 库中的 kde 函数来执行 5 维数据 x y z 时间 大小 的核密度估计 在它的手册中 它说它可以执行核密度估计1 至 6 维数据 手册第 24 页 http cran r project org web p
  • R中的预测和预测函数之间的区别

    两者之间有什么区别吗predict and forecast R 中的函数 如果是 在哪些具体情况下应该使用它们 Intro predict 适用于多种 R 对象 模型 基础库的一部分 forecast 对于时间序列 预测包的一部分 参见示
  • 成对散点图;一对多[重复]

    这个问题在这里已经有答案了 有没有一种简洁的方法来创建pairs仅将一个变量与许多其他变量进行比较的图 换句话说 我可以只绘制标准的一行或一列吗 pairs不使用循环的散点图矩阵 融化你的数据 然后使用带有facet的ggplot libr
  • 根据用户输入将 n 个反应式单选按钮添加到闪亮的应用程序

    我正在尝试创建一个闪亮的应用程序 用户可以在其中从数据框中选择变量以便对数据进行子集化 输出 最终 将是包含用户子集的数据表 我需要根据用户为子集选择的变量数量创建 n 个输入框 理想情况下 输入框将是动态单选按钮 用于子集因子 我还没有开
  • 使用shinyjs通过javascript在闪亮的应用程序中操作现有的Leaflet地图

    我有一个闪亮的应用程序 其中包含现有的传单地图 我希望能够在渲染后使用自定义 javascript 通过shinyjs包裹 一个最小的例子如下 app R packages library dplyr library leaflet lib
  • 将公式传递给 R 中的函数?

    对此的任何帮助将不胜感激 我正在使用 Lumley 调查包 并试图简化我的代码 但遇到了一些小障碍 在我的代码中调用包中的 svymean 函数如下 其中第一个参数是指示我想要哪些变量的公式 第二个参数是该数据集 svymean hq eh
  • 在R中使用plotly在轴标题中换行和下标

    我刚开始使用plotly对于 R 中的一些交互式散点图 并且在轴标签上遇到困难 通常我设计我的情节ggplot2然后使用ggplotly函数来转换它们 但这有时由于某种原因非常慢 所以我想直接在中创建我的图plotly 我现在尝试更改轴标题
  • 拆分并保存在新的 data.frames 中

    我有一个大 data frame 144 列 我想将其分成每组 3 列 子文件或子 data frame 然后将子 data frame 保存在单独的文件中 换句话说 file1 将包含从 1 到 3 的列 file2 将包含从 6 到 9

随机推荐

  • Matplotlib 条形图:将两个不同的 y 轴对齐为零

    我在条形图中有两组数据 它们的轴非常不同 一组非常负 7500 一组稍微正 5 如何让两个 y 轴在 0 处对齐 同时仍保持良好的尺寸 使用set ylim意味着您看不到第二个数据集 我正在使用的当前代码 A165H 4915 7037 B
  • Android 在枚举中使用 Drawable

    我有一个项目 我必须设计一系列硬币并使用它 我的 GUI 看起来像这样 https i stack imgur com 9evmz png https i stack imgur com 9evmz png 我希望能够从 coinArray
  • 错误:在锁定文件中发现意外的锁定协议。预期为 3,发现为 0。

    我将我的 android studio 更新为 2 3 然后将我的应用程序连接到 Firebase 时 它 给了我一个错误 错误 在锁定文件中发现意外的锁定协议 预期为 3 发现为 0 我需要回到 2 2 3 还是有什么办法可以解决这个问题
  • Pygame - 同时播放声音

    我正在使用 Pygame 制作游戏 我想做的是为每个级别提供一个主要声音 并在收集积分时听到一些默认声音 例如 因此 我使用以下方法加载主关音乐 pygame mixer music load music file pygame mixer
  • Paypal 定期订阅问题

    当有人开始定期订阅时 我会传递custom变量 其中包含我的系统上用户的用户 ID 付款后 我收到两个 IPN subscr signup 和 subscr payment 两者都有自定义变量 可以让我识别用户 但是 对于未来的定期付款 I
  • 当我尝试保留对象时,Phoenix 框架向我发送“名为“_toDoListMaster_key”的 cookie 超过 4096 字节的最大大小”

    一切都在标题中 当我在浏览器中查找 cookie 时 我得到 toDoListMaster key SFMyNTY g3QAAABbQAAAAtfY3NyZl90b2tlbmQAA25pbA ehmC7o9 KRHqClwacE38DX1J
  • Excel 2010 - 将单个 XSLM 导出到多个 CSV 文件

    好吧 基本上我有一个包含大约 40k 行的 XSLM 文件 我需要将这些行导出为自定义的 CSV 格式 分隔并 标记每个单元格的边界 一旦导出 它们就会被 Joomla 导入器应用程序读入并处理到数据库中 我找到了一个很好的宏脚本 它可以做
  • 挂钩 Python 中的每个函数调用

    我有一个庞大的代码库 其中包含数千个函数 我想在每次函数调用之前和之后 函数启动和结束时启用代码执行 有没有一种方法可以在不重新编译 Python 或向每个函数添加代码的情况下完成此操作 有没有办法挂钩我的代码中的每个函数调用 是的 您可以
  • dart 中的 List 到 List

    有谁知道如何转换List
  • 从 file:// 运行 Svelte 应用程序,无需服务器

    我需要运行一个 Svelte 应用程序并且能够在没有服务器的情况下执行它 对于其他框架 这是可能的 因为它只是 javascript 但我找不到一种方法来单击我的 index html 并运行用 Svelte 构建的应用程序 我需要运行一个
  • 布局:装饰在百里香中不起作用

    我试图引入一种布局 如here https ultraq github io thymeleaf layout dialect Examples html 在我的应用程序中使用 thymeleaf 但无法让它工作 我已经查过了this ht
  • 在方法内切片列表 (Python 3)

    我有一个类似以下的方法 def slice list my list slice point my list my list slice point print Inside method my list return 我对其进行了如下测试
  • 如何在 Django 2.1 中将多个 slugs 添加到一个 url 路径中?

    我想要一个像这样的 URL 路径 www example com bachelor frankfurt university corporate finance 如您所见 本示例中的 URL 路径包含 3 个 slugs 对于这些类别 我有
  • 将一种类型的文件添加到一个 zip 文件并使用 PowerShell 进行清理

    如何创建 PowerShell 脚本来获取所有 BAK 类型的文件并将它们添加到 ZIP 文件中 我可以让我的 PowerShell 脚本在调用时采用参数来控制将容纳所有 bak 文件的 ZIP 文件的名称吗 成功压缩后删除 bak 文件
  • 将元数据添加到tensorflow freeze graph pb

    为了分享我们训练有素的张量流网络 我们将图冻结成 pb文件 我们还创建一个包含一些元数据的 xml 文件 例如输入张量和输出张量 要应用的预处理类型 训练数据信息等 然后使用 Java 或 C 通过加载图形和评估张量等来提供模型 为了使共享
  • WPF IsEditable=true 填充对象的 ComboBox 将 ToString() 显示为所选项目

    Wpf 组合框允许编辑 如果所有组合框项目都是字符串 或者在它们上定义了 ToString 方法 那么这很好 当您选择一个项目时 它显示为文本 它不使用 DataTemplate 它只是对所选项目调用 ToString 我在组合下拉列表中得
  • 为什么我们应该在用户表中包含 ID 列?

    显然 我们已经有了关于每个用户的另一个独特信息 那就是用户名 那么 为什么我们需要为每个用户提供另一个独特的东西呢 为什么我们还应该为每个用户提供一个 id 如果我们省略 id 列会发生什么 即使您的用户名是唯一的 使用额外的 id 列而不
  • 从 Swift 4 中的后台线程调用 UI API 并运行 Firebase 4

    这些是我下载 beta 版本后当前项目中出现的错误Xcode 9 这直接连接到这个帖子 https stackoverflow com questions 44391367 swift 4 uiapplication registerfor
  • 循环跨列相乘

    我有一个数据框 其中标有列sales1 sales2 price1 price2我想通过乘以计算收入sales1 price1以迭代的方式对每个数字进行依此类推 data lt data frame sales1 c 1 2 3 sales
  • 在 R 中通过 Arrow 包编写 Parquet 文件的问题

    只是想知道在 Windows 和 Linux 操作系统中运行时 R 中的 arrow 包的读 写 parquet 功能是否有区别 示例代码 在数据框中插入任何内容 mydata data frame write parquet mydata