程序员经验分享-hwhale

如何运行 SparkR 的 R 脚本？

2024-02-09

我正在从终端运行sparkR 2.0.0，并且可以运行R命令。但是，如何创建 .r 脚本并能够在 Spark 会话中运行它。


SparkR 使用标准 R 解释器，因此适用相同的规则。如果您想在当前会话中执行外部脚本，请使用source功能。

## Welcome to
##    ____              __ 
##   / __/__  ___ _____/ /__ 
##  _\ \/ _ \/ _ `/ __/  '_/ 
## /___/ .__/\_,_/_/ /_/\_\   version  2.1.0-SNAPSHOT 
##    /_/ 
##
##
## SparkSession available as 'spark'.
> sink("test.R")
> cat("print(head(createDataFrame(mtcars)))")
> sink()
> source("test.R")
##    mpg cyl disp  hp drat    wt  qsec vs am gear carb
## 1 21.0   6  160 110 3.90 2.620 16.46  0  1    4    4
## 2 21.0   6  160 110 3.90 2.875 17.02  0  1    4    4
## 3 22.8   4  108  93 3.85 2.320 18.61  1  1    4    1
## 4 21.4   6  258 110 3.08 3.215 19.44  1  0    3    1
## 5 18.7   8  360 175 3.15 3.440 17.02  0  0    3    2
## 6 18.1   6  225 105 2.76 3.460 20.22  1  0    3    1

如果您想在现有 SparkR 会话之外提交独立脚本，您应该在脚本本身中初始化所需的上下文。之后你可以使用执行它SPARK_HOME/bin/spark-submit（首选）或者甚至Rscript.

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

r

apachespark

sparkr

如何运行 SparkR 的 R 脚本？ 的相关文章

  • 如何使用 Scala 从 Spark 更新 ORC Hive 表

    我想更新 orc 格式的 hive 表 我可以从 ambari hive 视图进行更新 但无法从 sacla spark shell 运行相同的更新语句 objHiveContext sql select from table name 能

  • 闪亮的应用程序包：css 和所有 www/ 目录内容

    我正在尝试将 Shiny 应用程序转换为 R 包 但我在处理有关 www 目录以及 松散 文件的所有问题时遇到了问题 我闪亮的应用程序运行得很好 但是当我尝试 打包它 时 它不起作用 我闪亮的应用程序目录 my shiny app R ut

  • 如何声明包含 M 个元素的列表对象

    我想声明一个包含 M 3 x 3 矩阵的列表 如果我事先知道数字 M 那么我可以通过以下方式声明这样的列表 elm lt matrix NA 3 3 Say M 7 myList lt list elm elm elm elm elm el

  • 在 Shiny 中显示反应式 htmlTable 表格

    我正在制作我的第一个 Shiny 应用程序 但找不到任何有关如何显示使用 htmlTable 包创建的表格的示例 我基本上想在按下按钮时创建一个表格并显示它 Shiny 显示 html 代码而不是表格 我不知道用什么替换服务器部分中的 re

  • R，使用具有两种以上可能性的二项式分布

    我知道这可能是基本的 但我似乎有一个心理障碍 假设您想要计算在一个骰子上掷出 4 5 或 6 的概率 在 R 中 这很简单 sum 1 6 1 6 1 6 这给出了 1 2 这是正确答案 然而 我内心深处 可能应该保留的地方 认为我应该能够

  • 在网格中制作一个矩形图例，并标记行和列

    我有一个 ggplot 我将因子映射到填充和 alpha 如下所示 set seed 47 the data lt data frame value rpois 6 lambda 20 cat1 rep c A B each 3 cat2

  • 为什么这个 R ggplot2 代码会显示一个空白的显示设备？

    虽然 SO 通常不用于帮助解决错误 但这个显示了特别简单且特别烦人的行为 如果你是一个ggplot2用户 您可以在 10 秒或更短的时间内重现它 正如这个 GitHub 问题 ggplot gtable 创建空白显示 https githu

  • 如何为自定义 S3 类实现提取/取子集 ([ [<-, [[ [[<-)] 函数？

    我有一个自定义的 S3 类foo 它在正常的基础上添加了一些自定义行为data frame foo object lt data frame class foo object lt c foo data frame 对于这个类 还应该有一个

  • 使用点阵个性化 R 上显示的 X 轴值

    我收集了大量包含日期 客户端及其 NFS 使用情况的数据 我正在使用lattice R包进行绘图 正如对超级用户的建议 https superuser com questions 523195 plot custom log data on

  • 平滑连续 2D 点

    UPDATE 感谢 user20650和 李哲源Zheyuan Li 这是我想出的解决方案 Example data set df 3600 observations points Create a vector of the cumula

  • 使用数据帧的 R 中的 EWMA 波动性

    我正在尝试从一系列股票每日收益中获取 EWMA 波动性 这些收益来自一个名为base retorno diario Data IBOV ABEV3 AEDU3 ALLL3 BBAS3 BBDC3 BBDC4 1 2000 01 04 0 0

  • R 中 SVG 图形的最佳设备？ [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我想从 R 导出 SVG 图形 似乎有两种选择 RSvgDevice 和 Cairo 有人可以对这些包发表评论吗 是默认的还是明显比另一个

  • HTTR GET 新错误：SSL 证书问题：证书已过期

    我已经运行这段代码几个月了 没有出现任何问题 今天我突然开始在我的两台 AWS 服务器上收到以下错误消息 错误 curl curl fetch memory url handle handle SSL证书问题 证书已过期 当尝试运行以下代码

  • 在闪亮的数据表中为每个单元格显示工具提示或弹出窗口？

    有没有什么方法可以为 r闪亮数据表中的每个单元格获取工具提示 有很多方法可以获取悬停行或列 但我找不到一种方法来获取行和列索引并为每个单元格显示不同的悬停工具提示 任何人都可以修改以下代码吗 library shiny library DT

  • 是否有weighted.median()函数？

    我正在寻找类似形式的东西weighted mean 我通过搜索找到了一些解决方案 这些解决方案写出了整个函数 但希望有一些更用户友好的解决方案 以下软件包都有计算加权中位数的函数 aroma light isotone limma cwhm

  • 安装 2.15 后 ggplot2 中的 alpha 通道不起作用

    更新到 R 2 15 后 ggplot 中的 alpha 通道似乎不再起作用 plot rnorm 100 rnorm 100 bg cc000055 pch 21 工作得很好但是 qplot rnorm 100 rnorm 100 col

  • R 中的数据框操作 - 将单元格向左移动并删除 NA

    我有一个数据框 其列由随机分布的值和 NA 组成 如下所示 a lt c S E NA S NA b lt c A NA M G K c lt c I NA NA NA L meh lt dataframe a b c 1 2 3 4 5

  • 将 Excel 文件读入 R 并锁定单元格

    我有一个 Excel 电子表格要读入 R 它受密码保护并锁定了单元格 我可以使用 excel link 导入受密码保护的文件 但我不知道如何解锁 取消保护单元格 excel link 给了我这个错误 gt

  • 如何在R中分离两个图？

    每当我运行这段代码时 第一个图就会简单地覆盖前一个图 R中有没有办法分开得到两个图 plot pc title main abc xlab xx ylab yy plot pcs title main sdf xlab sdf ylab x

  • 闪亮井板宽度

    library shiny library shinydashboard ui lt dashboardPage dashboardHeader dashboardSidebar dashboardBody wellPanel tags d

随机推荐

  • YouTube API V3 中的 YouTube.Channels.List 在 Android 中仅返回一个频道

    我正在使用 YouTube API 创建一个应用程序 在这里 我想列出与电子邮件 ID 相关的所有频道 因此我编写了以下代码 这段代码的问题是它只返回一个通道 默认通道 但我想要所有通道的列表 这是代码 YouTube youTube ne

  • 谓词“contracting/1”是否会恢复已删除的不一致值？

    这个问题是在另一个问题之后提出的我之前发过帖子 https stackoverflow com q 36260440 2936460关于 Prolog 中的自定义标签 是否contracting 1谓词 当在自定义标签谓词中对变量进行赋值之

  • 在 omnetpp 中找不到类“simpleModule”

    我正在 omnet 中编写自己的简单模块 在 omnet IDE 中 我创建了三个简单的模块 之后我使用这些模块创建了一个 网络 它正在成功构建 但是每当我尝试模拟它时它都会显示 网络期间模块 cModule NetworkTopology

  • CLR 集成中的套接字通信

    套接字通信在 CLR 集成中表现良好吗 例如 我在 CLR Integration 中创建了一个 PROC 它从表中获取所有数据 并且只想将数据发送到 TCP 服务器 命令 CREATE ASSEMBLY TcpClr FROM G Tcp

  • 如何向打字稿函数添加可选回调？

    我可以进行 javascript ajax 调用 如下所示 getJSON http localhost 62178 document filename c test dave docx function data console log

  • IE 不清除后续浮动

    我试图让两个 div 浮动到页面的两侧 文本在它们之间流动 第二个 左对齐 div 的顶部应与第一个 右对齐 div 的底部齐平 下面的代码在 FF Chrome Opera 等中运行良好 但在 IE 中无法正确清除 两个 div 都出现在

  • 使用 jasmine.createSpyObj 实用程序构建 SpyObj 时声明 getter 属性？

    假设我有一堂课 class MyRealClass get propOne return stuffFromTheServer 测试的时候我想实现这个功能 const mockClass get propOne return someStu

  • 按后退按钮时出现“找不到类 android.transition.Transition”异常

    我有一项活动一次托管一个片段 并在两个片段之间交换 片段 A 使用按钮启动片段 B 片段 B 使用按钮或后退按钮启动片段 A 使用自定义按钮从片段 A 到 B 以及从 B 到 A 时一切正常 问题是当我使用后退按钮从片段 B 转到 A 时

  • SQL 过滤掉不太具体的行

    我的表数据看起来像 Col1 Col2 Col3 1 2 NULL 1 2 3 1 NULL NULL 1 5 NULL 2 NULL NULL 我想编写一个查询 以便只获得最具体的条目 IE 在上面的示例中 row1 比 row3 更具体

  • 针对不同线条的多个 HoverTools（散景）

    我在散景图中有多条线 并且我希望 HoverTool 显示每条线的值 但使用之前的 stackoverflow 答案中的方法不起作用 https stackoverflow com a 27549243 3087409 https stac

  • 工作组之间的 OpenCL 同步

    是否可以同步 OpenCL 工作组 例如 我有 100 个工作组 每个工作组只有一个项目 不要问我为什么 这是一个例子 我需要对每个工作项设置障碍 以确保所有工作组都会在这 100 个工作组中的每个工作项达到此障碍点后继续 不 你不能 您可

  • postgres - 具有递归

    我期望以下内容返回所有元组 将层次结构中的每个父级解析到顶部 但它只返回最低级别 其 ID 在查询中指定 如何返回给定 level id 的整个树 create table level level id int level name tex

  • 编辑 jQuery 数据表信息

    我在用Jquery数据表 https datatables net 展示我的桌子 我有一列记录为 活动 或 非活动 现在我想在显示 显示 72 个条目中的 1 到 10 之后立即显示具有活动和非活动值的列数 My table like li

  • 更多 Passport.js 问题 - 表单提交挂起

    我正在设置我认为可能最简单的身份验证 站点在登录屏幕上加载 用户在表单中输入凭据 提交时我使用 Passport JS 和 Sequelize 来检查凭据 大多数内容都是从各种教程或 Passport 网站本身复制的 无论我做什么 更改或尝

  • Pandas GroupBy - 仅显示具有多个唯一特征值的组

    我有一个数据框df things看起来像这样 我想在训练之前预测分类的质量 A B C CLASS al1 bal1 cal1 Ship al1 bal1 cal1 Ship al1 bal2 cal2 Ship al2 bal2 cal2

  • 处理Guzzle异常并获取HTTP正文

    当服务器返回 4xx 和 5xx 状态代码时 我想处理来自 Guzzle 的错误 我提出这样的请求 client this gt getGuzzleClient request client gt post url headers valu

  • Markdown 中的 HTML 小部件对齐

    我用knitr opts chunk set fig align center 在 rmarkdown 文档的开头设置数字的对齐方式 当我输出 HTML 文件时 静态图形与中心对齐 但 HTML 小部件 例如来自leaflet and gg

  • 允许迭代而不产生任何垃圾

    我在实现 IEnumerable 接口的对象池中有以下代码 public IEnumerable

  • 如何在 U-SQL 中抛出错误或引发异常？

    在 U Sql 脚本中引发错误或异常的机制是什么 我有一个场景 正在处理 CSV 文件 如果在其中发现重复项 那么我需要放弃处理 在 SQL 中 我可以做raiseerror 在 U Sql 中执行此操作的等效方法是什么 创建一个 C 函数

  • 如何运行 SparkR 的 R 脚本？

    我正在从终端运行sparkR 2 0 0 并且可以运行R命令 但是 如何创建 r 脚本并能够在 Spark 会话中运行它 SparkR 使用标准 R 解释器 因此适用相同的规则 如果您想在当前会话中执行外部脚本 请使用source功能 We

热门标签