程序员经验分享-hwhale

Spark 应用程序如何使用 sbt run 启动。

2024-04-05

我实际上想知道当我执行时这是如何发生的底层机制sbt runSpark 应用程序启动！

这与在独立模式下运行 Spark 然后使用 Spark-Submit 部署应用程序有什么区别。

如果有人可以解释如何提交 jar 以及谁创建任务并在这两种情况下分配它，那就太好了。 请帮我解决这个问题，或者指出一些可以消除我疑虑的读物！


首先，阅读this http://spark.apache.org/docs/latest/cluster-overview.html.

一旦您熟悉了术语、不同的角色及其职责，请阅读下面的段落进行总结。

运行 Spark 应用程序有不同的方法（Spark 应用程序只不过是一堆带有入口点的类文件）。

您可以将 Spark 应用程序作为单个 java 进程运行（通常用于开发目的）。这就是你跑步时发生的情况sbt run。 在这种模式下，所有服务（如驱动程序、工作人员等）都在单个 JVM 内运行。

但上述运行方式仅用于开发和测试目的，因为它无法扩展。这意味着您将无法处理大量数据。这就是运行 Spark 应用程序的其他方式（独立、mesos、yarn 等）的用武之地。

现在阅读this http://www.agildata.com/apache-spark-cluster-managers-yarn-mesos-or-standalone/.

在这些模式下，将会有专门的 JVM 来扮演不同的角色。驱动程序将作为单独的 JVM 运行，可能有 10 到 1000 个执行器 JVM 在不同的机器上运行（太疯狂了！）。

有趣的是，在单个 JVM 中运行的相同应用程序将分布在 1000 个 JVM 上运行。应用程序的分布、这些 JVM 的生命周期、容错能力等均由 Spark 和底层集群框架负责。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

sbt

Spark 应用程序如何使用 sbt run 启动。 的相关文章

随机推荐

  • 将 php 变量发布到新窗口

    我有一个由数据库动态构建的页面 对于动态构建的每个内容 我希望有一个弹出新窗口的链接 并且该新窗口将根据单击第一页上的哪个项目来填充数据库中的列表 我尝试过 POST 方法并将变量发布到 url 我知道这是危险的 另一个独特之处是 单击的链

  • MATLAB 求最大值一个结构体的

    我试图找到结构的最大值但是max tracks matrix 不起作用 它给我以下错误 使用 horzcat 时出错 CAT 论证维度不一致 你有想法吗 这是我的结构的样子 tracks 1x110470 struct array with

  • Android Edittext光标不可见

    我的应用程序中有一个编辑文本 它将在 Froyo 或 Gingerbread 中正确显示光标 但是在更高版本的 sdks 中 光标是不可见的 我在网上找到的解决方案是设置 android textCursorDrawable null 以便

  • Powershell 中的 CDPATH 功能？

    有没有人实现了等效的行为bash 的 cdpath http www caliban org bash bashtips在 Powershell 中 以前不知道CDPATH 很高兴知道 我为 Powershell 编写了以下内容 funct

  • 以对数刻度显示刻度标签 MS 图表 (log-log)

    我在 Visual Studio 2015 C 中使用 MS Charts 创建了一个具有对数刻度 两个轴 的绘图 见图 我需要在 x 轴上添加更多网格线和相应的标签 我想在 1 2 3 4 和 10 之间以及 10 到 100 20 30

  • 对不受信任（自签名）HTTPS 的 AJAX 调用会默默失败

    我想对使用自签名证书的安全服务器进行 AJAX 调用 在使用我的应用程序的环境中 这很好 我可以向用户提供 CA 证书并让他们在使用应用程序之前安装它 但是 有时 用户会在安装证书之前尝试访问该应用程序 在这些情况下 应用程序会默默地失败

  • 如何将 React 应用程序部署到 Heroku

    我已经使用 React 和 Node js 构建了一个单页天气应用程序 但似乎无法将其部署到 Heroku 到目前为止 我有 在 Heroku 上创建了一个名为 Weather app react node 的新应用程序 在 CLI 上登录

  • 如何在Notepad++中将大写字母转换为小写字母

    我主要使用 Notepad 进行编码 如何将大写字母转换为小写字母 反之亦然 只需选择要更改的文本 右键单击并根据需要选择大写或小写

  • 将 PSD 格式转换为 Gimp 可以读取的格式的方法

    我有一堆 PSD 文件 还有更多 我想将它们转换成我可以使用的格式 我之前曾 一些 成功地使用 Gimp 读取 PSD 但这些文件无法正确读取 有没有办法将 PSD 转换为 XCF 我尝试过 IrfanView 它可以正常显示 PSD 但无

  • 如何在 Python 中将日期时间转换为 UTC 时间戳？

    From http docs python org library time html http docs python org library time html 时间 mktime t 这是 localtime 的反函数 它的论据是 s

  • 使用 numpy.genfromtxt 在 Python 3 中加载 UTF-8 文件

    我有一个从 WHO 网站下载的 CSV 文件 http apps who int gho data view main 52160 http apps who int gho data view main 52160 下载 CSV 格式的多

  • 如何使用 R 编辑或修改或更改大型文本文件中的单行

    我正在使用 R 将一些大型文本文件读入数据库 但它们包含数据库软件的非法字段名称 大型文本文件的列名仅在第一行中 是否可以仅编辑第一行而不循环遍历文件中的每一行 这似乎浪费资源 这是我尝试对一些示例数据执行的操作的两个示例 第一个将所有内容

  • 如何在 Laravel 中使用 SQL Server 连接？

    我有一个用 Laravel 3 制作的工作项目 我必须切换到 MsSQL Server 虽然不是我的电话 嗅探 但我不明白这种数据库类型的 Laravel 配置 我把里面默认的改了database php对此 default gt sqls

  • MPAndroidChart - 向条形图添加标签

    我的应用程序有必要在条形图的每个条形上都有一个标签 有没有办法用 MPAndroidChart 做到这一点 我在项目 wiki javadocs 上找不到执行此操作的方法 如果没有办法做到这一点 是否有其他软件可以让我做到这一点 更新答案

  • 使用四舍五入毫秒从时间戳获取格式化日期 Bash Shell 脚本

    我需要获取特定格式的日期 但不知道该怎么做 这是我目前获取日期的方法 date r timestamp Y m dT H M S s 然而问题是毫秒对于我需要的格式来说有太多数字 我需要将毫秒限制为 3 位数字 知道我该怎么做这样的事情吗

  • 如何使图像表现得像文件输入？

    单击默认照片时 用户应该从计算机中选择一个文件 而不是制作一个文件input type file 这使得用户首先单击浏览按钮而不是选择文件 用户应直接单击默认照片 然后会出现一个文件选择窗口

  • Objective-c：NSString 到枚举

    所以 我有这样的定义 typedef enum red 1 blue 2 white 3 car colors 然后 我有一个 car colors 类型的变量 car colors myCar 问题是 我在 NSString 中收到汽车的

  • 错误类型错误：无法设置未定义的属性“分页器”

    我正在使用表格角度材料创建表格 作为参考 我正在使用这个例子https material angular io components table examples https material angular io components t

  • 如何在 Android 中通过 POST 请求查询 Web 服务？

    我完全陌生网络要素服务 WFS http en wikipedia org wiki Web Feature Service但我想构建一个 Android 应用程序ksoap2 android http code google com p

  • Spark 应用程序如何使用 sbt run 启动。

    我实际上想知道当我执行时这是如何发生的底层机制sbt runSpark 应用程序启动 这与在独立模式下运行 Spark 然后使用 Spark Submit 部署应用程序有什么区别 如果有人可以解释如何提交 jar 以及谁创建任务并在这两种情

热门标签