程序员经验分享-hwhale

Spark Driver 内存计算

2024-03-22

我知道如何计算执行器核心和内存。但是谁能解释一下spark.driver.memory是根据什么计算的？


操作于Dataset比如collect take需要将所有数据移至应用程序的驱动程序进程中，并且在非常大的数据集上执行此操作可能会导致驱动程序进程崩溃并出现 OutOfMemoryError。

你增加spark.driver.memory当您向司机收集大量货物时。

As per

霍尔顿·卡劳 (Holden Karau) 和雷切尔·沃伦 (Rachel Warren) 的高性能 Spark (O’Reilly)

Spark 查询的大部分计算工作是由 执行器，因此增加驱动程序的大小很少会加速 计算。但是，如果作业收集太多数据，则可能会失败 驱动程序或执行大型本地计算。因此，增加 驱动程序内存和相应的值spark.driver.maxResultSize可以防止内存不足错误 司机。

设置 Spark 驱动程序内存的一个很好的启发方法就是 不会导致内存错误的最低可能值 驱动程序，即为驱动程序提供最大可能的资源 执行者。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachespark

memory

memorymanagement

Driver

executor

Spark Driver 内存计算 的相关文章

随机推荐

  • JavaScript 变量作用域 [重复]

    这个问题在这里已经有答案了 我的一些 JavaScript 代码有问题 Script setTimeout function for var i 0 i lt 5 i setTimeout function console log i i

  • Swift 和变异结构

    当谈到 Swift 中的值类型变化时 我并不完全理解 正如 Swift 编程语言 iBook 中所述 默认情况下 无法从其实例方法中修改值类型的属性 为了使这成为可能 我们可以用mutating结构体和枚举中的关键字 我不完全清楚的是 您可

  • 如何使用 C# 以编程方式复制 MS SQL 2000 数据库？

    我需要使用 C VS 2005 将多个表从一个数据库复制到 SQL Server 2000 中的另一个数据库 该调用需要参数化 我需要能够传入我要将这些表复制到的数据库的名称 我可以使用带参数的 DTS 但我找不到任何从 C 执行此操作的示

  • 以 EXCEL 格式导出 HP Fortify SCA 4.10 结果

    我使用 HP Fortify SCA 4 10 进行扫描 现在我想将原始结果导出为 Excel 格式以进行数据处理以生成数据透视表 任何人都可以建议一个简单或困难的方法来做到这一点 引用此 url 获取 DB 脚本以获取 EXCEL 格式

  • 与小写变量名称匹配的 Scala 模式

    我发现当使用模式匹配与替代项 对于字符串 时 Scala 接受以大写字母开头的变量 在下面的示例中 MyValue1 and MyValue2 但不是以小写字母 myValue1 myValue2 这是 Scala 的错误还是功能 我在 2

  • 避免嵌入式目标上的虚拟函数

    我有一个class Player从由许多相等的块组成的大内存块中回放数据 typedef char chunk t 100 typedef struct chunk t data 100 blockOfMemory t 理论上 播放器本身可

  • 如何在不使用Tensorboard的情况下在Tensorflow中绘制损失曲线？

    嘿 我是 Tensorflow 新手 我使用 DNN 来训练模型 我想绘制损失曲线 但是 我不想使用 Tensorboard 因为我对此并不熟悉 我想知道是否可以提取每个步骤中的损失信息并使用其他绘图包或 scikit learn 绘制它

  • 没有重复子项的树

    Using anytree https pypi python org pypi anytree我制作了这样的树 A B C D F B C E G 有没有办法删除所有重复的子级并将其变成下面的树 对所有可能级别的子级进行递归 A B C

  • Android：如何重置发布版本的 resConfigs？

    为了让开发更快 我想做以下事情 android defaultConfig resConfigs en 我的应用程序有多种语言 这样做可以在开发时节省大量时间 但是 我不想发布包含此集的版本 很遗憾 resConfigs不适用于产品口味或构

  • 如何使用管道分隔符导出到 .csv

    我使用 Google Sheets 电子表格 来合并我的 Gambio 商店的不同来源的文章数据 要导入数据 我需要在 csv 文件中使用管道符号作为分隔符 分隔符 并使用 作为文本分隔符 在用于导出到 csv 的 Google 表格菜单中

  • 我可以在 POSTMAN 中发送二维数组作为参数吗？

    我需要在 POSTMAN 中将参数作为对象数组发送 array field1 html field2 5 field1 css field2 3 我知道数组必须发送为array 但如何将数组中的一项设置为对象呢 我试过这个 array fi

  • 一次播放多个声音？

    我在一个视图上有 6 个声音 然而我想要它 这样我就可以一次播放多个声音 所以你点击声音 1 声音 1 正在播放 然后声音 2 播放 当声音 1 仍在播放时 但此时我按声音1 声音1播放 按声音2 声音2播放 但声音1停止 这是音频部分的代

  • 当我们有 LinkedBlockingQueue 时，为什么还要使用 ConcurrentLinkedQueue？

    我为什么要使用ConcurrentLinkedQueue当我有LinkedBlockingQueue 我知道ConcurrentLinkedQueue是非阻塞的但是LinkedBlockingQueue可以作为ConcurrentLinke

  • 适用于 Windows 的命令行对话框工具

    我需要一个类似于 cdialog 或whiptail 的对话框工具 但可以在 Windows 上运行 我有 MinGW 从源代码编译一些东西是没有问题的 但据我所知 cdialog 和 Whiptail 都包含特定于 UNIX 的代码 因此

  • Spring Boot不加载静态资源

    有很多关于 spring boot 不加载静态资源的问题 并且读完它们 几乎 后我仍然无法解决这个问题 在这个阶段 我选择不使用 Spring Boot 运行 但我仍然想知道问题是什么 我正在使用 Eclipse Java 8 和 Mave

  • 使用 VLC 将文件流式传输为 RTSP

    我需要创建一个可以将 mp3 文件流式传输到另一个设备的服务器 我打算使用 VLC 我查看了 VLC 文档 并对执行此操作的前进方向感到困惑 我找到了这个链接 http www videolan org doc streaming howt

  • T-SQL 到 XML - 每个属性的多个值可以在自己的行中列出吗？

    我目前正在使用 T SQL 将一些数据转换为 XML 我需要在自己的行上列出属性的值 由于某种原因 T SQL 到 XML 不断将值连接在同一行上 示例代码 SELECT Fruits AS Attribute name Apple AS

  • jQuery 中的triggerHandler 与触发器

    出于好奇 jQuery 的目的 用例是什么triggerHandler 据我所知 两者之间唯一 真正 的区别trigger and triggerHandler是本机事件是否触发 以及事件冒泡行为 尽管triggerHandler的冒泡行为

  • RUBY - SSL、基本身份验证和 POST

    我对此感到相当困难 似乎有一些代码片段我似乎无法拼凑在一起 我只是想发布键 值对 但是得到Connection refused connect 2 Errno ECONNREFUSED Help require net http requi

  • Spark Driver 内存计算

    我知道如何计算执行器核心和内存 但是谁能解释一下spark driver memory是根据什么计算的 操作于Dataset比如collect take需要将所有数据移至应用程序的驱动程序进程中 并且在非常大的数据集上执行此操作可能会导致驱

热门标签