程序员经验分享-hwhale

spark-submit 碰到 Spark-submit:System memory 466092032 must be at least 471859200

2023-11-02

在利用spark进行分布式计算时，

/home/hadoop/spark/spark-2.4.0-bin-hadoop2.7/bin/spark-submit 
							--master=yarn  
							 ALS.py

以上代码是在centos7，利用spark集群运行ALS.py代码，结果出现报错：
Spark-submit:System memory 466092032 must be at least 471859200 报错，根据提示让设置-deriver-memory
,之后将运行代码更改为`

/home/hadoop/spark/spark-2.4.0-bin-hadoop2.7/bin/spark-submit 
						--master=yarn  
						--deriver-memory=2G  
						ALS.py

结果仍然报相同的错误。
经过摸索，最终通过设置–driver-java-options参数，成功解决问题

/home/hadoop/spark/spark-2.4.0-bin-hadoop2.7/bin/spark-submit 
					--master=yarn 
					--driver-java-options "-Dspark.testing.memory=1073741824" 
					--deploy-mode 
					client  ALS.py

状态栏也显示正确
网页查询结果

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

随笔

spark-submit 碰到 Spark-submit:System memory 466092032 must be at least 471859200 的相关文章

  • java使用ffmpeg实现视频切割

    因为公司项目的部分需求 需要将已经录制好的视频 从固定时间开始截取 到固定时间结束 并且将视频截取成相对平均的若干段视频 目前demo实现了 后续还会继续优化 在视频截取的时候 从关键帧开始或结束 1 首先需要安装FFmpeg 2 直接上代

  • 如何快速建立一个优秀的账号体系

    在2014年下半年开始 只支持第三方账号登陆的应用在提交苹果的appstore审核的时候被拒绝 拒信如下 If we chose to log in with 微信 we were required toinstall 微信 before

  • n个结点的无向完全图的生成树的个数

    头部闲扯 今天闲来在google搜了一下cantjie 突然发现我的博客竟然被引用过 很是惊讶 因为虽然仅仅只是过去一年 我现在看我去年写的博客 就有种 这写的什么垃圾玩意 的感觉 没想到竟然也会有人浏览并引用我的博客 想来这个博客闲置一年

  • Ubuntu18+ 使用redshift调色温 夜间闪烁

    问题描述 在Ubuntu 18 的系统上 使用redshift色温调节软件时 每到晚上 在切换软件时 还有其他奇怪的场景中 屏幕会有频闪现象 症状看来就像redshift反复开启和关闭 原因与解决方案 原因很可能是Ubuntu 18 的系统

  • git 远程删除不需要的文件

    git clone git 192 168 2 246 dev ncrm git 23 find name target 24 find name target xargs rm rf 25 find name target 26 git

  • 【狂神Java学习笔记】Java基础

    狂神Java学习笔记 Java基础 参考网址 https www bilibili com video BV12J41137hu 一 注释 单行注释 多行注释 文档注释 用于生产说明文档 二 标识符和关键字 1 标识符概念 在java程序中

  • WinEdt 31天试用期到期解决方案

    WinEdt 在试用期过后 会频繁出现 WinEdt s trial period of 31 days has elapsed 的提示窗口 解决方案 修改脚本Exit edt 从Options Options Interface Adva

  • 秒传的原理

    在本文中 我们将介绍网盘秒传的基本原理和实现方法 以及秒传的优缺点和应用场景 网盘秒传的基本原理 网盘秒传的基本原理是利用哈希算法 如MD5或SHA 1 对文件进行特征值提取 然后与服务器上已有的文件特征值进行比对 如果发现相同的特征值 就

  • C++ 捕捉 crash 信号（win&Linux）

    目录 Win 函数说明 具体例子 Linux 具体例子 作为一个程序员 必现的 bug 容易排查 最怕遇见非必现 bug 尤其是那种在自己环境上测多少次都没问题 到用户环境偶尔会 crash 无从下手 让人瞬间抓狂 并且像这种非必现 bug

  • 2021-＞2022

    也就随便写写了 记得去年的年终和期望目标 我写了好多个方面的自我剖析 可能大概有三四千字吧 再回去看看 还是水了一些 这很正常 大多数人都是这样的 况且我比较佛系 复盘还是要的 期望还是要提的 虽然明知一年过后 可能达成的不多 但这也是一次

  • Python使用os.path.join只保留最后一个变量的原因

    在使用Python的os path join a path bbb ccc 来合并路径时 合并的结果如果只保留了最后的 ccc 是因为最后的一个变量名包含了斜杠 函数会将其识别成绝对路径 因此就会忽略前面所以的其他路径

  • Linux Debian上快速安装Docker并运行

    要在Debian上安装Docker 可以按照以下步骤进行 更新系统软件包 在终端中执行以下命令 更新系统软件包 sudo apt get update 安装依赖包 在终端中执行以下命令 安装Docker需要的依赖包 sudo apt get

  • slice+append陷阱

    1 前言 今天在网上看slice扩容原理 偶然看到一个slice的题目 感觉很有意思 题目如下 package main import fmt func main s1 int 1 2 s2 s1 s2 append s2 3 Test1

  • 随笔之---java版本哲学家就餐问题【信号量的实现】

    很喜欢这样的描述如果你喜欢也不防读一读 从许多许多年前 石头就呆在那座岭上了 那是座无名的低岭 毫不起眼 没有足以称道的风景名胜 那块石头只是许多石头中的一颗 见证过日升日落 经历过沧海桑田 承受四季变迁 黄河水数度从它的身上淹没而过 人群

  • 【话题】感觉和身边其他人有差距怎么办？也许自我调整很重要

    每个人能力有限 水平高低不同 我们身在大环境里 虽然在同一个起跑线上 但是时间久了 你会发现 并越来越感觉到和身边其他人有了差距 慢慢的会有一定的落差感 怎么办呢 通过此篇文章我们来简单聊聊 目录 一 焦虑怎么办 1 接受自己的不完美 2

  • 蓝牙协议规范--L2CAP

    L2CAP 分析 记住一点 软件和硬件分开理解 数据经由物理通道交互 上层通道由各层协议打通 L2CAP 全称为逻辑链路控制与适配协议 Logical Link Control and Adaptation Protocol 位于基带层之上

  • 瞎写

    有人说人生有两大禁忌 一忌踌躇满志 一忌心灰意冷 别人我不知道 但是对我来说 似乎一直都在这两种情绪之间跳转 说实话写这篇文章的此时我应该是处于心灰意冷这个点的 下面就随便说说当处于这个点时 自己产生的一些想法 首先 处于这个状态时整个人肯

  • 不能不熬夜了

    我知道 熬夜不好 但是 现在 白天单位被鸟事所忙 没事磨洋工也得装个样子 看不了程序了 所以 只能把工作当作工作外 把业余当作工作了 况且 家庭压力太大

  • 成功解决 vscode远程调试python

    welcome to my blog 微软新出的插件 非常方便远程调试 不需要改动代码 简单9步 配置远程调试环境 第一步 按ctrl shift x 输入remote development 安装 第二步 按ctrl shift p 输入

  • 同一无线络下电脑会打不开个别的网站网页，而手机却可以打开。

    今天打开一个CSDN博客链接 等了好长时间却打不开 后来还发现新浪微博也打不开 昨天还可以 今天就不行了 我的笔记本也没动什么特别的东西 然后我就分析原因 一 首先我的网友可以打开我打不开的这两个链接 相当于打不开链接的代表 说明网站是可以

随机推荐

热门标签