Spark WARN cluster.ClusterScheduler: Initial job has not accepted any resources;check your cluster

2023-11-05


当我在Spark集群模式执行以下命令时:

root@debian-master:/home/hadoop/spark-0.8.0-incubating-bin-hadoop1# ./run-example org.apache.spark.examples.SparkPi spark://master:7077

出现了这个错误: WARN cluster.ClusterScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

可能是你在运行的时候hosts写错了. ”root@debian-master :“说明主机的hostname是debian-master,所以解决方法是用正确的host名(实在不行用ip)执行程序:

root@debian-master:/home/hadoop/spark-0.8.0-incubating-bin-hadoop1# ./run-example org.apache.spark.examples.SparkPi spark://debian-master:7077




其他解决方法:


1,hosts和ip配置不正确

如果接收到异常为:


WARNYarnClientClusterScheduler: Initial job has not accepted any resources;check your cluster UI to ensure that workers are registered and havesufficient memory

 出现这个错误是因为提交任务的节点不能和spark工作节点交互,因为提交完任务后提交任务节点上会起一个进程,展示任务进度,大多端口为4044,工作节点需要反馈进度给该该端口,所以如果主机名或者IP在hosts中配置不正确,就会报

WARN YarnClientClusterScheduler: Initial job has not accepted anyresources; check your cluster UI to ensure that workers are registeredand have sufficient memory错误。
所以请检查主机名和IP是否配置正确。

>> original link




下面是我自己的host配置:

_____________________________________________________________________

root@debian-master:/home/hadoop/spark-0.8.0-incubating-bin-hadoop1# cat /etc/hosts

127.0.0.1    localhost
192.168.137.5    debian-master 
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

#hadoop
192.168.137.5 master   
192.168.137.6 slave1
192.168.137.7 slave2
192.168.137.6 debian-slave
192.168.137.7 hadoop-slave

root@debian-master:/home/hadoop/spark-0.8.0-incubating-bin-hadoop1# cat /etc/hostname
debian-master
root@debian-master:/home/hadoop/spark-0.8.0-incubating-bin-hadoop1#
_____________________________________________________________________



2. 内存不足

You get this when either the number of cores or amount of RAM (per node) you request via settingspark.cores.max andspark.executor.memoryresp' exceeds what is available. Therefore even if no one else is usingthe cluster, and you specify you want to use, say 100GB RAM per node,but your nodes can only support 90GB, then you will get this errormessage.

To be fair the message is vague in this situation, it would be more helpful if it said your exceeding the maximum.

>> original link


3.端口号被占用,之前的程序已运行。 

when you already start a spark_shell in another terminal , run a example you will get FAILED SelectChannelConnector@0.0.0.0:4040: java.net.BindException: Address already in use,finally ,you got the problem as title describe...

so ,just exit spark_shell

and run again !


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Spark WARN cluster.ClusterScheduler: Initial job has not accepted any resources;check your cluster 的相关文章

随机推荐

  • 蓝桥算法训练-拿金币

    问题描述 有一个N x N的方格 每一个格子都有一些金币 只要站在格子里就能拿到里面的金币 你站在最左上角的格子里 每次可以从一个格子走到它右边或下边的格子里 请问如何走才能拿到最多的金币 输入格式 第一行输入一个正整数n 以下n行描述该方
  • CentOS 7部署nginx 离线安装nginx 在线安装nginx(nginx安装详细教程)

    CentOS 7部署nginx 离线安装nginx 在线安装nginx nginx安装详细教程 文章目录 CentOS 7部署nginx 离线安装nginx 在线安装nginx nginx安装详细教程 1 联网安装nginx 2 离线安装N
  • 全面文档格式处理工具Aspose最新中文教程指南请查收!

    Aspose Total是一个完整的文档管理工具包 可让您创建 操作和转换各种Microsoft Office文档格式 PDF Web和图像格式 同时还使您可以处理电子邮件 OCR 3D和条形码等等 不仅如此 Aspose Total适用于
  • 记录一linux命令:xargs

    转自 http www sudu cn info html edu linux 20080102 290238 html xargs 大多数 Linux 命令都会产生输出 文件列表 字符串列表等 但如果要使用其他某个命令并将前一个命令的输出
  • 关于数据表空间问题总结

    oracle经常需要查数据库表空间大小 使用率 加表空间等 这里总结我经常使用的语句 一 数据表空间相关 查询所有表空间的使用情况 SELECT d tablespace name Name d status Status TO CHAR
  • 姓名编码查询

    内容较多 查找时请使用 ctrl F 组合键查找 本汉字代码表摘自 字符集和信息编码 国家标准汇编 中国标准出版社 1998年编 谢绝负责法 律责任 啊 1601 阿 1602 吖 6325 嗄 6436 腌 7571 锕 7925 埃 1
  • 测试如何转开发系列(四)

    囫囵吞枣法 是快速学习的核心方法 用最快的时间 把最主要知识点都学会 学习的第一步 选资料一定选择书籍 纸质的和电子书最合适 因为书籍相对内容更系统 而且内容更丰富 要选择基础入门的书籍 不要选择深入研究这种的 一深入就出不来了 深入就代表
  • 利用Vulnhub复现漏洞 - Jenkins-CI 远程代码执行漏洞(CVE-2017-1000353)

    Jenkins CI 远程代码执行漏洞 CVE 2017 1000353 Vulnhub官方复现教程 漏洞原理 复现过程 启动环境 漏洞复现 生成序列化字符串 发送数据包 执行命令 检验 Vulnhub官方复现教程 https vulhub
  • 【数据库】PostgreSQL增加密码复杂度校验

    前言 最近修改问题单 被分配了一个增加密码复杂度校验的单子 PG库也不是很懂 查了资料 PG有自带的密码复杂度校验插件 只需要使用这个插件就可以了 然后根据这几天的折腾 总结一下 怎么添加密码复杂度校验插件 PostgreSQL可以使用pa
  • 云计算与大数据第11章 大数据隐私保护习题带答案

    第11章 大数据隐私保护习题 11 1 选择题 1 以下 D 通常不是导致数据隐私泄露问题的来源 A 数据被肆意收集 B 数据集成融合 C 大数据分析 D DDOS攻击 2 以下 C 不是数据隐私保护的主要目标 A 机密性 B 完整性 C
  • 第38步 深度学习图像识别:VGG19建模(Tensorflow)

    基于WIN10的64位系统演示 一 写在前面 1 预训练模型和迁移学习 预训练模型就像是一个精心制作的省力工具 它是在大量的数据上进行训练 然后将学习到的模型参数保存下来 然后 我们可以直接使用这些参数 而不需要从头开始训练模型 这样可以节
  • PyTorch基础练习-task7(用PyTorch完成手写数字识别)

    PyTorch基础练习 task7 task7 import torch import numpy as np from torch autograd import Variable import torch nn as nn import
  • Vue全局注册组件的几种方式

    Vue全局注册组件的几种方式 1 extend vue js 代码 var com Vue extend template h1 这是第一种方式 h1 Vue component MyComponent com 此时的组件名为 MyComp
  • MySQL数据备份和恢复

    MySQL数据备份和恢复 数据备份 mysqldump是MySQL数据库备份工具 可以备份MySQL数据库中的数据和结构 生成 sql文件 方便数据的迁移和恢复 使用mysqldump工具前一定要配置环境变量 打开开始菜单 搜索 环境变量
  • 谷歌gn编译文件的使用简介

    Gn是什么 它是Google用来维护chromium项目的编译工具 现在相关的开源项目都基于gn来进行编译管理 目前一些大型系统的都会使用gn 例如谷歌 鸿蒙 Gn就是一个构建脚本生成器 是之前gyp的升级版本 并且gn是基于c 编写 效率
  • Python论文绘图利器seaborn.lineplot

    Python论文绘图利器seaborn lineplot 提示 前言 Python论文绘图利器seaborn lineplot 提示 写完文章后 目录可以自动生成 如何生成可参考右边的帮助文档 文章目录 Python论文绘图利器seabor
  • Java中的equals()方法

    equals 在哪里 首先我们知道Java中Object类是所有类的父类 它里面定义了equals 方法 public boolean equals Object obj return this obj 可以看到是使用 来进行比较的 那么
  • 20 个常用的 CSS 技巧

    Sandy 推荐 高级工程师 游戏开发 下面这几个CSS技巧你可能不知道 1 彩色照片变黑白 2 所有元素垂直居中 3 禁用鼠标 4 模糊文字 小编学完能量满满的 觉得对CSS又充满了爱 你也来看看 原文链接 http caibaojian
  • sql 关联了2张表的 update 语句(转)

    转自 SQL Update 使用一个表的数据更新另一张表 update 关联两个表 基本上 select 能支持的关联和子查询操作 都能在 update 语句中使用 在 where 条件中使用子查询 update a set a age 1
  • Spark WARN cluster.ClusterScheduler: Initial job has not accepted any resources;check your cluster

    当我在Spark集群模式执行以下命令时 root debian master home hadoop spark 0 8 0 incubating bin hadoop1 run example org apache spark examp