输入spark-shell时找不到spark提交

2024-07-03

我一直在按照本教程为 scala 安装 Spark:https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm

然而,当我尝试跑步时spark-shell我在控制台中收到此错误。

/usr/local/spark/bin/spark-shell: line 57: /usr/local/spark/bin/bin/spark-submit: No such file or directory

我的 bashrc 看起来像这样:

export PATH = $PATH:/usr/local/spark/bin
export SCALA_HOME=/usr/local/scala/bin
export PYTHONPATH=$SPARK_HOME/python

那么我错了什么?我之前为 python 安装了 Spark,但现在我尝试使用 scala。 Spark 是否混淆了变量?谢谢。


你有一个bin它正在搜索的路径中太多:

/usr/local/spark/bin/bin/spark-submit

应该

/usr/local/spark/bin/spark-submit

The SPARK_HOME应该/usr/local/spark/就你而言,不是/usr/local/spark/bin/现在看来就是这样。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

输入spark-shell时找不到spark提交 的相关文章

  • 以与 Bash 相同的方式转义文件名

    当我使用 tab 键时bash 当您开始输入文件名并希望其完成时 bash正确转义文件名 如果我完全使用 转义 文件名 它就可以工作 例如 An Beat Mentally Insine Original Mix mp3 gt 之后bash
  • “source script.sh”和“./script.sh”有什么区别?

    有什么区别source
  • 在 docker 容器内挂载 cgroup

    我对一个遵循流程模型的组件进行了 Docker 化 主进程多次分叉自身 我想在 docker 容器内建立一个 cgroup 层次结构 以根据每个进程改变 CPU 和内存限制 有没有一种方法可以在不使用 privileged 或 CAP SY
  • 在启用 NX (DEP) 和 ASLR 的 x86-64 上利用基于字符串的溢出

    考虑以下易受攻击的代码 程序 include
  • Scala 转换为变量类型

    我有以下代码要投射value的类型default def fct T value Any default T T val result value asInstanceOf T println result result getClass
  • 是否可以写一个不可变的双向链表?

    我觉得问这个问题有点愚蠢 但我目前正在学习函数式编程并完成了创建单链表的练习 这让我开始思考 是否有可能创建一个不可变的双链表 假设列表 A B 在构造时 A 需要了解 B 但 B 也需要了解 A 我一直在 Scala 中这样做 所以我不确
  • 被杀死的进程/线程会释放互斥锁吗?

    多个进程访问共享内存 并使用互斥体锁定它pthread mutex lock 为了同步 每个进程都可以随时被杀死 事实上我描述过php fpm with APC扩展 但这并不重要 如果进程锁定互斥锁然后被杀死 互斥锁会自动解锁吗 或者有什么
  • 如何迭代scalawrappedArray? (火花)

    我执行以下操作 val tempDict sqlContext sql select words pName token collect set words pID as docids from words group by words p
  • CPU缓存抑制

    假设我有事实上的标准 x86 CPU 具有 3 级高速缓存 L1 L2 专用和 L3 在内核之间共享 有没有一种方法可以分配共享内存 其数据不会缓存在L1 L2私有缓存上 而只会缓存在L3上 我不想从内存中获取数据 这成本太高 但我想尝试一
  • 如何将 JavaPairRDD 转换为数据集?

    SparkSession createDataset 只允许List RDD or Seq 但不支持JavaPairRDD 所以如果我有一个JavaPairRDD
  • 如何让 Squeryl 与 Play 一起使用!框架?

    我正在尝试学习如何使用 Play 和 Squeryl 制作一个简单的数据库应用程序 我已经根据 Play 教程制作了任务应用程序 但我想更改模型 架构 以便它使用 Squeryl 而不是 Anorm 我一直在寻找不同的教程 http squ
  • 如何使用ansible输入私钥密码

    我有流浪者virtual machine跑步 I can ssh进入它使用ssh email protected cdn cgi l email protection然后它会询问我私钥的密码 我可以输入该密码 然后它就会让我登录 但如果我使
  • 使用 Scala IDE 自动完成功能时 Eclipse 中出现错误

    使用 Scala IDE 的 Eclipse 中的自动完成 ctrl space 失败 并出现以下错误 An internal error occurred during Computing additional info org ecli
  • UIManager字体设置

    font new Font San Serif Font PLAIN 24 val keys UIManager getDefaults keys while keys hasMoreElements val key keys nextEl
  • Boost Asio 的主机名解析在 Linux 上如何工作?可以使用NSS吗?

    当没有网络连接时 我试图使我的网络应用程序在本地工作 服务器和客户端在同一台计算机上运行 这似乎偶尔 有效 但大多数时候我都会得到 terminate called after throwing an instance of boost e
  • Linux 共享库中缺少函数

    我支持一个 Linux 程序 该程序允许用户编写自己的基于 so 文件的插件 这些插件在运行时使用 dlopen 加载 有时 用户会忘记在 makefile 中包含包含必要函数定义的 C 文件 当插件管理器使用 dlsym 从依赖于这些缺失
  • 在 Scala 中指定 lambda 返回类型

    注意 这是一个理论问题 我并不是试图解决任何问题 也不是试图达到任何实际效果 在 Scala 中创建 lambda 时使用 arguments gt expression语法 可以显式提供返回类型吗 Lambda 与方法没有什么不同 它们都
  • 检查范围是否包含 Scala 中的值的通用方法

    我想编写一个通用类来保存范围的端点 但通用版本会出现编译错误 value gt is not a member of type parameter A final case class MinMax A lt Comparable A mi
  • 如何将编码器作为参数传递给数据帧的 as 方法

    我想通过使用不同的案例类将 dataFrame 转换为 dataSet 现在 我的代码如下所示 case Class Views views Double case Class Clicks clicks Double def conver
  • ICMP 套接字(Linux)

    IP协议下可以使用ICMP套接字吗 也许是这样的 socket PF INET

随机推荐

  • Hibernate 中的多重映射

    我需要一个将条目存储为键值对的集合 以便我可以通过键查找值 但我需要一个允许多个值使用 hibernate 共享同一键的集合 一个键具有多个值的映射称为多重映射 Apache commons 库中有一个实现 Hibernate 不直接支持这
  • 所有 WPF 控件属性都是依赖属性。对或错?

    回答的同时this https stackoverflow com questions 3767410 what are the reasons scenarios for properties like displaymemberpath
  • 所有 WPF 控件属性都是依赖属性。对或错?

    回答的同时this https stackoverflow com questions 3767410 what are the reasons scenarios for properties like displaymemberpath
  • 如何使用 vscode 查看和浏览 Rails 中的函数列表?

    我有视觉工作室代码 如何查看和浏览功能列表rails 我在 大纲视图 中没有看到任何方法 另外 当我使用ctrl shift o 我收到以下消息 活动文本编辑器不提供符号信息 是否有需要安装的扩展 或者是设置里的什么东西 请参阅此处有关可能
  • 如何使用 vscode 查看和浏览 Rails 中的函数列表?

    我有视觉工作室代码 如何查看和浏览功能列表rails 我在 大纲视图 中没有看到任何方法 另外 当我使用ctrl shift o 我收到以下消息 活动文本编辑器不提供符号信息 是否有需要安装的扩展 或者是设置里的什么东西 请参阅此处有关可能
  • Mac OS X R 错误“ld:警告:找不到选项的目录”

    我正在尝试从源代码安装 R 包 但出现错误 installing source package mclust package mclust successfully unpacked and MD5 sums checked libs gf
  • Mac OS X R 错误“ld:警告:找不到选项的目录”

    我正在尝试从源代码安装 R 包 但出现错误 installing source package mclust package mclust successfully unpacked and MD5 sums checked libs gf
  • 角度自动完成对象

    我正在努力了解如何在使用对象时使用角度材质自动完成 我基本上遵循 Angular 文档 只是用选项对象替换了选项数组 但我不确定如何让它工作 介意来这里看看吗 如果问题在其他地方有很多答案 我会删除该问题 这是我的 html 和 ts 组件
  • 角度自动完成对象

    我正在努力了解如何在使用对象时使用角度材质自动完成 我基本上遵循 Angular 文档 只是用选项对象替换了选项数组 但我不确定如何让它工作 介意来这里看看吗 如果问题在其他地方有很多答案 我会删除该问题 这是我的 html 和 ts 组件
  • 带有 Jackson 异常的序列化和反序列化

    JSON 嵌套类数据绑定 https stackoverflow com questions 14038084 json nest class data binding正如答案所示 当我序列化和反序列化容器时 我得到了这个异常 Caused
  • 带有 Jackson 异常的序列化和反序列化

    JSON 嵌套类数据绑定 https stackoverflow com questions 14038084 json nest class data binding正如答案所示 当我序列化和反序列化容器时 我得到了这个异常 Caused
  • Hsqldb 单引号字符

    如何向 Hsqldb 表插入单引号字符 转义字符无法解决该问题 有两种方法 使用两个单引号 例如INSERT INTO T VALUES escap d 使用 Unicode 字符串 它可以包含 Unicode 转义符 例如INSERT I
  • Hsqldb 单引号字符

    如何向 Hsqldb 表插入单引号字符 转义字符无法解决该问题 有两种方法 使用两个单引号 例如INSERT INTO T VALUES escap d 使用 Unicode 字符串 它可以包含 Unicode 转义符 例如INSERT I
  • 对象数组上的 Javascript 数组长度不正确

    有人可以解释这种 奇怪的 行为吗 为什么第一个示例中的长度是 3 而不是 2 最重要的是 为什么第二个示例中的长度是 0 只要键是数字 长度就有效 如果不是 则长度为 0 如何从第二个示例中获得正确的长度 谢谢 a a 1 string1
  • 对象数组上的 Javascript 数组长度不正确

    有人可以解释这种 奇怪的 行为吗 为什么第一个示例中的长度是 3 而不是 2 最重要的是 为什么第二个示例中的长度是 0 只要键是数字 长度就有效 如果不是 则长度为 0 如何从第二个示例中获得正确的长度 谢谢 a a 1 string1
  • 强制从私有注册表下载 npm

    在我的 Nodejs 项目中 我必须修改 4 个节点模块并将它们上传到我们的私人公司注册表 以便该项目将在构建期间下载修改后的版本 我通过改变来做到这一点resolved领域在package lock json对于我们的虚拟 npm 注册表
  • 强制从私有注册表下载 npm

    在我的 Nodejs 项目中 我必须修改 4 个节点模块并将它们上传到我们的私人公司注册表 以便该项目将在构建期间下载修改后的版本 我通过改变来做到这一点resolved领域在package lock json对于我们的虚拟 npm 注册表
  • Flutter - 在容器中显示相机/条形码扫描仪

    我想将相机功能存储在一个单独的容器中 如标题所示 这意味着 如果相机启动 它仅显示在红色容器中 此时我该如何实现这一点 我的屏幕图片 https i stack imgur com R5INL jpg https i stack imgur
  • Flutter - 在容器中显示相机/条形码扫描仪

    我想将相机功能存储在一个单独的容器中 如标题所示 这意味着 如果相机启动 它仅显示在红色容器中 此时我该如何实现这一点 我的屏幕图片 https i stack imgur com R5INL jpg https i stack imgur
  • 输入spark-shell时找不到spark提交

    我一直在按照本教程为 scala 安装 Spark https www tutorialspoint com apache spark apache spark installation htm https www tutorialspoi