在 Windows 上安装 Apache Spark

2024-04-30

我需要安装阿帕奇火花 http://spark.apache.org/在 Windows 机器上。根据文档,我应该在我的机器上安装 sbt,并覆盖其默认选项以使用最大 2G RAM。

经过多次尝试后,我决定选择 maven (我覆盖了默认选项以使用 512MB)并且我可以运行mvn compile开始下载一些依赖项,直到到达 Zinc 服务器。它说 Zinc 服务器没有在端口 8080 上运行,maven 构建失败。

我需要在本地安装 Zinc 服务器并将其添加到 Windows 路径吗?我可以在没有服务器的情况下编译我的项目吗?


我刚刚开始学习 Apache Spark,所以我可能离有效答案还很远。它在 Mac OS X 上对我有用,所以你的情况可能会有所不同。

构建过程描述于Building http://spark.apache.org/docs/latest/:

Spark 使用与其捆绑在一起的 Simple Build Tool。编译 代码,进入Spark顶级目录并运行

sbt/sbt assembly

我没有更改默认的构建设置来进行组装。

昨天的构建来自来源:

jacek:~/oss/spark
$ sbt/sbt assembly
...
[success] Total time: 3632 s, completed May 6, 2014 2:39:07 AM

今天的构建是从带有一些环境变量的源代码开始的,这些环境变量向最终的程序集中添加了一些其他模块:

jacek:~/oss/spark
$ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly
...
[success] Total time: 4564 s, completed May 7, 2014 1:49:56 AM
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 Windows 上安装 Apache Spark 的相关文章

随机推荐