我需要安装阿帕奇火花 http://spark.apache.org/在 Windows 机器上。根据文档,我应该在我的机器上安装 sbt,并覆盖其默认选项以使用最大 2G RAM。
经过多次尝试后,我决定选择 maven (我覆盖了默认选项以使用 512MB)并且我可以运行mvn compile
开始下载一些依赖项,直到到达 Zinc 服务器。它说 Zinc 服务器没有在端口 8080 上运行,maven 构建失败。
我需要在本地安装 Zinc 服务器并将其添加到 Windows 路径吗?我可以在没有服务器的情况下编译我的项目吗?
我刚刚开始学习 Apache Spark,所以我可能离有效答案还很远。它在 Mac OS X 上对我有用,所以你的情况可能会有所不同。
构建过程描述于Building http://spark.apache.org/docs/latest/:
Spark 使用与其捆绑在一起的 Simple Build Tool。编译
代码,进入Spark顶级目录并运行
sbt/sbt assembly
我没有更改默认的构建设置来进行组装。
昨天的构建来自来源:
jacek:~/oss/spark
$ sbt/sbt assembly
...
[success] Total time: 3632 s, completed May 6, 2014 2:39:07 AM
今天的构建是从带有一些环境变量的源代码开始的,这些环境变量向最终的程序集中添加了一些其他模块:
jacek:~/oss/spark
$ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly
...
[success] Total time: 4564 s, completed May 7, 2014 1:49:56 AM
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)