我尝试在 Ubuntu 16.04 的 Ubuntu VM 上安装和构建 Spark 2.0.0,如下所示:
-
安装Java
sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
-
安装Scala
转到其网站上的“下载”选项卡:scala-lang.org/download/all.html
我使用的是 Scala 2.11.8。
sudo mkdir /usr/local/src/scala
sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/
修改.bashrc
文件并包含 scala 的路径:
export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
然后输入:
. .bashrc
-
安装git
sudo apt-get install git
-
下载并构建 Spark
Go to: http://spark.apache.org/downloads.html http://spark.apache.org/downloads.html
下载 Spark 2.0.0(从源代码构建 - 用于独立模式)。
tar -xvf spark-2.0.0.tgz
cd into the Spark folder (that has been extracted).
现在输入:
./build/sbt assembly
安装完成后,我收到消息:
[成功] 总时间:1940s,已完成...
接下来是日期和时间...
-
运行 Spark shell
bin/spark-shell
就在那时,一切都崩溃了,我开始收到错误。我进入程序集文件夹查找名为 target 的文件夹。但那里没有这样的文件夹。程序集中唯一可见的内容是:pom.xml、README 和 src。
我在网上查了很长一段时间,但找不到一个可以帮助解决该错误的具体解决方案。有人可以提供关于如何解决这个问题的明确的分步说明吗?!?它现在让我发疯......(T.T)
错误截图:
由于某种原因,Scala 2.11.8 在构建时运行不佳,但如果我切换到 Scala 2.10.6,则它可以正常构建。我想我首先需要 Scala 的原因是为了能够访问 sbt 来构建 Spark。构建完成后,我需要将自己引导到 Spark 文件夹并输入:
build/sbt package
这将使用 Scala 2.11 为我构建丢失的 JAR 文件...有点奇怪,但这就是它的工作原理(我假设通过查看日志)。
一旦 Spark 再次构建,输入: bin/spark-shell (在 Spark 文件夹中),您将可以访问 Spark shell。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)