我一直在尝试使用安装sparktutorial http://blog.prabeeshk.com/blog/2014/10/31/install-apache-spark-on-ubuntu-14-dot-04/每次运行命令 sbt/sbt assembly 时,都会收到错误“错误:无效或损坏的 jarfile sbt/sbt-launch-0.13.5.jar”
我已经尝试了一切:将sbt文件单独添加到spark文件夹中的sbt文件夹中,单独安装sbt,检查下载并重新安装,但没有成功。关于我做错了什么有什么建议吗?谢谢。
好吧,经过一段时间的尝试,我终于明白了,希望这对你也有用。该教程构建了 Spark,他们确实提供了预构建的二进制文件。我使用 Spark 1.2.0 只是作为注释(1.4.1 对我不起作用)
这是在 Ubuntu 15.04 上,但在 14.04 上应该同样有效
1) 从 bashrc 中删除以下行
export SCALA_HOME=/usr/local/src/scala/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH
2)删除并重新安装scala
sudo rm -rf /usr/local/src/scala
# The following line is only needed if you installed scala another way, if so remove the #
# sudo apt-get remove scala-library scala
wget http://www.scala-lang.org/files/archive/scala-2.11.7.deb
sudo dpkg -i scala-2.11.7.deb
sudo apt-get update
sudo apt-get install scala
3)下载PreBuilt火花和提取
wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
tar -xzvf spark-1.2.0-bin-hadoop2.4.tgz
4)运行spark-shell
cd spark-1.2.0-bin-hadoop2.4/
./bin/spark-shell
来源(基本上是我读过的地方,这个解决方案已经过反复试验)
https://chongyaorobin.wordpress.com/2015/07/01/step-by-step-of-installing-apache-spark-on-apache-hadoop/ https://chongyaorobin.wordpress.com/2015/07/01/step-by-step-of-installing-apache-spark-on-apache-hadoop/
https://gist.github.com/visenger/5496675 https://gist.github.com/visenger/5496675
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)