如何从下载 Spark 页面的源代码构建 Spark?

2024-01-07

我尝试在 Ubuntu 16.04 的 Ubuntu VM 上安装和构建 Spark 2.0.0,如下所示:

  1. 安装Java

    sudo apt-add-repository ppa:webupd8team/java
    sudo apt-get update       
    sudo apt-get install oracle-java8-installer
    
  2. 安装Scala

    转到其网站上的“下载”选项卡:scala-lang.org/download/all.html

    我使用的是 Scala 2.11.8。

    sudo mkdir /usr/local/src/scala
    sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/
    

    修改.bashrc文件并包含 scala 的路径:

    export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
    export PATH=$SCALA_HOME/bin:$PATH
    

    然后输入:

    . .bashrc
    
  3. 安装git

    sudo apt-get install git
    
  4. 下载并构建 Spark

    Go to: http://spark.apache.org/downloads.html http://spark.apache.org/downloads.html

    下载 Spark 2.0.0(从源代码构建 - 用于独立模式)。

    tar -xvf spark-2.0.0.tgz
    cd into the Spark folder (that has been extracted).
    

    现在输入:

    ./build/sbt assembly
    

    安装完成后,我收到消息:

    [成功] 总时间:1940s,已完成...

    接下来是日期和时间...

  5. 运行 Spark shell

    bin/spark-shell
    

就在那时,一切都崩溃了,我开始收到错误。我进入程序集文件夹查找名为 target 的文件夹。但那里没有这样的文件夹。程序集中唯一可见的内容是:pom.xml、README 和 src。

我在网上查了很长一段时间,但找不到一个可以帮助解决该错误的具体解决方案。有人可以提供关于如何解决这个问题的明确的分步说明吗?!?它现在让我发疯......(T.T)

错误截图:


由于某种原因,Scala 2.11.8 在构建时运行不佳,但如果我切换到 Scala 2.10.6,则它可以正常构建。我想我首先需要 Scala 的原因是为了能够访问 sbt 来构建 Spark。构建完成后,我需要将自己引导到 Spark 文件夹并输入:

build/sbt package

这将使用 Scala 2.11 为我构建丢失的 JAR 文件...有点奇怪,但这就是它的工作原理(我假设通过查看日志)。

一旦 Spark 再次构建,输入: bin/spark-shell (在 Spark 文件夹中),您将可以访问 Spark shell。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何从下载 Spark 页面的源代码构建 Spark? 的相关文章

随机推荐