当我想要运行 SparkPi 示例时,我收到此错误。
beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Error: Master must start with yarn, spark, mesos, or local
Run with --help for usage help or --verbose for debug output
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
我也已经通过另一个终端启动了我的主人
>./sbin/start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /home/beyhan/spark-1.2.0-bin-hadoop2.4/sbin/../logs/spark-beyhan-org.apache.spark.deploy.master.Master-1-beyhan.out
有什么建议吗?
谢谢。
下载并解压 Spark:
$ cd ~/Downloads
$ wget -c http://archive.apache.org/dist/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz
$ cd /tmp
$ tar zxf ~/Downloads/spark-1.2.0-bin-hadoop2.4.tgz
$ cd spark-1.2.0-bin-hadoop2.4/
启动大师:
$ sbin/start-master.sh
从上面命令打印的文件中的日志中查找 master 的 URL。假设 master 是:spark://ego-server:7077
在这种情况下,您还可以通过访问以下 URL 找到您的主 URL:http://localhost-8080.com/ http://localhost:8080/
启动一个slave,并将其连接到master:
$ sbin/start-slave.sh --master spark://ego-server:7077
确保 master 启动并运行的另一种方法是启动绑定到该 master 的 shell:
$ bin/spark-submit --master "spark://ego-server:7077"
如果你得到一个火花壳,那么一切看起来都很好。
现在执行你的工作:
$ find . -name "spark-example*jar"
./lib/spark-examples-1.2.0-hadoop2.4.0.jar
$ bin/spark-submit --master "spark://ego-server:7077" --class org.apache.spark.examples.SparkPi ./lib/spark-examples-1.2.0-hadoop2.4.0.jar
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)