我在用着Spark独立模式 https://spark.apache.org/docs/latest/spark-standalone.html以独立模式安装 Spark 的教程页面。
1-我通过以下方式开始了大师生涯：
./sbin/start-master.sh
2-我通过以下方式启动了一名工人：
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://ubuntu:7077
Note: spark://ubuntu:7077是我的主人名字，我可以在其中看到它Master-WebUI.
Problem:通过第二条命令，worker 成功启动。但它无法与主人交往。它反复尝试，然后给出以下消息：
15/02/08 11:30:04 WARN Remoting: Tried to associate with unreachable remote address [akka.tcp://sparkMaster@ubuntu:7077]. Address is now gated for 5000 ms, all messages to this address will be delivered to dead letters. Reason: Connection refused: ubuntu/127.0.1.1:7077
15/02/08 11:30:04 INFO RemoteActorRefProvider$RemoteDeadLetterActorRef: Message [org.apache.spark.deploy.DeployMessages$RegisterWorker] from Actor[akka://sparkWorker/user/Worker#-1296628173] to Actor[akka://sparkWorker/deadLetters] was not delivered. [20] dead letters encountered. This logging can be turned off or adjusted with configuration settings 'akka.log-dead-letters' and 'akka.log-dead-letters-during-shutdown'.
15/02/08 11:31:15 ERROR Worker: All masters are unresponsive! Giving up.
问题是什么？
Thanks
我通常从Spark-env.sh https://github.com/apache/spark/blob/master/conf/spark-env.sh.template模板。我设置了我需要的属性。对于简单集群，您需要：
然后，在与spark-env.sh和slaves ip相同的目录中创建一个名为“slaves”的文件（每行一个）。确保您通过 ssh 到达所有从站。
最后，复制此配置在集群的每台机器上。然后执行start-all.sh脚本启动整个集群并尝试spark-shell来检查您的配置。
> sbin/start-all.sh
> bin/spark-shell
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
