在 Windows 10 或 7 中的 Apache Zeppelin 中运行 Spark 程序时出现错误

2023-12-13

我是 Apache Zeppelin 的新手。安装0.8.0并使用7000端口访问Zeppelin。配置了一些路径,如下所述。

JAVA_HOME:C:\ Program Files \ Java \ jdk1.8.0_144 HADOOP_HOME:C:\winutils ZEPPELIN_HOME: C:\zeppelin\zeppelin-0.8.0-bin-all\zeppelin-0.8.0-bin-all

所有这些变量都包含在路径变量和各自的 bin 文件夹中

尝试运行spark程序并收到以下错误。尝试了多种选项来修复它,但无法解决。请帮忙。

火花计划:%火花 println(sc.应用程序名称)

Error:DEBUG [2018-07-29 00:06:05,371] ({pool-2-thread-2} RemoteInterpreterManagedProcess.java[start]:153) - 回调服务器正在服务 信息 [2018-07-29 00:06:05,380] ({pool-2-thread-2} RemoteInterpreterManagedProcess.java[start]:190) - 运行解释器进程 [C:\zeppelin\zeppelin-0.8.0-bin- all\zeppelin-0.8.0-bin-all\bin\interpreter.cmd, -d, C:\zeppelin\zeppelin-0.8.0-bin-all\zeppelin-0.8.0-bin-all/interpreter/spark, -c, 10.120.44.23, -p, 57136, -r, :, -l, C:\zeppelin\zeppelin-0.8.0-bin-all\zeppelin-0.8.0-bin-all/local-repo/spark ,-g,火花] DEBUG [2018-07-29 00:06:09,625] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 警告:本地 jar C:\Users\vvellabo\57136 不存在,跳过。 DEBUG [2018-07-29 00:06:09,626] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 警告:本地 jar C:\Users\vvellabo\10.120.44.23 不存在,跳过。 调试 [2018-07-29 00:06:09,627] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - java.lang.ClassNotFoundException: org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer 调试 [2018-07-29 00:06:09,628] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.net.URLClassLoader.findClass(URLClassLoader.java:381) 调试 [2018-07-29 00:06:09,630] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.ClassLoader.loadClass(ClassLoader.java:424) 调试 [2018-07-29 00:06:09,632] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.ClassLoader.loadClass(ClassLoader.java:357) 调试 [2018-07-29 00:06:09,633] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.Class.forName0(本机方法) 调试 [2018-07-29 00:06:09,634] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 java.lang.Class.forName(Class.java:348) 调试 [2018-07-29 00:06:09,635] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.util.Utils$.classForName(Utils.scala:238) 调试 [2018-07-29 00:06:09,641] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit $$runMain(SparkSubmit.scala:851) 调试 [2018-07-29 00:06:09,642] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198) 调试 [2018-07-29 00:06:09,644] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228) 调试 [2018-07-29 00:06:09,645] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137) 调试 [2018-07-29 00:06:09,647] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) DEBUG [2018-07-29 00:06:09,656] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 2018-07-29 00:06:09 INFO ShutdownHookManager:54 - 调用关闭挂钩 DEBUG [2018-07-29 00:06:09,659] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:298) - 2018-07-29 00:06:09 INFO ShutdownHookManager:54 - 删除目录 C:\Users \vvellabo\AppData\Local\Temp\spark-427c3202-c243-4761-86ce-ea51a27a881c 信息 [2018-07-29 00:06:09,747] ({Exec Default Executor} RemoteInterpreterManagedProcess.java[onProcessFailed]:250) - 解释器进程失败 {} org.apache.commons.exec.ExecuteException:进程退出并出现错误:101(退出值:101) 在org.apache.commons.exec.DefaultExecutor.executeInternal(DefaultExecutor.java:404) 在 org.apache.commons.exec.DefaultExecutor.access$200(DefaultExecutor.java:48) 在 org.apache.commons.exec.DefaultExecutor$1.run(DefaultExecutor.java:200) 在 java.lang.Thread.run(Thread.java:748) 错误 [2018-07-29 00:07:05,382] ({pool-2-thread-2} Job.java[run]:190) - 作业失败 java.lang.RuntimeException: 警告: 本地 jar C:\Users\vvellabo\57136 不存在,跳过。 警告:本地 jar C:\Users\vvellabo\10.120.44.23 不存在,跳过。

谢谢 维韦尔


我遇到了类似的问题。不断回到这个问题,以防有人解决它。

这个链接会对你有帮助!

如果您不想执行这些步骤,只需删除SPARK_HOME环境变量。 Zeppelin 有自己的火花罐库。 接下来前往

%Zeppelin_HOME%\conf\

并重命名

zeppelin-env.cmd.template 到 zeppelin-env.cmd

并添加以下行:

set JAVA="C:\Program Files\Java\jdk1.8.0_181"
set JAVA_HOME="%JAVA%"

确保输入正确的 jdk 路径。 保存并使用命令启动 zeppelinbin\zeppelin.cmd
带 Spark 的飞艇已准备就绪!通过运行任何简单的代码进行确认:例如,sc.version

希望这可以帮助!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 Windows 10 或 7 中的 Apache Zeppelin 中运行 Spark 程序时出现错误 的相关文章

随机推荐