我正在尝试在 Python 中初始化 Spark Context 变量。
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)
但我收到以下错误：
py4j.protocol.Py4JJavaError：调用时发生错误
无.org.apache.spark.api.java.JavaSparkContext。 :
java.lang.NoClassDefFoundError：无法初始化类
org.apache.spark.internal.config.package$
在 org.apache.spark.SparkConf.validateSettings(SparkConf.scala:546)
在org.apache.spark.SparkContext。（SparkContext.scala：373）
在 org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:58)
在 sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
在 sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）
在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）
在 java.lang.reflect.Constructor.newInstance(Constructor.java:423)
在 py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:247)
在 py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
在 py4j.Gateway.invoke(Gateway.java:236)
在 py4j.commands.ConstructorCommand.invokeConstructor (ConstructorCommand.java:80)
在 py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
在 py4j.GatewayConnection.run(GatewayConnection.java:214)
在 java.lang.Thread.run(Thread.java:748)
我四处寻找解决方案，但没有得到确切的解决方案。请帮忙。
Setting SPARK_LOCAL_IP环境变量为本地主机解决了我的错误。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
