我正在使用maven
我添加了以下依赖项
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>1.1.0</version>
</dependency> <dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10</artifactId>
<version>1.1.0</version>
</dependency>
我还在代码中添加了jar
SparkConf sparkConf = new SparkConf().setAppName("KafkaSparkTest");
JavaSparkContext sc = new JavaSparkContext(sparkConf);
sc.addJar("/home/test/.m2/repository/org/apache/spark/spark-streaming-kafka_2.10/1.0.2/spark-streaming-kafka_2.10-1.0.2.jar");
JavaStreamingContext jssc = new JavaStreamingContext(sc, new Duration(5000));
它编译得很好,没有任何错误,当我运行 Spark-submit 时,我收到以下错误,非常感谢任何帮助。谢谢你的时间。
bin/spark-submit --class "KafkaSparkStreaming" --master local[4] try/simple-project/target/simple-project-1.0.jar
线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils
在 KafkaSparkStreaming.sparkStreamingTest(KafkaSparkStreaming.java:40)
在 KafkaSparkStreaming.main(KafkaSparkStreaming.java:23)
在 sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:606)
在 org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:303)
在 org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
引起原因:java.lang.ClassNotFoundException:org.apache.spark.streaming.kafka.KafkaUtils
在 java.net.URLClassLoader$1.run(URLClassLoader.java:366)
我遇到了同样的问题,我通过构建带有依赖项的 jar 来解决它。
删除代码中的“sc.addJar()”。
-
将以下代码添加到 pom.xml
<build>
<sourceDirectory>src/main/java</sourceDirectory>
<testSourceDirectory>src/test/java</testSourceDirectory>
<plugins>
<!--
Bind the maven-assembly-plugin to the package phase
this will create a jar file without the storm dependencies
suitable for deployment to a cluster.
-->
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass></mainClass>
</manifest>
</archive>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
MVN包
提交“example-jar-with-dependency.jar”
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)