使用 hadoop 运行 jar 时 NoSuchMethodError Sets.newConcurrentHashSet()

2023-11-27

我在用着cassandra-all 2.0.7api 与Hadoop 2.2.0.

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>zazzercode</groupId>
    <artifactId>doctorhere-engine-writer</artifactId>
    <version>1.0</version>
    <packaging>jar</packaging>

    <name>DoctorhereEngineWriter</name>

    <properties>
      <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
      <cassandra.version>2.0.7</cassandra.version>
      <hector.version>1.0-2</hector.version>
      <guava.version>15.0</guava.version>
      <hadoop.version>2.2.0</hadoop.version>
    </properties>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.6</source>
                    <target>1.6</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>zazzercode.DiseaseCountJob</mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>me.prettyprint</groupId>
            <artifactId>hector-core</artifactId>
            <version>${hector.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>org.apache.thrift</artifactId>
                    <groupId>libthrift</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.cassandra</groupId>
            <artifactId>cassandra-all</artifactId>
        <version>${cassandra.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>libthrift</artifactId>
                    <groupId>org.apache.thrift</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.cassandra</groupId>
            <artifactId>cassandra-thrift</artifactId>
        <version>${cassandra.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>libthrift</artifactId>
                    <groupId>org.apache.thrift</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libthrift</artifactId>
            <version>0.7.0</version>
        </dependency>
      <dependency>
        <groupId>com.google.guava</groupId>
        <artifactId>guava</artifactId>
        <version>${guava.version}</version>
      </dependency>

      <dependency>
        <groupId>com.googlecode.concurrentlinkedhashmap</groupId>
        <artifactId>concurrentlinkedhashmap-lru</artifactId>
        <version>1.3</version>
      </dependency>


    </dependencies>
</project>

当我启动 jar 时（创建后mvn assembly:assembly来自普通用户prayagupd）如下hduser,

hduser@prayagupd$ hadoop jar target/doctorhere-engine-writer-1.0-jar-with-dependencies.jar /user/hduser/shakespeare

我在 cassandra api 上收到以下番石榴收集错误，

14/11/23 17:51:04 WARN mapred.LocalJobRunner: job_local800673408_0001
java.lang.NoSuchMethodError: com.google.common.collect.Sets.newConcurrentHashSet()Ljava/util/Set;
    at org.apache.cassandra.config.Config.<init>(Config.java:53)
    at org.apache.cassandra.config.DatabaseDescriptor.<clinit>(DatabaseDescriptor.java:105)
    at org.apache.cassandra.hadoop.BulkRecordWriter.<init>(BulkRecordWriter.java:105)
    at org.apache.cassandra.hadoop.BulkRecordWriter.<init>(BulkRecordWriter.java:90)
    at org.apache.cassandra.hadoop.BulkOutputFormat.getRecordWriter(BulkOutputFormat.java:69)
    at org.apache.cassandra.hadoop.BulkOutputFormat.getRecordWriter(BulkOutputFormat.java:29)
    at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:558)
    at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:632)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:405)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:445)
14/11/23 17:51:04 INFO mapreduce.Job:  map 100% reduce 0%

cassandra api 的 Config.java 第 53 行有这个代码，

public Set<String> hinted_handoff_enabled_by_dc = Sets.newConcurrentHashSet();

然而，我发现 Sets 类与罐子本身，

  hduser@prayagupd$ jar tvf target/doctorhere-engine-writer-1.0-jar-with-dependencies.jar | grep com/google/common/collect/Sets
  2358 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$1.class
  2019 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$2.class
  1705 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$3.class
  1327 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$CartesianSet$1.class
  4224 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$CartesianSet.class
  5677 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$DescendingSet.class
  4187 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$FilteredNavigableSet.class
  1567 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$FilteredSet.class
  2614 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$FilteredSortedSet.class
  1174 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$ImprovedAbstractSet.class
  1361 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$PowerSet$1.class
  3727 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$PowerSet.class
  1398 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$SetView.class
  1950 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$SubSet$1.class
  2058 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$SubSet.class
  4159 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets$UnmodifiableNavigableSet.class
 17349 Fri Sep 06 15:52:24 NPT 2013 com/google/common/collect/Sets.class

另外，当我检查罐子时存在以下方法，

hduser@prayagupd$ javap -classpath target/doctorhere-engine-writer-1.0-jar-with-dependencies.jar com.google.common.collect.Sets | grep newConcurrentHashSet
  public static <E extends java/lang/Object> java.util.Set<E> newConcurrentHashSet();
  public static <E extends java/lang/Object> java.util.Set<E> newConcurrentHashSet(java.lang.Iterable<? extends E>);

I see com.google.guava under /META/INF/maven library when I navigate the jar file, jar

我有以下工件~/.m2从外部HDFS用户,

$ ll ~/.m2/repository/com/google/guava/guava
total 20
drwxrwxr-x 5 prayagupd prayagupd 4096 Nov 23 20:05 ./
drwxrwxr-x 4 prayagupd prayagupd 4096 Nov 23 20:05 ../
drwxrwxr-x 2 prayagupd prayagupd 4096 Nov 23 20:05 11.0.2/
drwxrwxr-x 2 prayagupd prayagupd 4096 Nov 23 20:06 15.0/
drwxrwxr-x 2 prayagupd prayagupd 4096 Nov 23 20:05 r09/

hadoop 类路径是

$ hadoop classpath
/usr/local/hadoop-2.2.0/etc/hadoop:
/usr/local/hadoop2.2.0/share/hadoop/common/lib/*:
/usr/local/hadoop-2.2.0/share/hadoop/common/*:
/usr/local/hadoop-2.2.0/share/hadoop/hdfs:
/usr/local/hadoop-2.2.0/share/hadoop/hdfs/lib/*:
/usr/local/hadoop-2.2.0/share/hadoop/hdfs/*:
/usr/local/hadoop-2.2.0/share/hadoop/yarn/lib/*:
/usr/local/hadoop-2.2.0/share/hadoop/yarn/*:
/usr/local/hadoop-2.2.0/share/hadoop/mapreduce/lib/*:
/usr/local/hadoop-2.2.0/share/hadoop/mapreduce/*:
/usr/local/hadoop-2.2.0/contrib/capacity-scheduler/*.jar

依赖树是如下所示com.google.guava:guava:jar:r09:compile被使用me.prettyprint:hector-core:jar:1.0-2:compile，然而guava-11.0.2.jar被使用hadoop-2.2.0 or hadoop-2.6.0 and cassandra-2.0.6 uses guava-15.0..jar

$ find /usr/local/apache-cassandra-2.0.6/ -name "guava*"
/usr/local/apache-cassandra-2.0.6/lib/guava-15.0.jar
/usr/local/apache-cassandra-2.0.6/lib/licenses/guava-15.0.txt


$ mvn dependency:tree
[INFO] Scanning for projects...
[INFO]                                                                         
[INFO] ------------------------------------------------------------------------
[INFO] Building DoctorhereEngineWriter 1.0
[INFO] ------------------------------------------------------------------------
[INFO] 
[INFO] --- maven-dependency-plugin:2.1:tree (default-cli) @ doctorhere-engine-writer ---
[INFO] zazzercode:doctorhere-engine-writer:jar:1.0
[INFO] +- junit:junit:jar:3.8.1:test (scope not updated to compile)
[INFO] +- me.prettyprint:hector-core:jar:1.0-2:compile
[INFO] |  +- commons-lang:commons-lang:jar:2.4:compile
[INFO] |  +- commons-pool:commons-pool:jar:1.5.3:compile
[INFO] |  +- com.google.guava:guava:jar:r09:compile
[INFO] |  +- org.slf4j:slf4j-api:jar:1.6.1:compile
[INFO] |  +- com.github.stephenc.eaio-uuid:uuid:jar:3.2.0:compile
[INFO] |  \- com.ecyrd.speed4j:speed4j:jar:0.9:compile
[INFO] +- org.apache.cassandra:cassandra-all:jar:2.0.7:compile
[INFO] |  +- org.xerial.snappy:snappy-java:jar:1.0.5:compile
[INFO] |  +- net.jpountz.lz4:lz4:jar:1.2.0:compile
[INFO] |  +- com.ning:compress-lzf:jar:0.8.4:compile
[INFO] |  +- commons-cli:commons-cli:jar:1.1:compile
[INFO] |  +- commons-codec:commons-codec:jar:1.2:compile
[INFO] |  +- org.apache.commons:commons-lang3:jar:3.1:compile
[INFO] |  +- com.googlecode.concurrentlinkedhashmap:concurrentlinkedhashmap-lru:jar:1.3:compile
[INFO] |  +- org.antlr:antlr:jar:3.2:compile
[INFO] |  |  \- org.antlr:antlr-runtime:jar:3.2:compile
[INFO] |  |     \- org.antlr:stringtemplate:jar:3.2:compile
[INFO] |  |        \- antlr:antlr:jar:2.7.7:compile
[INFO] |  +- org.codehaus.jackson:jackson-core-asl:jar:1.9.2:compile
[INFO] |  +- org.codehaus.jackson:jackson-mapper-asl:jar:1.9.2:compile
[INFO] |  +- jline:jline:jar:1.0:compile
[INFO] |  +- com.googlecode.json-simple:json-simple:jar:1.1:compile
[INFO] |  +- com.github.stephenc.high-scale-lib:high-scale-lib:jar:1.1.2:compile
[INFO] |  +- org.yaml:snakeyaml:jar:1.11:compile
[INFO] |  +- edu.stanford.ppl:snaptree:jar:0.1:compile
[INFO] |  +- org.mindrot:jbcrypt:jar:0.3m:compile
[INFO] |  +- com.yammer.metrics:metrics-core:jar:2.2.0:compile
[INFO] |  +- com.addthis.metrics:reporter-config:jar:2.1.0:compile
[INFO] |  |  \- org.hibernate:hibernate-validator:jar:4.3.0.Final:compile
[INFO] |  |     +- javax.validation:validation-api:jar:1.0.0.GA:compile
[INFO] |  |     \- org.jboss.logging:jboss-logging:jar:3.1.0.CR2:compile
[INFO] |  +- com.thinkaurelius.thrift:thrift-server:jar:0.3.3:compile
[INFO] |  |  \- com.lmax:disruptor:jar:3.0.1:compile
[INFO] |  +- net.sf.supercsv:super-csv:jar:2.1.0:compile
[INFO] |  +- log4j:log4j:jar:1.2.16:compile
[INFO] |  +- com.github.stephenc:jamm:jar:0.2.5:compile
[INFO] |  \- io.netty:netty:jar:3.6.6.Final:compile
[INFO] +- org.apache.cassandra:cassandra-thrift:jar:2.0.7:compile
[INFO] +- org.apache.hadoop:hadoop-client:jar:2.2.0:compile
[INFO] |  +- org.apache.hadoop:hadoop-common:jar:2.2.0:compile
[INFO] |  |  +- org.apache.commons:commons-math:jar:2.1:compile
[INFO] |  |  +- xmlenc:xmlenc:jar:0.52:compile
[INFO] |  |  +- commons-httpclient:commons-httpclient:jar:3.1:compile
[INFO] |  |  +- commons-io:commons-io:jar:2.1:compile
[INFO] |  |  +- commons-net:commons-net:jar:3.1:compile
[INFO] |  |  +- commons-logging:commons-logging:jar:1.1.1:compile
[INFO] |  |  +- commons-configuration:commons-configuration:jar:1.6:compile
[INFO] |  |  |  +- commons-collections:commons-collections:jar:3.2.1:compile
[INFO] |  |  |  +- commons-digester:commons-digester:jar:1.8:compile
[INFO] |  |  |  |  \- commons-beanutils:commons-beanutils:jar:1.7.0:compile
[INFO] |  |  |  \- commons-beanutils:commons-beanutils-core:jar:1.8.0:compile
[INFO] |  |  +- org.apache.avro:avro:jar:1.7.4:compile
[INFO] |  |  |  \- com.thoughtworks.paranamer:paranamer:jar:2.3:compile
[INFO] |  |  +- com.google.protobuf:protobuf-java:jar:2.5.0:compile
[INFO] |  |  +- org.apache.hadoop:hadoop-auth:jar:2.2.0:compile
[INFO] |  |  +- org.apache.zookeeper:zookeeper:jar:3.4.5:compile
[INFO] |  |  \- org.apache.commons:commons-compress:jar:1.4.1:compile
[INFO] |  |     \- org.tukaani:xz:jar:1.0:compile
[INFO] |  +- org.apache.hadoop:hadoop-hdfs:jar:2.2.0:compile
[INFO] |  |  \- org.mortbay.jetty:jetty-util:jar:6.1.26:compile
[INFO] |  +- org.apache.hadoop:hadoop-mapreduce-client-app:jar:2.2.0:compile
[INFO] |  |  +- org.apache.hadoop:hadoop-mapreduce-client-common:jar:2.2.0:compile
[INFO] |  |  |  +- org.apache.hadoop:hadoop-yarn-client:jar:2.2.0:compile
[INFO] |  |  |  \- org.apache.hadoop:hadoop-yarn-server-common:jar:2.2.0:compile
[INFO] |  |  \- org.apache.hadoop:hadoop-mapreduce-client-shuffle:jar:2.2.0:compile
[INFO] |  +- org.apache.hadoop:hadoop-yarn-api:jar:2.2.0:compile
[INFO] |  +- org.apache.hadoop:hadoop-mapreduce-client-core:jar:2.2.0:compile
[INFO] |  |  \- org.apache.hadoop:hadoop-yarn-common:jar:2.2.0:compile
[INFO] |  +- org.apache.hadoop:hadoop-mapreduce-client-jobclient:jar:2.2.0:compile
[INFO] |  \- org.apache.hadoop:hadoop-annotations:jar:2.2.0:compile
[INFO] \- org.apache.thrift:libthrift:jar:0.7.0:compile
[INFO]    +- javax.servlet:servlet-api:jar:2.5:compile
[INFO]    \- org.apache.httpcomponents:httpclient:jar:4.0.1:compile
[INFO]       \- org.apache.httpcomponents:httpcore:jar:4.0.1:compile
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 27.124s
[INFO] Finished at: Wed Mar 18 01:39:42 CDT 2015
[INFO] Final Memory: 15M/982M
[INFO] ------------------------------------------------------------------------

这是hadoop脚本hadoop 2.2.0,

$ cat /usr/local/hadoop-2.2.0/bin/hadoop
#!/usr/bin/env bash

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

# This script runs the hadoop core commands. 

bin=`which $0`
bin=`dirname ${bin}`
bin=`cd "$bin"; pwd`

DEFAULT_LIBEXEC_DIR="$bin"/../libexec
HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR}
. $HADOOP_LIBEXEC_DIR/hadoop-config.sh

export HADOOP_USER_CLASSPATH_FIRST=true

function print_usage(){
  echo "Usage: hadoop [--config confdir] COMMAND"
  echo "       where COMMAND is one of:"
  echo "  fs                   run a generic filesystem user client"
  echo "  version              print the version"
  echo "  jar <jar>            run a jar file"
  echo "  checknative [-a|-h]  check native hadoop and compression libraries availability"
  echo "  distcp <srcurl> <desturl> copy file or directories recursively"
  echo "  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive"
  echo "  classpath            prints the class path needed to get the"
  echo "                       Hadoop jar and the required libraries"
  echo "  daemonlog            get/set the log level for each daemon"
  echo " or"
  echo "  CLASSNAME            run the class named CLASSNAME"
  echo ""
  echo "Most commands print help when invoked w/o parameters."
}

if [ $# = 0 ]; then
  print_usage
  exit
fi

COMMAND=$1
case $COMMAND in
  # usage flags
  --help|-help|-h)
    print_usage
    exit
    ;;

  #hdfs commands
  namenode|secondarynamenode|datanode|dfs|dfsadmin|fsck|balancer|fetchdt|oiv|dfsgroups|portmap|nfs3)
    echo "DEPRECATED: Use of this script to execute hdfs command is deprecated." 1>&2
    echo "Instead use the hdfs command for it." 1>&2
    echo "" 1>&2
    #try to locate hdfs and if present, delegate to it.  
    shift
    if [ -f "${HADOOP_HDFS_HOME}"/bin/hdfs ]; then
      exec "${HADOOP_HDFS_HOME}"/bin/hdfs ${COMMAND/dfsgroups/groups}  "$@"
    elif [ -f "${HADOOP_PREFIX}"/bin/hdfs ]; then
      exec "${HADOOP_PREFIX}"/bin/hdfs ${COMMAND/dfsgroups/groups} "$@"
    else
      echo "HADOOP_HDFS_HOME not found!"
      exit 1
    fi
    ;;

  #mapred commands for backwards compatibility
  pipes|job|queue|mrgroups|mradmin|jobtracker|tasktracker)
    echo "DEPRECATED: Use of this script to execute mapred command is deprecated." 1>&2
    echo "Instead use the mapred command for it." 1>&2
    echo "" 1>&2
    #try to locate mapred and if present, delegate to it.
    shift
    if [ -f "${HADOOP_MAPRED_HOME}"/bin/mapred ]; then
      exec "${HADOOP_MAPRED_HOME}"/bin/mapred ${COMMAND/mrgroups/groups} "$@"
    elif [ -f "${HADOOP_PREFIX}"/bin/mapred ]; then
      exec "${HADOOP_PREFIX}"/bin/mapred ${COMMAND/mrgroups/groups} "$@"
    else
      echo "HADOOP_MAPRED_HOME not found!"
      exit 1
    fi
    ;;

  classpath)
    echo $CLASSPATH
    exit
    ;;

  #core commands  
  *)
    # the core commands
    if [ "$COMMAND" = "fs" ] ; then
      CLASS=org.apache.hadoop.fs.FsShell
    elif [ "$COMMAND" = "version" ] ; then
      CLASS=org.apache.hadoop.util.VersionInfo
    elif [ "$COMMAND" = "jar" ] ; then
      CLASS=org.apache.hadoop.util.RunJar
    elif [ "$COMMAND" = "checknative" ] ; then
      CLASS=org.apache.hadoop.util.NativeLibraryChecker
    elif [ "$COMMAND" = "distcp" ] ; then
      CLASS=org.apache.hadoop.tools.DistCp
      CLASSPATH=${CLASSPATH}:${TOOL_PATH}
    elif [ "$COMMAND" = "daemonlog" ] ; then
      CLASS=org.apache.hadoop.log.LogLevel
    elif [ "$COMMAND" = "archive" ] ; then
      CLASS=org.apache.hadoop.tools.HadoopArchives
      CLASSPATH=${CLASSPATH}:${TOOL_PATH}
    elif [[ "$COMMAND" = -*  ]] ; then
        # class and package names cannot begin with a -
        echo "Error: No command named \`$COMMAND' was found. Perhaps you meant \`hadoop ${COMMAND#-}'"
        exit 1
    else
      CLASS=$COMMAND
    fi
    shift

    # Always respect HADOOP_OPTS and HADOOP_CLIENT_OPTS
    HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"

    #make sure security appender is turned off
    HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,NullAppender}"

    export CLASSPATH=$CLASSPATH
    exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
    ;;

esac

这个谷歌收藏问题如何解决？

实际代码here

git clone --branch doctor-engine-writer https://github.com/prayagupd/doctorhere
cd doctorhere/doctorhere-engine-writer

参考

MapReduce时Hadoop库冲突

您基本上遇到了版本冲突。问题是这样的，

hadoop 本机库和 cassandra 都使用 google guava。
但是您的 hadoop 版本使用旧版本的 guava (11.xx)，而您的 cassandra 已更新并使用 guava 16.0。对于企业级 hadoop 设置来说，在每个新版本中更新其环境的情况并不常见。
cassandra 配置加载器使用 newConcurrentHashSet() 方法，该方法在旧版本中不存在。
hadoop 使用的 jar 始终在任何第三方 jar 之前加载。因此，即使您的“具有依赖项”jar 中存在正确版本的番石榴，旧版本的番石榴 jar 也会从 hadoop 类路径加载并分发到您的映射器/减速器。

解决方案：

在 Job 的 run 方法中将配置参数“mapreduce.job.user.classpath.first”设置为 true ：
```
job.getConfiguration().set("mapreduce.job.user.classpath.first", "true");
```

现在，在您的 bin/hadoop 中，添加语句

export HADOOP_USER_CLASSPATH_FIRST=true

which will tell hadoop to load user defined libraries first.

确保您的库的最新版本在旧版本之前出现在您的 hadoop 类路径中。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Java

Hadoop

jar

cassandra

使用 hadoop 运行 jar 时 NoSuchMethodError Sets.newConcurrentHashSet() 的相关文章

如何强制jar使用（或jar运行的jvm）utf-8而不是系统的默认编码

我的Windows默认编码是GBK 而我的Eclipse完全是utf 8编码因此在我的 Eclipse 中运行良好的应用程序崩溃了因为导出为 jar 文件时这些单词变得不可读我必须在 bat 文件中写入以下行才能运行该应用程序 st
如何使用 JAVA 代码以编程方式捕获线程转储？

我想通过 java 代码生成线程转储我尝试使用 ThreadMXBean 为此但我没有以正确的格式获得线程转储因为我们正在使用jstack命令请任何人提供一些帮助他们是否有其他方式获取线程转储使用任何其他 API 我想要的线程转
(Java) App Engine 中的静态文件无法访问

The 示例文档 http code google com appengine docs java gettingstarted staticfiles html表示您只需将文件放在 war 或子目录中并且应该可以从主机访问它们只要它
HAProxy SSL终止+客户端证书验证+curl/java客户端

我希望使用我自己的自签名证书在 HAProxy 上进行 SSL 终止并使用我创建的客户端证书验证客户端访问我通过以下方式创建服务器也是 CA 证书 openssl genrsa out ca key 1024 openssl req
tomcat 7.0.50 java websocket 实现给出 404 错误

我正在尝试使用 Java Websocket API 1 0 JSR 356 中指定的带注释端点在 tomcat 7 0 50 上实现 websocket 以下是我如何对其进行编码的简要步骤 1 使用 ServerEndpoint注解编写w
为自定义驱动程序创建 GraphicsDevice

我正在开发一个在嵌入式系统中使用 Java 的项目我有用于屏幕和触摸输入的驱动程序以及用于文本输入的虚拟键盘我的屏幕驱动程序有一个Graphics2D您可以绘制的对象和repaint Rectangle 更新方法类似地触摸驱动器能
如何使用正则表达式验证 1-99 范围？

我需要验证一些用户输入以确保输入的数字在 1 99 范围内含这些必须是整数 Integer 值允许前面加 0 但可选有效值 1 01 10 99 09 无效值 0 007 100 10 5 010 到目前为止我已经制定了以下正则
org/codehaus/plexus/archiver/jar/JarArchiver（不支持的major.minor版本49.0）-Maven构建错误

下午大家我在尝试构建项目时收到上述错误我很确定这与使用 Java 1 6 编译的 Maven 最新更新有关而我们尝试构建的项目是 1 4 项目在此之前的插件工作没有问题因此我将以下内容添加到 POM xml 文件中以尝试强制使用现
从休眠乐观锁定异常中恢复

我有一个这样的方法 Transactional propagation Propagation REQUIRES NEW public void doSomeWork Entity entity dao loadEntity do some
Spring Data JPA：查询如何返回非实体对象或对象列表？

我在我的项目中使用 Spring Data JPA 我正在演奏数百万张唱片我有一个要求我必须获取各种表的数据并构建一个对象然后将其绘制在 UI 上现在如何实现我的 Spring 数据存储库我读到它可以通过命名本机查询来实现如果指
寻找局部最小值

下面的代码正确地找到了数组的局部最大值但未能找到局部最小值我已经进行了网络搜索以找到找到最小值的最佳方法并且根据这些搜索我认为我正在使用下面的正确方法但是在几天的时间里多次检查每一行之后下面的代码中有一些我仍然没有看到的错误
Spark 和 Python 使用自定义文件格式/生成器作为 RDD 的输入

我想问一下 Spark 中输入的可能性我可以看到从http spark apache org docs latest programming guide html http spark apache org docs latest pro
JAVA中遍历JSON数据

我是 JSON 新手我使用 HTTPUrlConnections 并在 JAVA 程序中获得一些响应响应数据将类似于 data id 1 userId 1 name ABC modified 2014 12 04 created 201
Play.application() 的替代方案是什么

我是 Play 框架的新手我想读取conf文件夹中的一个文件所以我用了Play application classloader getResources Data json nextElement getFile 但我知道 play P
IntelliJ 组织导入

IntelliJ 是否具有类似于 Eclipse 中的组织导入功能我拥有的是一个 Java 文件其中多个类缺少导入例子 package com test public class Foo public Map map public J
Lombok @Builder 不创建不可变对象？

在很多网站上我看到 lombok Builder 可以用来创建不可变的对象 https www baeldung com lombok builder singular https www baeldung com lombok buil
使用Java绘制维恩图

我正在尝试根据给定的布尔方程绘制维恩图例如 a AND b AND c我想在 Android 手机上执行此操作因此我需要找到一种使用 Java 来执行此操作的方法我找到了一个完美的小部件它可以完成我在这方面寻找的一切布尔代数计算器
ECDH使用Android KeyStore生成私钥

我正在尝试使用 Android KeyStore Provider 生成的私有文件在 Android 中实现 ECDH public byte ecdh PublicKey otherPubKey throws Exception try
HttpClient请求设置属性问题

我使用这个 HttpClient 库玩了一段时间几周我想以某种方式将属性设置为请求不是参数而是属性在我的 servlet 中我想使用 Integer inte Integer request getAttribute obj 我不
将对象从手机共享到 Android Wear

我创建了一个应用程序在此应用程序中您拥有包含 2 个字符串姓名和年龄和一个位图头像的对象所有内容都保存到 sqlite 数据库中现在我希望可以在我的智能手表上访问这些对象所以我想实现的是你可以去启动启动应用程序并向左和向

随机推荐

无法识别的选择器发送到实例 NSTimer Swift

我正在尝试开发一个包含简单秒表功能的应用程序我正在使用 Xcode 6 和 Swift 语言这是 FirstViewController 中的代码 IBAction func Stopwatch Sender UIButton var
C# 使用元组对 List<> 进行排序？

我需要按发布日期对 MediaItem 对象的 List 进行排序发布日期不是该项目的属性所以我最初的意图是暂时附加一个发布日期属性加载它们排序然后放弃该属性我工作中的某人建议我使用 Tuple 并使用 LINQ 进行排序我已
css自定义光标不起作用

我正在使用 css 自定义光标来使用图像作为光标图片不行啊这段代码有什么问题 Here是使用的图像 Fiddle cursor url http www sarkelliancreed comule com pics TREES jpg
如何将变量从布局文件传递到 grails 模板中？

因此我有一个导航模板 common navigation gsp 它在 Grails 项目主布局文件 layouts main gsp 中呈现如何将某种变量参数参数从各个视图文件传递到布局并最终传递到导航模板我只是希望当我在页面上
选择最后插入 ID()

有人可以解释一下 MySQL 函数 LAST INSERT ID 是如何工作的吗我试图获取数据库中最后插入的行的 id 但每次都获取 1 我用的是mybatis 示例查询是
span内嵌套div问题

div 是一个块元素而 span 是一个内联元素因此根据 xhtml 1 0 验证这是不正确的但仍然有几个网站使用这种方法进行样式设置可以吗或者它会引起一些问题请帮助我这是不对的你永远不需要这样做 gt 因此永远不应该
如何在程序不做大改动的情况下实现undo/redo操作

你好我即将向我当前正在编写的应用程序添加新功能我需要编写撤消重做功能然而我们的应用程序 90 已经准备就绪我不知道在不影响已创建的太多代码的情况下实现此功能的最佳方法是什么这里没有太多细节然而撤消重做功能通常是通过某
Angular - res.json() 不是函数

我的 API 服务出现问题该服务连接到我的 Nodejs 后端 api 错误说 ERROR TypeError res json is not a function 最近更新此服务以使用 HTTPClient 而不是 Http 后我收到
在 jenkins pipeline sh 步骤中使用嵌套命令替换

我试图在归档之前使用指向相关内部文件夹的符号链接来展平结果目录该文件夹首先遍历运行时确定的一堆变量路径名我似乎不太能用我从这个SO中学到的命令替换方法来获得正确的语法answer 问题是否存在我不知道的如何从 Jenkins 管道步骤
引发事件（“onchange”）

我有一个 winform 和一个WebBrowser控件我正在更改选择 HTML 控件中的选项 webBrowser1 Document GetElementsByTagName select 4 GetElementsByTagName
HBITMAP 到 BITMAP 转换

无法理解这段代码有什么问题 HBITMAP bm 0 BITMAP Bitmap bm HBITMAP LoadImage 0 path IMAGE BITMAP 0 0 LR LOADFROMFILE int error GetObjec
Mongodb 对象之间的关系

我正在尝试使用 mongodb 实现博客文章存储我有两个域实体博客文章和作者目前我已将 AuthorId 属性添加到博客文章实体中这是存储对象之间关系的正确方法吗我认为这篇文章适合你http www mongodb org d
如何使用 CSS 在悬停时向图像添加工具提示

我有三个图像悬停时它们会使用 css 中的 hover 增加大小当用户将鼠标悬停在图像上时我还希望出现一个带有图像描述的工具提示我还应该能够定位工具提示 HTML div class bottle container div cla
python calendar.HTMLCalendar

我想我想使用 python 内置日历模块来创建带有数据的 HTML 日历我说我认为是因为我可能会想出更好的方法但现在这有点个人化我不知道这是否是有意以这种方式使用的但如果你不能至少让日子变得美好那么这似乎有点毫无意义 a 这会设置
PHP 命名空间和 require

我需要在主 index php 文件中包含几个文件我正在使用命名空间我可以使用 include require 并使文件使用与 index php 相同的命名空间而不在每个包含的文件中指定命名空间和 use 语句吗 PHP 命名空间范
在 TensorFlow 中对数组进行排序

假设我在 TensorFlow 中有一个数组 0 12300211 0 51767069 0 13886075 0 55363625 0 47279349 0 50432992 0 48080254 0 51576483 0 8434793
使用 Jasmine 监视没有对象的函数

我正在使用 Jasmine 并且有一个库 js 文件其中包含许多不与任何对象关联的函数即全局函数我该如何监视这些功能我尝试使用窗口文档作为对象但即使调用该函数间谍也无法工作我还尝试将其包装在一个假对象中如下所示 var f
如何避免单击按钮时的 Page_Load() ？

我有两个按钮预览和保存借助预览按钮用户可以根据格式查看数据然后保存但是当单击预览时附加到 ajaxcontrol 日历的一个文本框将变为空用户必须在保存之前填写日期这要怎么处理呢在预览时单击我获取详细信息以在布局中显示
Python 中的按键

Is it possible to make it appear to a system that a key was pressed for example I need to make A key be pressed thousand
使用 hadoop 运行 jar 时 NoSuchMethodError Sets.newConcurrentHashSet()

我在用着cassandra all 2 0 7api 与Hadoop 2 2 0

使用 hadoop 运行 jar 时 NoSuchMethodError Sets.newConcurrentHashSet()

参考

解决方案：

使用 hadoop 运行 jar 时 NoSuchMethodError Sets.newConcurrentHashSet() 的相关文章

随机推荐

热门标签