如何为 hadoop 2.0 编译/使用 mahout?

2023-12-22

最新版本的 Mahout 0.9 仅基于 hadoop 1.x 构建。 (mvn 干净安装) 如何为 hadoop 2.0.x 编译 mahout?

因为当我运行命令时:

hadoop jar mahout-examples-0.9-SNAPSHOT-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -s SIMILARITY_COOCCURENCE -i test -o 结果

我总是收到错误消息

IncompleteClassChangeError:找到接口 org.apache.hadoop.mapreduce.JobContext,但需要类。

Thanks!


由于 Mahout 未在与 Hadoop 2.x 兼容的包中发布,因此要将 Mahout 编译为与 2.x 一起使用:

mvn clean install -Dhadoop2 -Dhadoop2.version=2.2.0 -DskipTests=true

如果您想在构建后确认引入了正确的依赖项,请从项目的根目录运行以下命令:

find . -name hadoop*.jar

上述命令生成的工件与 0.9 版本中的工件不同,因此您需要更新的不仅仅是版本号(似乎有一个新的 mahout-mrlegacy jar)。

话虽这么说,如果有人可以向我指出一个使用 2.x 运行的官方工件(即使它是一个快照),我将不胜感激。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何为 hadoop 2.0 编译/使用 mahout? 的相关文章

随机推荐