程序员经验分享-hwhale

Hadoop 2.2.0 与 Mahout 0.8 兼容吗？

2023-12-26

我的 hadoop 集群版本 2.2.0 与 mahout 0.8 一起运行，它兼容吗？因为每当我运行这个命令时：

bin/mahout recommenditembased --input mydata.dat --usersFile user.dat --numRecommendations 2 --output output/ --similarityClassname SIMILARITY_PEARSON_CORRELATION

给我这个错误：

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
at org.apache.mahout.common.HadoopUtil.getCustomJobName(HadoopUtil.java:174)
at org.apache.mahout.common.AbstractJob.prepareJob(AbstractJob.java:614)
at org.apache.mahout.cf.taste.hadoop.preparation.PreparePreferenceMatrixJob.run(PreparePreferenceMatrixJob.java:75)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.run(RecommenderJob.java:158)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.mahout.cf.taste.hadoop.item.RecommenderJob.main(RecommenderJob.java:312)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:72)
at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:152)
at org.apache.mahout.driver.MahoutDriver.main(MahoutDriver.java:194)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

还是我错了？任何信息都会有帮助。


不，它不适用于 Hadoop 2.x，其他人也收到了与您相同的错误消息 http://mail-archives.apache.org/mod_mbox/mahout-user/201309.mbox/%3CCAEccTyyOapUzdBxxKr1YtBZPdgSxk_RTK-ASrM5UwmCZsDhozA@mail.gmail.com%3E.

看起来至少需要重新编译 http://mail-archives.apache.org/mod_mbox/mahout-user/201308.mbox/%3CCAEccTyx3F7J5yF8G6wyb+X5tBDfaZS9xsyj1E-Ym52bgTgwJSA@mail.gmail.com%3E.

更多的人也面临着同样的问题：如何为 hadoop 2.0 编译/使用 mahout？ https://stackoverflow.com/questions/18767843/how-can-i-compile-using-mahout-for-hadoop-2-0

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

mahout

Hadoop 2.2.0 与 Mahout 0.8 兼容吗？ 的相关文章

  • 如何读取 RCFile

    我正在尝试将一个小的 RCFile 约 200 行数据 读入 HashMap 中以进行 Map Side 连接 但是在将文件中的数据变为可用状态时遇到了很多麻烦 这是我到目前为止所拥有的 其中大部分来自这个例子 http sumit1001

  • 启动 Hadoop 时出现“错误：无法找到或加载主类”

    我正在尝试在我的 Windows 7 计算机上运行 Hadoop 2 2 0 是的 我知道在 Linux 上运行它会更好 但目前还不是一个选择 我按照以下位置发布的说明进行操作http ebiquity umbc edu Tutorials

  • HBase：创建多个表或包含多个列的单个表？

    什么时候创建多个表而不是创建具有大量列的单个表才有意义 据我了解 表通常只有几个列族 1 2 每个列族可以支持 1000 多个列 当 HBase 似乎在单个表中可能存在大量列时表现良好时 什么时候创建单独的表才有意义 在回答问题本身之前 让

  • Kafka Streams 在 HDFS 上查找数据

    我正在使用 Kafka Streams v0 10 0 1 编写一个应用程序 并希望通过查找数据来丰富我正在处理的记录 该数据 带时间戳的文件 每天 或每天 2 3 次 写入 HDFS 目录 我怎样才能将其加载到Kafka Streams应

  • 如何获取hive中的数据库用户名和密码

    正在编写jdbc程序来连接hive数据库 我希望在连接 url 中提供用户名和密码 我不知道如何使用 hive QL 获取用户名和密码 有人可以帮我吗 Exception in thread main java sql SQLNonTran

  • HDFS 在大量小文件和 128 Mb 块大小上的行为

    我有很多 多达数十万个 小文件 每个文件 10 100 Kb 我的 HDFS 块大小等于 128 MB 我的复制因子等于 1 为每个小文件分配 HDFS 块有什么缺点吗 我见过相当矛盾的答案 答案说最小的文件占用整个块 https stac

  • 如何为 HDFS 递归列出子目录？

    我在 HDFS 中递归创建了一组目录 如何列出所有目录 对于普通的 UNIX 文件系统 我可以使用以下命令来做到这一点 find path type d print 但我想为 HDFS 得到类似的东西 递归列出目录内容hadoop dfs

  • HDFS容量：如何阅读“dfsadmin报告”

    我使用的是 Hadoop 2 6 0 当我运行 hdfs dfsadmin report 时 我得到类似这样的信息 简化 Configured Capacity 3 TB Present Capacity 400GB DFS Remaini

  • 使用 python 从 HDFS 获取文件名列表

    这里是 Hadoop 菜鸟 我搜索了一些有关 hadoop 和 python 入门的教程 但没有取得太大成功 我还不需要使用映射器和缩减器进行任何工作 但这更多是一个访问问题 作为Hadoop集群的一部分 HDFS 上有一堆 dat 文件

  • 如何使用新的 Hadoop API 来使用 MultipleTextOutputFormat？

    我想编写多个输出文件 如何使用 Job 而不是 JobConf 来执行此操作 创建基于密钥的输出文件名的简单方法 input data type key value cupertino apple sunnyvale banana cupe

  • Hadoop：处理大型序列化对象

    我正在开发一个应用程序来使用 Hadoop 框架处理 和合并 几个大型 java 序列化对象 顺序 GB 大小 Hadoop 存储将文件块分布在不同的主机上 但由于反序列化需要所有块都存在于单个主机上 因此它会极大地影响性能 我该如何处理这

  • Curl下载到HDFS

    我有这个代码 curl o fileName csv url xargs hdfs dfs moveFromLocal 1 somePath 当我执行此代码时 curl 将请求中的值放入 fileName csv 中 该文件将移动到 HDF

  • 无法从 JAR 文件加载主类

    我有一个 Spark scala 应用程序 我尝试显示一条简单的消息 Hello my App 当我编译它时sbt compile并运行它sbt run没关系 我成功显示了我的消息 但他显示了错误 像这样 Hello my applicat

  • Hive 中字符串数据类型是否有最大大小？

    谷歌了很多 但没有在任何地方找到它 或者这是否意味着只要允许集群 Hive 就可以支持任意大字符串数据类型 如果是这样 我在哪里可以找到我的集群可以支持的最大字符串数据类型大小 提前致谢 Hive 列表的当前文档STRING作为有效的数据类

  • 在 Hive 中分解一行 XML 数据

    我们将 XML 数据作为名为 XML 的单个字符串列加载到 Hadoop 中 我们正在尝试检索数据级别 并将其标准化或分解为单行进行处理 你知道 就像表格一样 已经尝试过分解功能 但没有得到我们想要的 示例 XML

  • Hive查询快速查找表大小（行数）

    是否有 Hive 查询可以快速查找表大小 即行数 而无需启动耗时的 MapReduce 作业 这就是为什么我想避免COUNT I tried DESCRIBE EXTENDED 但这产生了numRows 0这显然是不正确的 对新手问题表示歉

  • 在 mahout-0.6 上运行“Mahout in Action”中的示例代码时出现 IOException

    我正在学习 Mahout 并阅读 Mahout in Action 当我尝试运行第 7 章 Simple KMeans Clustering java 中的示例代码时 弹出了一个异常 线程 main 中的异常 java io IOExcep

  • 为什么组合器输入记录的数量比映射的输出数量多？

    Combiner 在 Mapper 之后 Reducer 之前运行 它将接收给定节点上的 Mapper 实例发出的所有数据作为输入 然后它将输出发送到Reducers 因此组合器输入的记录应小于映射输出的记录 12 08 29 13 38

  • hive创建表的多个转义字符

    我正在尝试将带有管道分隔符的 csv 加载到配置单元外部表 数据值包含单引号 双引号 括号等 使用 Open CSV 版本 2 3 测试文件 csv id name phone 1 Rahul 123 2 Kumar s 456 3 Nee

  • 如何将Hive数据表迁移到MySql？

    我想知道如何将日期从 Hive 转移到 MySQL 我看过有关如何将 Hive 数据移动到 Amazon DynamoDB 的示例 但没有看到有关如何将 Hive 数据移动到 MySQL 等 RDBMS 的示例 这是我在 DynamoDB

随机推荐

  • 如何使用 Entity Framework Core 进行全文搜索？

    我有以下查询 SELECT Animals name FROM Animals WHERE CONTAINS feline AND black 我在将其转换为 Entity Framework Core 查询时遇到问题 我有一个 SQL S

  • 如果作业不存在，如何从管道构建 Jenkins 作业而忽略该作业？

    我正在尝试从我的 Jenkins 管道中构建一个工作 如下所示 build job jobName propagate false wait false 这里 jobName 是一个多分支管道作业 因此有时可能不存在于我的工作流程中 如果作

  • 使用用户代理定位特定的黑莓手机

    我发现这个 javascript 可以检测黑莓设备

  • 如何用PyQt5设置窗口图标？

    from PyQt5 import QtWidgets QtGui from PyQt5 QtWidgets import from PyQt5 QtCore import class Application QMainWindow def

  • Magento 快速搜索

    我在使用 Magento 快速搜索时遇到一个小问题 当我在框中搜索时说 ice machine 然后一切都会返回原处ice or machine在标题中 我需要它 所以它只会搜索具有确切字符串的产品ice machine在标题中 我发现如果

  • 如何打印带有棋子位置列表的棋盘

    我正忙着做作业 我必须编写一个有 2 个 String 的函数 列表字符串包含 3 个字符 第一个是棋子 例如 K 国王 Q 后 R 车 B 主教 N 马 P 兵 第二个指定列 a h 第三个是行号 1 8 第一个字符串列表用于黑色棋子 第

  • 使用 Applescript/Automator 检查活动的互联网连接

    我有一个 Automator 工作流程来 ping 服务器 并下载我经常使用的时间表的最新副本 然后 该时间表会被复制到我的保管箱中 以便我可以在手机上查看 在工作流下载最新计划之前 它会从 Dropbox 中删除旧计划 这很有效 除非我没

  • 如何为 ui-bootstrap 日期选择器创建 angularJs 包装器指令？

    我正在使用ui bootstrap datepicker https angular ui github io bootstrap 显示某些日期字段的指令 然而 大多数时候我需要相同的设置 我希望它带有一个弹出窗口和一个弹出按钮 而且我还想

  • CLI 与 Node.js

    我正在节点中开发一个 CLI 它将发布到 NPM 由于它是一个 CLI 应用程序 我希望它在安装后包含在路径中 因此不需要键入 node my app js 来运行它 我希望它仅与 my app 一起运行 在 package json 中

  • Outlook 中的 HTML 电子邮件呈现 - VML

    我创建了一封 HTML 电子邮件 在 Outlook 2007 中查看时 我看不到某些图像 因为它们是背景 我已经使用 VML 做了一些修改 但是它不允许我将高度值留空 因为它默认为 100px 或者我无法输入自动或百分比 背景图像需要能够

  • 为什么delete会保留Array元素？

    今天我在 Stack Overflow 上偶然发现了一个问题 如何从 JavaScript 关联数组中删除对象 https stackoverflow com questions 346021 令我震惊的是 所接受的答案既具有误导性 又受到

  • 有人成功使用 Azure AD 对 Node.js Web 应用程序的用户进行身份验证吗？

    我正在尝试使用 Azure Active Directory 对我的 node js Web 应用程序的用户进行身份验证 但到目前为止还没有成功 我想知道是否有人真正实现了它 因为文档很差 通常有示例代码 但实际上没有任何指示所需参数是什么

  • tmux：如何打开光标下的文件

    我是 vim 用户并且习惯了gf命令 打开光标下的文件 现在我想问一下 tmux 是否有类似的东西 我可以在 tmux 窗格中导航 并且经常会出现光标下有一个文件路径的情况 现在我希望能够使用 vim 打开光标下的该文件 A 在当前窗口中

  • 堆栈跟踪或有关 Xcode/iPhone 中未处理异常的更多信息

    请原谅我的无知 但在 iPhone 模拟器中运行 iPhone 应用程序时 关于 Xcode 调试器的一些问题一直困扰着我 有时 当我在 Interface Builder 中搞砸一些东西时 我会在运行时遇到未处理的异常 然后被扔回 Xco

  • 无法使用react js将文件上传到djangorest框架

    我正在使用 React Js 将图像上传到 django Restframework 在这里我使用 fetch API 发送 post 请求 Eapp jsx import React Component from react class

  • 过滤至少有两个模式匹配的地方

    我的 data table 中有很多文本数据 我有几个我感兴趣的文本模式 我想对表格进行子集化 以便它显示匹配的文本至少两个的模式 由于某些模式已经是非此即彼的事实 这使得情况变得更加复杂 例如 paul john 我想我要么想要一个表示在

  • 如何将当前行的值除以下一行的值？

    在 Spark Sql 1 6 版本中 使用DataFrames 有没有一种方法可以计算特定列的每一行当前行与下一行相除的分数 例如 如果我有一个只有一列的表 如下所示 Age 100 50 20 4 我想要以下输出 Franction 2

  • 如何显示下一张/上一张卡片的RecyclerView的一部分

    实现此功能的最佳策略是什么 我有一个带有卡片的水平 RecyclerView 每张卡片都会填满整个屏幕 但我希望它显示下一张卡片和上一张卡片 如果它有多个项目 的一部分 我知道我可以通过设置我的卡来实现这一点android layout w

  • 从java中的String中删除除少数特定标签之外的Html标签

    我的输入是纯文本字符串 要求是删除除少数特定标签之外的所有 html 标签 例如 p li u u li li 如果这些特定标签具有类似属性class or id 我想删除这些属性 几个例子 a href Link a gt Link li

  • Hadoop 2.2.0 与 Mahout 0.8 兼容吗？

    我的 hadoop 集群版本 2 2 0 与 mahout 0 8 一起运行 它兼容吗 因为每当我运行这个命令时 bin mahout recommenditembased input mydata dat usersFile user d

热门标签