Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
如何访问reduce中的第0个元素以计算数组中的重复次数
在节点学校的突发奇想中 我正在尝试使用reduce计算字符串在数组中重复的次数 var fruits Apple Banana Apple Durian Durian Durian obj fruits reduce function pr
javascript
nodejs
MapReduce
如何在oozie作业中指定多个libpath?
我的 oozie 工作使用 2 个 jarx jar and y jar以下是我的 job properties 文件 oozie libpath lib oozie use system libpath true 当两个 jar 都位于
Hadoop
jar
MapReduce
oozie
Hadoop Map-Reduce 操作在写入输出时失败
我终于能够在 Hadoop 上启动 Map Reduce 作业 在单个 debian 机器上运行 但是 MapReduce作业总是失败并出现以下错误 hadoopmachine debian hadoop 1 0 1 bin hadoop
Java
Hadoop
MapReduce
Debian
fileaccess
使用 XMLInputFormat 在 hadoop 中解析 xml 时不执行我的 hadoop 映射器类
我是 hadoop 新手 使用 Hadoop 2 6 0 版本并尝试解析复杂的 XML 经过一段时间的搜索 我了解到 对于 XML 解析 我们需要编写自定义的 InputFormat 即 mahout 的 XMLInputFormat 我也
Java
Hadoop
xmlparsing
MapReduce
mahout
如何在映射器(Hadoop)中使用MATLAB代码?
我有一个处理图像的 matlab 代码 我想创建一个使用该代码的 Hadoop 映射器 我遇到了以下解决方案 但不确定哪一个最好 因为对我来说 在 hadoop 中的每个从属节点上安装 matlab 编译器运行时非常困难 手动将该 matl
Java
MATLAB
Hadoop
MapReduce
Hadoop 文件分割:CompositeInputFormat:内连接
我正在使用 CompositeInputFormat 为 hadoop 作业提供输入 生成的分割数是作为 CompositeInputFormat 用于连接 输入的文件总数 该作业完全忽略块大小和最大拆分大小 同时从 CompositeIn
Hadoop
split
MapReduce
组合器可以处理多个映射器的结果吗?
如果在同一个节点上执行多个映射器 combiner 会合并多个映射器的结果吗 我在文档或书籍中找不到这个问题的答案 我可以找到的组合器示例似乎都产生了影响 即使它只能聚合来自一个映射器的结果 来自雅虎的Hadoop教程 http devel
Hadoop
MapReduce
获取 MongoDB 中特定字段平均值的最快方法
假设我有一个如下所示的数据集 id ObjectId 4dd51c0a3f42cc01ab0e6506 views 1000 status 1 id ObjectId 4dd51c0e3f42cc01ab0e6507 views 2000
MongoDB
MapReduce
NoSQL
hadoop mapreduce 框架将我的 System.out.print() 语句发送到哪里? (标准输出)
我想调试一个mapreduce 脚本 并且在没有遇到太多麻烦的情况下尝试在我的程序中放入一些打印语句 但我似乎无法在任何日志中找到它们 实际上标准输出只显示System out println of the 非映射缩减类 The Syste
Hadoop
MapReduce
在 Windows 上无需管理员权限运行 Hadoop MR 作业
我已经在Windows中安装了Hadoop 2 3 0并且能够成功执行MR作业 但是 当我尝试以普通权限 无管理员权限 执行 MR 作业时 意味着作业获取失败并出现以下异常 在这里我尝试使用 Pig 脚本示例 2014 10 15 12 0
Java
Windows
Hadoop
MapReduce
Hadoop2
如何在代码中查找hadoop作业的作业ID?
我有一个有循环的 Hadoop 程序 在循环的每次迭代中都会创建一个作业 如何在代码中找到职位 ID 当您提交您的Job例如 您可以使用以下命令获取有关作业 ID 的信息getJobID method Configuration confi
Hadoop
MapReduce
如果单词的第一个字母是元音,如何返回 1,否则返回 0。映射器(MapReduce)问题
这是我正在处理的 MapReduce 问题的第一部分 我需要一个函数 如果单词的第一个字母以元音开头 则返回 1 否则返回 0 该程序通过将文本文件传输到映射器来在终端中运行 如下所示 cat test txt python3 mapper
python
MapReduce
Generator
yield
mapper
Hive 无法手动设置减速器数量
我有以下配置单元查询 select count distinct id as total from mytable 它会自动生成 1408 制图员1 减速机 我需要手动设置减速器的数量 我尝试了以下方法 set mapred reduce
Hadoop
MapReduce
hive
使用 map-reduce 编写一个简单的 group by (Couchbase)
我对整个映射减少概念很陌生 我正在尝试执行一个简单的映射减少功能 我目前正在使用 Couchbase 服务器作为我的 NoSQL 数据库 我想获得所有类型的列表 key 1 value null key 2 value null key 3
MapReduce
NoSQL
couchbase
如何使用Reactor框架2.x执行多线程map/reduce?
我之前问过这个问题 https stackoverflow com questions 22844717 how do you execute map reduce operations with the reactor framework
Java
Multithreading
concurrency
MapReduce
reactor
Hadoop ChainMapper、ChainReducer [重复]
这个问题在这里已经有答案了 我对 Hadoop 比较陌生 并试图弄清楚如何使用 ChainMapper ChainReducer 以编程方式链接作业 多个映射器 减速器 我找到了一些部分示例 但没有一个完整且有效的示例 我当前的测试代码是
Hadoop
MapReduce
chaining
mapreduce 复合关键示例 - 未显示所需的输出
作为mapreduce和hadoop世界的新手 在尝试了基本的mapreduce程序之后 我想尝试compositekey示例代码 输入数据集如下 国家 州 县 百万人口 美国 加利福尼亚州 阿拉米达 100 美国 加利福尼亚州 洛杉矶 2
Java
Hadoop
MapReduce
使用JAVA将文件从HDFS复制到本地文件系统
我正在尝试将文件从 HDFS 复制到本地文件系统进行预处理 下面的代码应该根据文档工作 尽管它没有给出任何错误消息并且映射缩减作业运行顺利 但我在本地硬盘驱动器上看不到任何输出 您认为问题出在哪里 谢谢 try Path phdfs inp
Hadoop
MapReduce
HDFS
Hive Map join:内存不足异常
我正在尝试使用一个大表 10G 和一个小表 230 MB 来执行地图端 对于较小的情况 在连接关键列后 我将使用所有列来生成输出记录 我使用了以下设置 设置 hive auto convert join true 设置 hive mapjo
hive
MapReduce
配置 MapReduce 作业时使用多个 InputFormat 类
我想编写一个可以处理文本和 zip 文件的 MapReduce 应用程序 为此 我想使用不同的输入格式 一种用于文本 另一种用于 zip 可以这样做吗 从 ChrisWhite的答案延伸一点 你需要的是使用自定义InputFormat an
Java
Hadoop
MapReduce
«
1 ...
3
4
5
6
7
8
9
...25
»