程序员经验分享-hwhale

多核机器上的 Hadoop 和 Map-Reduce

2024-03-31

我读过很多关于在机器集群上运行的 Hadoop 和 Map-Reduce 的内容。有人知道 Apache 发行版是否可以在具有多个内核的 SMP 上运行吗？特别是，多个Map-Reduce进程是否可以在同一台机器上运行。调度程序将负责将它们分布在多个核心上。谢谢。 - 公斤


是的。每台机器上都有多个map和reduce槽，这些槽由RAM和CPU决定（每个JVM实例默认需要1GB，因此具有16核的8GB机器仍应有7个任务槽）

from hadoop 维基 http://wiki.apache.org/hadoop/FAQ#I_see_a_maximum_of_2_maps.2BAC8-reduces_spawned_concurrently_on_each_TaskTracker.2C_how_do_I_increase_that.3F

使用配置旋钮：mapred.tasktracker.map.tasks.maximum 和 mapred.tasktracker.reduce.tasks.maximum 来控制数量 映射/减少同时在任务跟踪器上生成。默认情况下，它 设置为 2，因此最多可以看到 2 张地图，并且 2 会减少 TaskTracker 上的给定实例。

您可以在每个任务跟踪器的基础上设置它们以准确反映 你的硬件（即在更强大的任务跟踪器上将它们设置为更高的编号） ETC。）。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

multicore

多核机器上的 Hadoop 和 Map-Reduce 的相关文章

  • 将文件夹名称添加到输出 Pig Latin

    我在 HDFS 中有下一个目录结构 logs folder 2021 03 01 log1 log2 log3 2021 03 02 log1 log2 2021 03 03 log1 log2 日志由文本数据组成 数据中没有日期 因为它已

  • 在 Hive 中获取空值 使用 REGEX 创建和加载查询

    我有一个日志文件 我需要在其中使用 REGEX 存储数据 我尝试了下面的查询 但加载了所有 NULL 值 我已经检查了 REGEXhttp www regexr com http www regexr com 它对我的 数据工作正常 CRE

  • 在hbase中创建表

    我是 hbase 和 hadoop 的新手 无论如何 我已经成功建立了一个由3台机器组成的hadoop集群 现在我需要一些帮助来建立数据库 我有一个表 评论 包含字段 user id comments 对评论的评论 可以多个 和状态字段相同

  • Hive 上的自定义 MapReduce 程序，规则是什么？输入和输出怎么样？

    我被困了几天 因为我想根据我在 hive 上的查询创建一个自定义的地图缩减程序 在谷歌搜索后我发现没有太多例子 而且我仍然对规则感到困惑 创建自定义 MapReduce 程序的规则是什么 映射器和减速器类怎么样 任何人都可以提供任何解决方案

  • Hive如何存储数据，什么是SerDe？

    当查询表时 SerDe 将将文件中的字节中的一行数据反序列化为 Hive 内部使用的对象来操作该行数据 执行 INSERT 或 CTAS 时 请参阅第 441 页上的 导入数据 表的 SerDe 将将 Hive 的一行数据的内部表示序列化为

  • Hadoop setInputPathFilter错误

    我正在使用 Hadoop 0 20 2 无法更改 并且我想向我的输入路径添加一个过滤器 数据如下 path1 test a1 path1 test a2 path1 train a1 path1 train a2 我只想处理所有文件trai

  • 如何使用新的 Hadoop API 来使用 MultipleTextOutputFormat？

    我想编写多个输出文件 如何使用 Job 而不是 JobConf 来执行此操作 创建基于密钥的输出文件名的简单方法 input data type key value cupertino apple sunnyvale banana cupe

  • 将 hadoop fs 路径转换为 ​​EMR 上的 hdfs:// 路径

    我想知道如何将数据从 EMR 集群的 HDFS 文件系统移动到 S3 存储桶 我认识到我可以直接在 Spark 中写入 S3 但原则上 之后执行它也应该很简单 到目前为止 我还没有发现在实践中这是正确的 AWS 文档建议s3 dist cp

  • Hive 中字符串数据类型是否有最大大小？

    谷歌了很多 但没有在任何地方找到它 或者这是否意味着只要允许集群 Hive 就可以支持任意大字符串数据类型 如果是这样 我在哪里可以找到我的集群可以支持的最大字符串数据类型大小 提前致谢 Hive 列表的当前文档STRING作为有效的数据类

  • Lua :: 如何编写加载多个CPU的简单程序？

    我还无法用 Lua 编写一个可以加载多个 CPU 的程序 自从Lua通过协程支持这个概念 http www lua org pil 9 4 html 我相信这是可以实现的 我失败的原因可能是以下之一 这在Lua中是不可能的 我写不出来 an

  • 为什么组合器输入记录的数量比映射的输出数量多？

    Combiner 在 Mapper 之后 Reducer 之前运行 它将接收给定节点上的 Mapper 实例发出的所有数据作为输入 然后它将输出发送到Reducers 因此组合器输入的记录应小于映射输出的记录 12 08 29 13 38

  • shell进程的并行执行

    有没有一个工具可以在 Windows 批处理文件中并行执行多个进程 我发现了一些有趣的 Linux 工具 parallel http mi eng cam ac uk er258 code parallel html and PPSS ht

  • Couchbase/hadoop 连接器：sqoop 作业失败“找到接口 org.apache.hadoop.mapreduce.TaskAttemptContext，但需要类”

    我的配置 CouchBase服务器2 0 Sqoop 1 4 2 针对hadoop版本2 0 0编译 堆栈Hadoop CDH4 1 2 我想使用 CouchBase Hadoop 连接器 http www couchbase com de

  • Hadoop安装问题：

    我跟着this http www bogotobogo com Hadoop BigData hadoop Install on ubuntu single node cluster phpHadoop 安装教程 不幸的是 当我运行全部启动

  • Oozie SSH 操作

    Oozie SSH 操作问题 Issue 我们正在尝试在集群的特定主机上运行一些命令 我们为此选择了 SSH Action 我们面对这个 SSH 问题已经有一段时间了 这里真正的问题可能是什么 请指出解决方案 logs AUTH FAILE

  • R+Hadoop：如何从HDFS读取CSV文件并执行mapreduce？

    在以下示例中 small ints to dfs 1 1000 mapreduce input small ints map function k v cbind v v 2 MapReduce函数的数据输入是一个名为small ints的

  • 如何在 Hadoop 中将 String 对象转换为 IntWritable 对象

    我想转换String反对IntWritableHadoop 中的对象 任何过程都可以进行转换 IntWritable value new IntWritable Integer parseInt someString 并处理以下可能性par

  • hive 从两个数组创建映射或键/值对

    我有两个具有相同数量值的数组 它们映射为 1 1 我需要从这两个数组创建一个键 值对或映射 键 值 任何想法或提示都会有帮助 当前表结构 USA WEST NUMBER Street City 135 Pacific Irvine USA

  • Hive - 线程安全的自动递增序列号生成

    我遇到一种情况 需要将记录插入到特定的 Hive 表中 其中一列需要是自动递增的序列号 即在任何时间点都必须严格遵循 max value 1 规则 记录从许多并行的 Hive 作业插入到这个特定的表中 这些作业每天 每周 每月批量运行 现在

  • YARN UNHEALTHY 节点

    在我们的 YARN 集群已满 80 的情况下 我们看到一些纱线节点管理器被标记为不健康 在深入研究日志后 我发现这是因为数据目录的磁盘空间已满 90 出现以下错误 2015 02 21 08 33 51 590 INFO org apach

随机推荐

  • Delphi - 如何从 Delphi 创建的其他应用程序的控件中获取提示

    我有一个项目需要从 delphi 创建的另一个应用程序的控件 例如 TButton 中获取提示 我使用Hook WH CBT 使用 exe和 dll使其成为全局的 当鼠标指向控件并提示显示和隐藏时 我得到提示的HCBT CREATEWND和

  • 正确使用Java“assert”关键字

    我一直不明白什么是assert用于 尽管我已经阅读了很多示例 但它们并没有真正让我知道我应该使用它做什么或为什么 因此 我不会问一个例子 而是提供一个例子 让我知道这是否是正确的用法assert The idea is that the m

  • 如何在 ASP.NET MVC 中使用部分视图？

    我正在构建一个 ASP NET MVC 应用程序 并希望使用部分视图来显示我的产品类别 它将是一个网上商店 在每个页面上的菜单栏下方 我想显示另一个包含所有产品类别的栏 我想为此使用部分视图 目前在 Views Categories我创建了

  • 用字母递增字符串？

    我需要从 增加一个字符串aaa to zzz并在控制台中写下每个增量 增量是一个词吗 事情会是这样的 aaa aab aac aaz aba abb abc abz aca acb 等等 到目前为止 我已经通过这样做增加了一个字母 Stri

  • 在 Websphere Application Server 上运行基于 Filenet 的 Web 应用程序时出现凭证异常

    我开发了一个 REST 服务 可以从内容引擎存储中检索数据 为简单起见 我创建了具有只读权限的用户帐户 并将其用于 CE 授权 使用以下代码 UserContext context UserContext get Connection co

  • 如何将协程直接分派到 JVM 上的主线程？

    我正在为 jvm 设置一个基于 kotlin 协程的网络框架 Client 和 Server 类实现 CoroutineScope 并且 coroutinecontext 的重写是 Dispatchers IO 因为我非常确定这是用于这种情

  • C 中的递归深度是否有任何硬连线限制

    正在讨论的程序尝试计算sum of first n natural numbers using recursion 我知道这可以使用一个简单的公式来完成n n 1 2但这里的想法是使用recursion 程序如下 include

  • C/C++ 创建一个具有负值的枚举，无需对其进行编号

    例如 在 C C 中 我会有以下代码 typedef enum fruits apple banana lemon orange fruit t 这相当于 typedef enum fruits apple 0 banana 1 lemon

  • 如何跨应用程序整合 ASP.NET 母版页？

    第一次在这些板上提出问题 希望我能得到一些帮助 这里是 我正在努力在我的客户处启动 NET 实践 目前 我们有 5 个小型 NET 应用程序 其中一些已投入生产 它们大多是带有一些数据输入 业务逻辑功能的小型报告 这些应用程序中的每一个当前

  • TypeScript 在类型构造函数中推断回调返回类型

    我想为接收类型的函数编写一个类型构造函数S和一个函数S到另一种类型 然后将该函数应用于S并返回结果 This works but it s tied to the implementation function dig

  • 如何将 REST 请求转发到另一个资源？

    在我当前的架构中 我有一个位于后面的 JAX RS 资源 categories categories catId 是这样实现的 Path categories Produces application json public class C

  • jquery Mobile Tap 和冒泡/传播

    在 android 2 x 浏览器中查看此示例 它是在我的应用程序中复制场景的示例 http johnchako net samples tap html http johnchacko net samples tap html 它是关于监

  • Ionic 3：安装 cordova-plugin-camera 和 Native Web-intent 后 Android 添加平台失败

    首先 感谢您抽出时间来帮助我 Summary 尝试将 cordova plugin camera 添加到我的 ionic 3 项目中 经过多次失败并最终成功后 现在我的应用程序不再在我的 Android 上构建 开始编辑 经过多次测试 当我

  • Polymer 中动态生成的 HTML 的数据绑定？

    当我在我的里面写下以下内容时

  • 以数据帧作为输入的模型上的多重处理

    我想在模型上使用多重处理 以使用数据帧作为输入来获得预测 我有以下代码 def perform model predictions model dataFrame cores 4 try with Pool processes cores

  • 设置自定义视图的样式

    我的 Android 项目中有一些自定义视图 并且我已将相关详细信息添加到 attrs xml 文件中 现在我可以通过 XML 实现我的对象 这很好用 我如何设计这些元素的样式 当我尝试在 styles xml 中使用自定义属性时 出现错误

  • 从 MYSQL DB 中搜索电话号码

    我有一张桌子phone柱子 其中的电话看起来像 1 123 456 3780 如果用户在搜索字段 35 中输入 我应该向他显示所有拥有手机的用户 3 534 000 1010 1 350 000 9090 1 003 534 2343 1

  • Signal-R 如何适应 IIS 激活模型？

    我正在学习 Signal R 这是我一直以来的想法 Signalr 如何融入 IIS ASP NET 生命周期 集线器的寿命有多长 我看到它们有重新连接语义 IIS 是否会阻止具有持久连接的 AppDomain 关闭 据我了解 IIS 旨在

  • 搜索二维数组内的子数组（图像识别）[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 本质上 我有一个 numpy 图像数组 我试图查找它是否包含特定 RGB 像素值的 2x2 块 因此 例如 如果我的 简化的 图像数组类似

  • 多核机器上的 Hadoop 和 Map-Reduce

    我读过很多关于在机器集群上运行的 Hadoop 和 Map Reduce 的内容 有人知道 Apache 发行版是否可以在具有多个内核的 SMP 上运行吗 特别是 多个Map Reduce进程是否可以在同一台机器上运行 调度程序将负责将它们

热门标签