程序员经验分享-hwhale

Hadoop：减速器的数量不等于我在程序中设置的数量

2023-12-09

我已将 mapred.tasktracker.reduce.tasks.maximum 设置为 10mapred-site.xml，我也写jobConf.setNumReduceTasks(5)在我的工作中。

如果我在 Shell 中运行该作业，则一切正常。

但是当我通过 eclipse 运行相同的作业时，只启动了一个减速器。

我尝试在 Eclipse 中编辑 Map/Reduce Locations，然后设置mapred.reduce.tasks到10。但这仍然不起作用。

eclipse 中还有其他参数可以调整吗？


在 eclipse 中运行它似乎使用本地作业运行器。它只支持 0 或 1 个减速器。如果您尝试将其设置为使用多个减速器，它会忽略它并只使用一个。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Java

Hadoop

MapReduce

Hadoop：减速器的数量不等于我在程序中设置的数量 的相关文章

随机推荐

  • 在大端机器中对小端整数进行简单的按位操作？

    对于特定需求 我正在用四个一字节字符构建一个四字节整数 没有使用任何特别的东西 在我的小端平台上 return v1 lt lt 24 v2 lt lt 16 v3 lt lt 8 v4 我知道存储在大端机器中的整数看起来像AB BC CD

  • 单击 JPanel 绘制形状

    我有一个包含 3 个 JPanel 的 JFrame 选项 菜单 画布 在选项中有许多代表形状的 JButton 目的是单击形状的 JButton 例如矩形 然后单击画布上的任意位置 形状将绘制在那里 由于某种原因 形状并不总是被绘制 只有

  • C# 打开文件并传递参数给关联的应用程序

    我正在尝试启动为指定附加参数的扩展注册的默认应用程序 ProcessStartInfo p new ProcessStartInfo p Arguments myargument p FileName file ext Process St

  • Symfony2 - 覆盖模板包

    我想覆盖默认的 SonataAdmin 模板 我在我的命名空间 bundle resources views中创建了一个standard layout html twig 相同结构 相同文件名 相同内容 我将源模板的所有内容复制到目标模板中

  • MongoDB：有没有办法使用聚合来检测价值趋势？

    我正在尝试检测集合中值的 趋势 假设我有以下内容 created at 2014 12 01 value 1015 created at 2014 12 01 value 1015 created at 2014 12 01 value 1

  • 处理 IE 中的跨帧按键

    我一直在努力处理onkeydown通过 JavaScript 跨多个框架的事件 不 不幸的是我无法摆脱框架 请参阅我之前的问题here 我正在另一个框架中获取文档的句柄 并将其设置为onkeydown处理程序等于我的函数 没有抛出错误 但是

  • 如何在联结表中进行编辑

    在连接表中进行编辑的最佳实践是什么 Items ItemId Name Price Shops ShopId Name Address ItemsInShops ItemId ShopId DeliveryDate 现在我一家店里有30件商

  • Javascript - 如何检查 window.open(url) 是否成功？

    如何检查状态和 或等待连接成功window open 或者建议更好的选择 var url https www google com var newWindow window open url main if newWindow succes

  • Address Sanitizer 可以在检测到错误后立即中止吗？

    我正在结合使用系统调用检查器 fsanitize address当 ASAN 发现错误时 它会调用一些系统调用 ioctl ISATTY 等 打印报告时 系统调用检查器中断了 ASAN 的 ioctl 并且未正确收集错误报告 我希望 ASA

  • PHP暴力破解密码生成器

    我希望能够输入一个数字并获取由字符串或唯一字符构建的密码 因此 如果字符串中有两个字符 string AB 这些是期望的结果 in out 0 A 1 B 2 AA 3 AB 4 BA 5 BB 6 AAA 7 AAB 8 ABA 9 AB

  • 使用键盘向下键在 Jpanel 上移动球

    我有一个从 jpanel 扩展而来的 mypanel 类 我在其中使用图形并制作一个球 第二类是 Main 我在其中制作 JFrame 并将面板添加到框架 Main 中还有另一个类 MKeyListener 它扩展自 KeyAdapter

  • 试图弄清楚如何跟踪 Pygame 事件并组织游戏的功能

    我是 Pygame 的新手 所以我仍在为整个 事件 概念而苦苦挣扎 基本上 我当前的挑战是 让 pygame event get 在主循环之外工作 以便我可以允许玩家从游戏的一个部分继续到下一个部分 例如 通过按空格键 找出一种方法在主线程

  • Xamarin Forms - 每 10 秒获取一次设备位置（当应用程序在前台/后台运行时）

    我创建了一个 Xamarin 表单应用程序 应用程序应定期 每 10 秒 获取设备 iOS 和 Android 的位置 我怎样才能实现这个目标 我知道有一些库 例如 Xamarin Essentials 但我无法决定应该获取该位置多少次 当

  • 在 Python 3 中，当我索引字节数组时会发生什么？

    在 Python 3 中 我可以通过编码字符串来创建字节数组 gt gt gt foo abc gt gt gt bar foo encode utf 8 gt gt gt bar b abc 但是当我索引该字节数组时 我得到了其他东西 g

  • Android 文本视图转换

    我是安卓开发新手 我想创建一个带有两个文本视图的启动屏幕 在这个启动屏幕中我想要两个过渡 1 文本视图1从顶部到中心的过渡 2 文本View 2从底部到中心的过渡 两个转换应该同时执行 如何实现这一目标 Thanks 创建一个xml文件在你

  • 使用动态链接共享的内容在打开后显示的内容与共享的内容不同

    我正在开发一个 Android 应用程序 一些数据正在从FirebaseDatabase并且正在显示在RecyclerView在我的应用程序中 The RecyclerView has cards在里面 每张卡片上都会显示图像和文本 卡上有

  • 厨师食谱 - 重新加载路径

    我刚刚使用 Chef Cookbook 安装了 Java 并为所有用户更新了 PATH 环境变量 将新文件添加到 etc profile d 是否可以告诉厨师重新加载 PATH 变量 当我做这样的事情时 execute java check

  • 如何使用 API 和 PHP 添加对 YouTube 视频评论的回复

    如何使用 PHP API 添加对 YouTube 视频评论的回复 通过搜索一分钟 我发现了这个 https developers google com youtube 2 0 developers guide protocol commen

  • 关闭jquery模态对话框很慢

    我有一个模式对话框 我在其中放置 html 表单的内容 该表单有一个提交和取消按钮 我找到了取消按钮 甚至通过非常缓慢地按下 x 来关闭对话框 虽然只慢了几秒 但足够长 足以让人认为存在疯狂的鼠标点击器可能发疯的问题 有没有比我正在做的更好

  • Hadoop：减速器的数量不等于我在程序中设置的数量

    我已将 mapred tasktracker reduce tasks maximum 设置为 10mapred site xml 我也写jobConf setNumReduceTasks 5 在我的工作中 如果我在 Shell 中运行该作

热门标签