如何检查Hadoop中Map任务的内存占用

2024-02-10

我知道我可以通过设置 JVM 参数来控制映射(或减少)任务的最大内存。但我想知道是否有办法查看任务当前的内存使用情况?


启用远程 HPROF 分析。 HPROF 是 JDK 附带的一个分析工具,虽然很基本,但可以提供有关程序的 CPU 和堆使用情况的有价值的信息。 要使用它,您可以在代码中尝试:

conf.setBoolean("mapred.task.profile", true);
conf.set("mapred.task.profile.params", "-agentlib:hprof=cpu=samples," +
    "heap=sites,depth=6,force=n,thread=y,verbose=n,file=%s");
conf.set("mapred.task.profile.maps", "0-2");
conf.set("mapred.task.profile.reduces", ""); // no reduces

有关更多详细信息,请参阅“Hadoop 权威指南”,第 5 章 ->“调整作业”->“分析任务”。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何检查Hadoop中Map任务的内存占用 的相关文章

随机推荐

  • 防止在 ASP.NET 输入字段中按 Enter 进行回发

    我在 javascript 和 asp net 中的 Enter 键有问题 我有一个像这样的控件 带有一个 textchanged 事件 它会进行查找 但我想在用户输入时控制它
  • 从 Base 向下转换为 Derive Segmentation 错误

    我正在学习动态转换并搜索了很多网站 我得出的结论是动态转换可以从基础转换为派生并派生到基础 但是 当我从 Base 进行强制转换以派生时 它会出现分段错误 这是代码 我期望从 A 中得到一个 但即使在铸造之后它也给了我一个 D class
  • 如何使用Dojo动态添加div?

    我有以下静态 div div div 我想使用 dojo 在 div1 中动态添加一个 id 为 div1 1 的 div 我该怎么做 您可以仅使用 Dojo Base 来完成此操作 如果您使用 trunk 或 Dojo 1 3 则无需包含
  • Android 深度链接到应用程序

    我正在尝试创建一个可以通过电子邮件发送的链接 当在安装了我的应用程序的 Android 设备上打开该链接时 该链接将自动打开我的应用程序中的正确页面 我已经通过几种不同的方式部分地解决了这个问题 但发现了一些问题 我想知道是否有人有解决方案
  • pagehide 和 pageshow 事件在 ios chrome 上无法按预期工作

    Apple 文档在此处列出了可用的 iOS 浏览器事件 https developer apple com library archive documentation AppleApplications Reference SafariWe
  • 在哪里可以找到以前版本的 Azure Service Fabric SDK?

    我需要找到 Azure Service Fabric SDK 的较旧 SDK 版本 准确地说是 2 1 163 它不再在 Web Platform Installer 上可用 并且在其他地方也找不到它 有人可以指点我吗 非常感谢 这些是链接
  • “调用布尔值的成员函数 fetch_assoc()”[重复]

    这个问题在这里已经有答案了 我看到了很多关于此错误的问题 但似乎没有一个答案可以解决我的问题 抱歉 如果我错过了一个 我的脚本一直给我一个错误提示 调用布尔值的成员函数 fetch assoc 但我不明白这是怎么回事 Both mysqli
  • jQuery 问题 - 未捕获的类型错误:无法读取未定义的属性“浏览器”

    我正在尝试向网站添加滑块 当我在本地测试时 它在标准 html 文件中工作正常 但是当我尝试将其传输到 WordPress 网站时 我不断收到此错误 未捕获的类型错误 无法读取未定义的属性 浏览器 它指向问题代码中的第 11 行 isIE
  • libjpeg 版本6b jpeg_stdio_src 与 jpeg_mem_src

    我正在使用 Libjpeg 版本 6b 在版本 8 中 他们有一个很好的函数 可以从内存中读取数据 称为jpeg mem src 不幸的是版本 6b没有这个功能 我可以使用什么来直接从内存读取压缩数据 我所看到的只是jpeg stdio s
  • 如何在 yii2 的插入验证器上使用必需的?

    任何人都可以对如何使用提出建议 on gt insert 验证在yii2 我用过 array field name required on gt insert in Yii1 but in yii2它不会检查我是否设置 field name
  • 如何根据 frontmatter 对 GraphQL 查询进行排序

    我是新来的GraphQL并已成功对数据进行排序allMarkDownRemark查询 但是我需要的是能够为我们提供allFile查询 然后仍然按frontmatter 这可能吗 这是返回正确数据的查询 删除排序 allFile limit
  • Javascript 在页面加载时预先选择文本区域

    我有一个带有文本区域的页面 当加载页面时 我想预先选择文本区域 就像 twitter com 一样 这样用户就不必单击它 你知道怎么做吗 以前谢谢 罗德里戈 阿尔维斯 维埃拉 document ready function text are
  • TSQL alter table 添加级联删除和更新约束

    我正在尝试在 tsql 中创建更新和删除约束 我尝试了几种不同的方法 现在我有点困惑和沮丧 看起来很简单 我知道你无法改变现有的约束 所以我不确定如何做到这一点 alter table AllowedCars add constraint
  • 使用应用程序池标识的 IIS 应用程序丢失主令牌?

    这是一个关于模糊问题的问题 我尝试提供所有相关数据 希望有人能提供有用的信息 对冗长的描述表示歉意 我们的网络应用程序 我们有一个在 IIS 7 5 中运行的 NET 4 Web 应用程序 用于访问 Active Directory 和 S
  • GWT 中的 ByteBuffer 到 String

    On a PlayN http code google com p playn 项目我有以下Java代码 import com google common base Charsets import java nio ByteBuffer B
  • Chrome 中的 cordova-plugin-file:cordova 未定义

    我在 ionic 应用程序中使用 cordova plugin file 下载图像并保存到本地 当我在模拟器或iPhone中运行它时 没有错误 但是当我在Chrome中测试它时 它说 cordova is not defined当我尝试访问
  • 哪个 Firefox 版本与 Selenium 2.53.0 兼容?

    哪个 Firefox 版本与 Selenium 2 53 0 兼容 我尝试使用 Firefox 45 0 但出现以下异常 org openqa selenium WebDriverException Failed to connect to
  • 显示比“无法解码 JSON 对象”更好的错误消息

    从一些长而复杂的 JSON 文件加载数据的 Python 代码 with open filename r as f data json loads f read 注 最好的代码版本应该是 with open filename r as f
  • 在 Windows 通用应用程序中发送电子邮件

    是否可以在适用于 Windows 8 1 和 Windows Phone 8 1 的 Windows 通用应用程序中发送电子邮件 await Launcher LaunchUriAsync new Uri mailto email prot
  • 如何检查Hadoop中Map任务的内存占用

    我知道我可以通过设置 JVM 参数来控制映射 或减少 任务的最大内存 但我想知道是否有办法查看任务当前的内存使用情况 启用远程 HPROF 分析 HPROF 是 JDK 附带的一个分析工具 虽然很基本 但可以提供有关程序的 CPU 和堆使用