程序员经验分享-hwhale

为什么不在 Hadoop 节点中启用虚拟节点？

2023-12-20

In url: http://www.datastax.com/docs/datastax_enterprise3.2/solutions/about_hadoop http://www.datastax.com/docs/datastax_enterprise3.2/solutions/about_hadoop

“在生产集群或数据中心上启动分析/Hadoop 节点之前，禁用虚拟节点配置非常重要。”

如果我在分析/Hadoop 节点中启用虚拟节点，会发生什么情况？


如果在 hadoop 节点上启用虚拟节点，则会将映射器的数量增加到至少虚拟节点的数量，从而降低小型 Hadoop 作业的性能。例如。如果使用默认的 256 个虚拟节点/物理节点设置，每个 Hadoop 作业将启动 257 个映射器。这些映射器可能需要处理的数据太少，服务器将花费大部分时间来管理这些任务，而不是做有用的工作。

在一个像样的硬件上，一份工作no data256 个 vnode 可能需要大约 5-10 分钟，而在配置没有 vnode 的情况下，相同的作业仅需要大约 20-40 秒。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

datastaxenterprise

为什么不在 Hadoop 节点中启用虚拟节点？ 的相关文章

随机推荐

  • 如何使用 Canvas Jetpack Compose 绘制曲线图

    有谁知道如何在 Jetpack Compose 中使用画布绘制每个角都弯曲的线条 我已经实现了这个使用Canvas drawPoints 但我想让每个角都弯曲成这样 非常感谢任何帮助 None

  • Flutter 和 Firestore 请求中没有用户信息

    Using flutter http flutter io 我已经安装了firebase 身份验证 https pub dartlang org packages firebase auth and 火库 https pub dartlan

  • 如何根据 AngularJS 中的过滤结果更改类？

    我无法弄清楚如何根据过滤器的状态 结果更改类的样式 我的代码 div div style margin top 30px a class item item recipe img class thumbnail src images thu

  • VS 2017 不会隐式将 const char* 转换为 char* [重复]

    这个问题在这里已经有答案了 我最近安装了 VS 2017 并遇到了一种奇怪的问题 基本上 如果不将硬编码字符串显式转换为 char 我就无法使用它们 如果我说类似的话Function test 它只会抛出一个错误 指出 const char

  • 优化 SELECT ... WHERE IN (...)

    我从外部系统收到一系列产品 ID 我必须显示保留序列的产品信息 我使用以下选择来执行此操作 SELECT FROM products WHERE prodid in 10331 11639 12127 ORDER BY Field prod

  • 多个独立的 mariadb 用法：多个容器还是一个？隔离与效率？

    我有一个建筑问题 假设我们有一个具有多个子系统的系统 A B 等等 每个子系统都需要保存其数据 并且它们都使用MariaDB 子系统A可能需要一个database as in create database 称为a db 和子系统B可能需要

  • 忘记放置常规图像，但它有 Retina @2x 图像

    我已经提交了我的应用程序 它支持常规版本和视网膜显示版本 我忘记放置一个常规图像文件 a png 但它有 电子邮件受保护 cdn cgi l email protection 视网膜图像 普通 iPhone 是否能够显示 电子邮件受保护 c

  • 挂钩事件时 C# 中的 COMException

    当尝试挂钩 COM 对象上的事件时 我收到 COM 异常 这是我试图执行的代码 COMClass a IComClass as ComClass a SomeEvent new SomeEvent EventHandler MethodNa

  • WebAPI CORS 和 Ninject

    我有一个 C WebAPI 项目 它具有 ninject 并且所有 get 函数都可以工作 然而 每次我尝试发布时 我都会收到来自 api 的 方法不允许 响应 我读过一些地方 这是 api 拒绝跨源调用的原因 所以我使用包管理器控制台并安

  • iOS 自动化测试 - XCTest 与 Appium

    我正在寻求测试工程师和 iOS 开发人员对特定问题的意见 我已经使用 Appium 一年多了 在真实设备上运行移动 Web 测试时遇到了各种困难 每次 Apple 在 XCTest 或 Safari 中进行更改时 Appium 都会直接受到

  • 按父项和子项列出的订单列表

    我有一个必须由父母订购的产品列表 然后是该父母的所有孩子 然后是下一个父母 等等 Product One Child One Child Two Product Two Child One 这些产品都在一个带有父 id 字段的表中 子产品有

  • 如何仅设置 UIView 的左上角和右上角的cornerRadius？

    有没有办法设置cornerRadius仅适用于 a 的左上角和右上角UIView 我尝试了以下操作 但最终再也看不到视图了 UIView view UIView alloc initWithFrame frame CALayer layer

  • 通过 Cloud Identity-Aware 代理连接失败

    I am getting the following disconnection issues in the GCP Jupiter notebook 错误代码 4010 和 错误代码 1006 你能建议一些解决方案吗 作为 IAP 配置步

  • 框架布局反转

    我试图找出如何改变 FrameLayout 堆叠其子项的方式 目前它是最新的在顶部 先进先出 我想更改它 使最新的孩子位于底部 FILO 我尝试查看 FrameLayout 的源代码 但我似乎可以找到有关它如何堆叠其子元素的任何线索 起初我

  • 更改mysql的tmp文件夹

    我们的 Mysql 查询使用临时表 临时表会在过程中创建临时文件 目前这些文件被写入 tmp mysql写入的临时文件夹的路径究竟如何更改 你应该编辑你的 my cnf tmpdir whatewer you want 然后重新启动mysq

  • 指定的 DSN 包含体系结构不匹配错误

    我收到这个错误 指定的 DSN 包含驱动程序之间的体系结构不匹配 及应用 尝试使用 NetBeans 和 Java 编程语言连接到数据库时 我使用的是 Microsoft Access 2010 我的系统运行在 64 位 Windows 7

  • 即使图像无效，Firefox“onerror”也不会触发

    我在图像标签上有一个 onerror 处理程序 用于在找不到远程图像时处理切换 问题是对于某些损坏的远程图像 它不起作用 http a3 twimg com profile images 522455109 calvin and hobbe

  • 希伯来语可以与 TextToSpeech 和 YandexTranslate 一起使用吗？

    当我在 App Inventor 2 中尝试以下内容 即希伯来语口语 时 我什么也没听到 然而 以下 将参数切换为英语口语 效果很好 请注意 我更改了变量 语言 国家 地区 setance 和 希伯来语句子 以在英语口语 成功 和希伯来语口

  • Scala 中的偏函数

    我只是想澄清一些有关 Scala 中部分定义的函数的内容 我查看了文档 它说部分函数的类型是PartialFunction A B 我可以定义一个偏函数 例如 val f PartialFunction Any Int 我想知道对于类型A

  • 为什么不在 Hadoop 节点中启用虚拟节点？

    In url http www datastax com docs datastax enterprise3 2 solutions about hadoop http www datastax com docs datastax ente

热门标签