程序员经验分享-hwhale

h2o 模型不适合驱动程序节点的内存错误

2024-01-07

我通过 H2O 中的 R 代码运行 GBM 模型，并得到以下错误。相同的代码在几周内运行良好。想知道这是 H2O 方面的错误还是用户系统上的配置？

water.exceptions.H2OModelBuilderIllegalArgumentException：GBM 模型的非法参数：gbm-2017-04-18-15-29-53。详细信息：字段错误：_ntrees：树模型不适合驱动程序节点的内存（每树 23.2 MB x 1000 > 3.32 GB） - 尝试减少 ntrees 和/或 max_depth 或增加 min_rows！


对我有用的修复方法是设置both初始化 H2O 时的最小和最大内存大小。例如：

如果未指定最小或最大内存大小，则会失败：

localH2O <- h2o.init(ip='localhost', nthreads=-1)

INFO: Java heap totalMemory: 1.92 GB
INFO: Java heap maxMemory: 26.67 GB
INFO: Java version: Java 1.8.0_121 (from Oracle Corporation)
INFO: JVM launch parameters: [-ea]
INFO: OS version: Linux 3.10.0-327.el7.x86_64 (amd64)
INFO: Machine physical memory: 1.476 TB

仅指定最大内存大小时会失败：

localH2O <- h2o.init(ip='localhost', nthreads=-1,
                     max_mem_size='200G')

INFO: Java availableProcessors: 64
INFO: Java heap totalMemory: 1.92 GB
INFO: Java heap maxMemory: 177.78 GB
INFO: Java version: Java 1.8.0_121 (from Oracle Corporation)
INFO: JVM launch parameters: [-Xmx200G, -ea]
INFO: OS version: Linux 3.10.0-327.el7.x86_64 (amd64)
INFO: Machine physical memory: 1.476 TB

指定时就成功了both最小和最大内存大小：

localH2O <- h2o.init(ip='localhost', nthreads=-1,
                     min_mem_size='100G', max_mem_size='200G')

INFO: Java availableProcessors: 64
INFO: Java heap totalMemory: 95.83 GB
INFO: Java heap maxMemory: 177.78 GB
INFO: Java version: Java 1.8.0_121 (from Oracle Corporation)
INFO: JVM launch parameters: [-Xms100G, -Xmx200G, -ea]
INFO: OS version: Linux 3.10.0-327.el7.x86_64 (amd64)
INFO: Machine physical memory: 1.476 TB
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

model

h2o

GBM

h2o 模型不适合驱动程序节点的内存错误 的相关文章

  • 我应该从 MVC 框架中的控制器或模型中调用 redirect() 吗？

    我正在使用 MVC PHP 框架 Codeigniter 并且我有一个直接的问题 即从哪里调用redirect 控制器还是模型 设想 用户导航到 www example com item 555 在我的模型中 我在项目数据库中搜索 ID 为

  • EF 映射对象的不兼容数据读取器异常

    我正在使用实体框架并更新了表及其存储过程 但在调用存储过程时出现以下错误 数据读取器与指定的不兼容 FormValueModel Valuation 类型的成员 ValuationId 确实 数据读取器中没有同名的相应列 Valuation

  • h2o.saveModel 在 Windows 8 上抛出目录异常

    我在 R 中使用 h2o 版本 3 0 0 22 并尝试保存我的模型 但我似乎无法弄清楚预期的格式 我尝试了各种变化 但遇到了各种不同的异常 h2o saveModel model dir c temp name my model ERRO

  • MVC 模型对象、域对象和 DTO 之间有什么区别

    MVC 模型对象 域对象和 DTO 之间有什么区别 我的理解是 MVC 模型对象 对要由相应视图显示的数据进行建模 它可能不会直接映射到域对象 即可能包含来自一个或多个域对象的数据 客户端 可能包含业务逻辑 例如 验证 计算属性等 没有持久

  • 从 C# 对象自动生成 javascript 对象模型

    寻找现有的 经过验证的解决方案来快速生成客户端JavaScript 对象模型代表一个现有的 C 对象 我想象有一个 T4 模板或其他一些方法 但我缺乏找到它的术语 我不是在讨论序列化以获取现有 C 对象实例的 JSON 表示形式或任何与反序

  • 关闭 Rails 中的“updated_at”列

    我有一个简单的 日志 模型 它记录调用控制器操作的事实 该 日志 记录的条目应该创建一次并且永远不会更改 另外 我的数据库中会有很多这样的记录 因此 不需要 updated at 列 不需要浪费硬盘上的内存 我如何告诉 Rails 仅保留

  • ASP.NET MVC 中与嵌套子模型和 PartialView 的模型绑定

    我有以下类型和类 namespace MVC Models public class Page public EditableContent Content get set public class EditableContent publ

  • Kohana 3：经过验证的模型示例

    我找到有关模型和验证的示例和教程 我说验证 或至少大部分 应该在模型中 我同意这一点 但我无法提供任何示例或教程来说明应该如何完成此操作 谁能帮我举一个简单的例子来说明如何做到这一点 模型中的规则在哪里 验证将在哪里进行 控制器如何知道验证

  • 多表继承模型和相同两个模型之间的简单一对一关系有什么区别？

    这些实现之间有什么区别 Django 有何不同 除了继承 Metaordering and get latest by属性 1 models py from django db import models class Place model

  • Rails：是否可以向 has_and_belongs_to_many 关联添加额外的属性？

    我的意思是 如果我有两个模型 通过 has and belongs to many 关联连接 我可以在每个关联的连接表中存储其他数据吗 也就是说 额外的数据不会成为任一表中单个记录的一部分 而是它们之间的连接 我的实际模型如下 class

  • H2O 是否或将会提供任何与 h2o word2vec 一起使用的预训练向量？

    H2O 最近在其 API 中添加了 word2vec 能够在您自己提供的语料库上轻松训练自己的词向量真是太好了 然而 使用大数据和大型计算机存在更大的可能性 由于网络带宽和计算能力的限制 谷歌或 H2O ai 等软件供应商可能无法访问这种类

  • 从传递给分部视图的嵌套复杂对象中获取值

    我有一个 ViewModel 它的成员之一是一个复杂的对象 复杂对象有 4 个属性 都是字符串 我正在尝试创建一个可重用的部分视图 我可以在其中传递复杂的对象并让它使用 html 帮助器为其属性生成 html 这一切都很好 但是 当我提交表

  • 如何让两个模型互相引用 Django

    我有以下代码 class Game models Model title models CharField max length 50 summery models CharField max length 500 key models I

  • 训练 h2o 模型时如何抑制“构建进度”栏？

    我正在通过测试许多模型来调整我的参数 但令我相当恼火的是 我对那些弄乱了我的 iPython Notebook 的 构建进度 栏无能为力 我浏览了文档 寻找某种要关闭的 详细 设置 但找不到它 当我想同时训练和评估数十个模型时 有什么方法可

  • 使用ActiveRecord，有没有办法在after_update期间获取记录的旧值

    使用一个简单的示例进行设置 我有 1 张桌子 Totals 保存了总和amount第二个表中每条记录的列 Things When a thing amount更新后 我想简单地将旧值和新值之间的差异添加到total sum 现在我正在减去s

  • Ember 不更新模型更改的视图

    该小提琴重新创建了入门套件 并带有可更改模型的额外按钮 http jsfiddle net UjacC 1 http jsfiddle net UjacC 1 但是 当单击 更改 时 数组会更改 但视图不会更新 为什么

  • Python 在 anaconda 中找不到 h2o 包

    当我尝试导入 h2o 时 我被告知该包不存在 当我尝试安装它时 它告诉我它已经存在 我尝试将其从计算机中删除并重新安装 但没有成功 此时我能想到的只是一些环境变量 C Users Lanier Anaconda2 C Users Lanie

  • 使用枚举名称而不是值对 Pydantic 字段进行编码

    我有一个枚举类 class Group enum Enum user 0 manager 1 admin 2 我有一个 pydantic 模型 class User BaseModel id int username str group G

  • 当测试集中不存在响应变量时，h2o 预测有时会失败

    当在不存在响应变量的测试集上进行预测时 如果在训练中对因子变量使用一种热编码 则 h2o 会以各种不同的方式失败 无论是在训练 GLM 时隐式指定还是在其他方法中显式指定时 R 3 4 0 和 h2o 3 12 0 1 中存在此错误 我们还

  • 如何设置SPARK_HOME变量？

    按照链接中的气泡水步骤进行操作http h2o release s3 amazonaws com sparkling water rel 2 2 0 index html http h2o release s3 amazonaws com

随机推荐

  • 在 Elixir 单元测试中导入测试代码

    我正在编写一些与 SSH 交互的 Elixir 代码的测试 在我的测试中 我想启动一个可以运行代码的 SSH 服务器 我更愿意将此代码存储在测试目录中它自己的文件中 并通过各种不同的测试导入它 但我还没能让这个工作得很好 我尝试过创建一个t

  • C# 替换文件中的字符串

    替换 HTML 文件内容的一部分时 String Replace 似乎无法正常工作 例如 String Replace 替换 with blah blah blah html gt 请注意 第二个 HTML 结束标记未正确关闭 因此当用户在

  • 强制所有类在多级继承层次结构中实现/重写“纯虚拟”方法

    在C 中为什么pure virtual方法强制其强制覆盖only到它的直接子级 用于对象创建 但不到孙子级等等 struct B virtual void foo 0 struct D B virtual void foo struct D

  • 数据库磁盘映像格式错误或文件已加密或不是数据库

    我需要将没有 Root 的手机上的数据库复制到pad上 所以我也采用了像其他人一样的方法 首先将 data data databases test db复制到 sdcard 然后我使用在我的电脑或我朋友的电脑上使用adb shell sql

  • 反转 Jenkins 的一次一次哈希

    我将如何获取与返回的哈希匹配的任何可能的字符串值 我不想获取所使用的确切密钥 只想获取传递给函数时将返回未知密钥的相同哈希值的任何密钥 uint32 t jenkins one at a time hash const uint8 t ke

  • #warning 和 #error 作为宏

    有没有办法让宏在编译时强制出现警告和错误 我目前有这样的事情 if defined clang define PRAGMA x Pragma x elif defined GNUC define PRAGMA x Pragma x elif

  • 渲染动作渲染部分

    据我了解 两者之间有很大区别Html RenderPartial包含在 ASP NET MVC 版本和HTML RenderAction in the Microsoft Web Mvc ViewExtensions包含在 MVC 期货中

  • React 动态设置状态属性

    我正在使用 React 并且有一些方法可以单独设置组件的状态 我有以下方法 setLineColor value this setState stroke value gt this props data this getStyleData

  • 如何在 Xcode 4 上创建新的“模板”类别并在那里使用我自己的文件模板？

    我想开始为 iOS 应用程序使用我自己的模板 我不想要任何重大的改变 但更简单的事情 比如 添加 删除一些样板代码 添加一些pragma mark部分 对每个文件硬编码我公司的名称和一些注释 改变缩进 等等等等等等 我们的想法是 我们将在创

  • 在 Java 中列出文件（按修改日期排序）的最佳方法？

    我想获取目录中的文件列表 但我想对其进行排序 以使最旧的文件排在第一位 我的解决方案是调用 File listFiles 并根据 File lastModified 重新使用列表 但我想知道是否有更好的方法 编辑 按照建议 我当前的解决方案

  • 组织毡尖笔：使用 JS 通过相邻项目的相似性优化 2D 网格中项目的排列 [更新]

    UPD 该问题已更新具体细节和代码 请参见下文 警告 这个问题是关于优化矩阵中项目的排列 这不是比较颜色 最初 我决定提供有关我的问题的背景会有帮助 我现在对这个决定感到后悔 因为结果恰恰相反 关于颜色的无关紧要的讨论太多 而几乎没有关于实

  • TS2538 类型“未定义”不能用作索引类型。当检查分配给变量时

    我收到 TS 错误 TypeScript 错误 类型 未定义 不能用作索引类型 TS2538 对于这个简单的函数 根据提供的索引从数组获取对象 const myArr Array name John name Tom function ge

  • 如何忽略asp.net表单中的url路由

    我正在使用 NET 3 5 SP1 框架 并且在我的应用程序中实现了 URL 路由 我收到 JavaScript 错误 Error ASP NET Ajax client side framework failed to load Reso

  • 如何改变GtkTextView的背景颜色？

    如何改变GtkTextView的背景颜色 我尝试使用普通的小部件设置 bg 功能 但 gtk 只是更改 GtkText 视图的边框颜色 另外 有人可以用简单的例子向我解释一下如何更改 GtkTextView 中的文本颜色 字体 文本大小 G

  • 在 SQL Server 2008 R2 中获取时区

    如何获取 Microsoft SQL Server 2008R2 中的时区列表 在 SQL Server 2008 中使用时区数据 http blogs msdn com b sqlprogrammability archive 2008

  • UDP 服务器出现分段错误

    我使用 UDP 编写了以下回显服务器 但我不知道为什么它在 sendto 函数中给我分段错误 它接收良好 但在将数据发送回客户端时出现问题 我已经尝试找到问题几个小时了 但一无所获 有人可以指出错误或我可能做错了什么吗 谢谢 include

  • Angularjs 使用自定义插值符号作为范围

    我目前有一个 underscore js 模板 我也想将其与 Angular 一起使用 并且仍然可以与 underscore 一起使用 我想知道是否可以使用指令更改特定范围的插值开始和结束符号 如下所示 angular directive

  • Android 中用于接听电话的滑块按钮

    我想为来电开发自己的 接受 和 拒绝 按钮 为了防止从口袋里拿出手机时意外接听或拒绝来电 我想制作一个滑块式按钮或类似的东西 我是 接听电话不仅仅是点击 接听 按钮 这更像是从左向右 或相反 滑动手指 让按钮随着时间变宽 就像安卓一样 有什

  • 自定义 ASP.NET Identity 2.0 UserStore - 是否需要实现所有接口？

    我创建了一个自定义IUserStore

  • h2o 模型不适合驱动程序节点的内存错误

    我通过 H2O 中的 R 代码运行 GBM 模型 并得到以下错误 相同的代码在几周内运行良好 想知道这是 H2O 方面的错误还是用户系统上的配置 water exceptions H2OModelBuilderIllegalArgument

热门标签