mlr3 - 基准测试:状态消息仅在完整基准测试完成后显示

2023-12-29

我想监控 mlr3 中 benchmark() 的进度。对多个模型进行基准测试(包括对大型数据集进行超参数调整)可能需要数小时甚至数天的时间。我希望能够在基准测试运行时监视进度,以便我可以决定是否中止基准测试。此外,如果在此过程中打印状态消息,我可以在某些部分完成后中止该过程,并知道某些步骤花费了多长时间。例如,朴素贝叶斯可能已经完成,但决策树的超参数调整仍在运行(并且已经运行了几个小时......)。这样我就可以为下一次基准测试运行做出适当的更改(例如,限制决策树的搜索空间或仅使用朴素贝叶斯)。

问题是在进程期间/开始时仅显示第一条消息(“正在运行重采样实例”)。其余部分仅在完整基准测试完成后才会显示。换句话说,在几个小时甚至几天内,显示的唯一状态消息是第一条。如果中止该进程,有关进度(各个步骤的持续时间)的所有信息都会丢失。

这是一个非常简短的例子。代码的相关部分直接采用MLR3 书 https://mlr3book.mlr-org.com/:

    design = benchmark_grid(
               tasks = task,
               learners = c(lrn("classif.featureless"), 
               lrn("classif.xgboost")
               ),
               resamplings = resampling
              )
     bmr = benchmark(design)

The status message on the start of the benchmark process is displayed right away enter image description here

其他消息(包括进程开始后仅几微秒的状态消息)仅在完整基准测试过程完成后才会显示。

在这种情况下,只需要一分钟。但是,如果基准测试需要数小时或数天,那么立即观察新状态的消息将很有帮助,而不必等到整个过程完成。

我知道 benchmark() 支持 Progressr::with_progress(),但百分比级别对我来说不够详细。

有没有办法让 mlr3::benchmark() 在整个过程中立即显示状态消息,而不是在过程完成后才显示?


我们正在研究不通过 future 延迟标准输出https://github.com/mlr-org/mlr3/pull/692 https://github.com/mlr-org/mlr3/pull/692.

或者,您可以配置progressr使用progress进度条包,然后输出附加信息(当前正在运行的任务、学习者、迭代):

progressr::handlers(global = TRUE)
progressr::handlers("progress")
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

mlr3 - 基准测试:状态消息仅在完整基准测试完成后显示 的相关文章

  • 带进度条的异步文件下载

    我试图让进度条的进度随着WebClient下载进度变化 当我打电话时 这段代码仍然会下载文件startDownload 下载文件时窗口冻结 我希望用户能够在启动画面加载时看到进度变化 有什么办法可以解决这个问题 以便用户可以看到进度prog
  • 自定义进度条小部件

    我正在尝试做类似的事情this https stackoverflow com questions 3682021 uislider with certain possible values但在安卓中 在Android中我可以扩展Progr
  • java jprogressbar 在繁重操作期间挂起

    我正在编写一个 java 程序 在调用大量使用 CPU 的方法之前 我会显示一个带有 JProgressBar 的框架 虽然我在调用方法之前显示它 但直到方法结束才显示 JProgressBar 进度条 还 没有以任何方式与该方法交互 这就
  • Powershell进度条

    我是 Powershell 新手 在获取进度条来使用 foreach object 循环时遇到问题 如果可能的话 感谢 Chris 下面是我到目前为止所得到的 我的问题是进度条到达某个点 然后出现错误 101 参数大于最大允许范围 100
  • 进度条与文件解压

    我正在尝试更新progress bar将文件解压缩到 SD 卡中 我的解压工作正常 但是progress bar没有出现 这是我在 mainactivity 中的代码 private ProgressBar bar Override pub
  • Android:半圆进度条

    我想要图像背景中的半圆形进度条 就像下图一样 我尝试使用画布进行绘制 但未能成功 我也厌倦了一些自定义进度条库 但结果是相同的 有什么建议 寻找一次性开发并用于每种屏幕尺寸 这可以通过以一定角度剪切包含图像的画布 通过绘制弧线 来实现 你可
  • 使用 mlr3-pipelines 在 GraphLearner 中估算数据和编码因子列?

    我有一些关于 mlr3 pipelines 的使用问题 事实上 我的目标是创建一个结合三个 3 图的管道 1 处理分类变量的图表 水平插补 gt 标准化 imp cat po imputenewlvl param vals list aff
  • 检查显示器是否已连接

    我必须制作一个简单的程序 向服务器报告显示器的状态 是开 关还是只是未连接 到目前为止 我正在使用在另一个讨论中找到的这种方法 但它每次都会返回 true 即使我已经断开了显示器的连接 public static Boolean isMon
  • jQuery 和 Perl:基于“管道文件”状态的进度条,动态 ajax

    我想构建一个小型管道 允许用户选择一个文件 然后使用该文件作为输入运行多个脚本 由于其中一些脚本运行了几分钟 确切的时间取决于输入文件的大小 我想显示一个基于该管道已完成的脚本数量的进度条 问题是我不知道如何根据管道的状态更新此进度条 并且
  • 并行组合进度条和进程

    我在将要并行运行的进程与进度条的创建结合起来时遇到问题 我的流程代码是 pred pnn lt function x nn xlst lt split x 1 nrow x pred lt foreach i xlst packages c
  • 向用户报告进度时如何编写最简洁的代码?

    在过去的几个月里 我一直在努力想出一些干净的代码来向用户报告进度 一切似乎总是归结为 ReportProgress Starting Task 1 doTask1 ReportProgress Task 1 is done ReportPr
  • Tkinter 中的进度条,里面有一个标签

    是否可以改进 Tkinter Python 中的进度条 在中间添加标签 例如 读取文件 我试图找到一个优雅的编码解决方案 但没有真正的结果 from Tkinter import import ttk import tkFileDialog
  • Android ProgressBar 的样式类似于 SwipeRefreshLayout 中的进度视图

    I use android support v4 widget SwipeRefreshLayout在我的 Android 应用程序中 它包裹着一个ListView 列表视图的内容是从服务器下载的 当用户向下滑动以从服务器重新加载数据时 会
  • 上传进度 - 有时 $_SESSION[$key] 为空

    我有 Ubuntu 12 04 LTS 并使用 PHP 5 5 和 Apache2 通过 PHP 会话上传进度来实现上传进度 问题是它有时有效 有时无效 我的意思是有时我在上传开始时直接获得 100 的进度百分比而没有完成上传 这意味着在这
  • 使用 HTML 5 的进度条(下载)

    我正在开发一个需要从数据库下载内容的项目 通常使用手机 高端智能手机 访问该网站 我想知道是否可以在使用 HTML5 下载内容的过程中添加进度条 以便在执行此操作时会在整个屏幕上出现一个灯箱 并且只显示进度条 可以使用 XMLHttpReq
  • 在 Python 中打印进度条处理

    我编写了这个简单的函数 processing flush 以便打印一系列点 由索引给出 来测试我的软件是否正在处理我的数据以及最终的速度 我的数据的总大小未知 import sys import time def processing fl
  • C# WebClient 使用异步并返回数据

    好吧 我在使用 DownloadDataAsync 并让它返回字节给我时遇到了问题 这是我正在使用的代码 private void button1 Click object sender EventArgs e byte bytes usi
  • 如何在powerpoint vba中制作进度条?

    如何使用 PowerPoint VBA 制作进度条 它应该作为幻灯片上的动画来完成 这是您要找的吗 http www pptfaq com FAQ00597 htm http www pptfaq com FAQ00597 htm
  • 媒体播放器准备时的进度条

    我试图弄清楚如何在我的媒体播放器准备流文件时显示 正在加载 请稍候 的进度条 现在发生的事情是在歌曲准备好后显示 我怎样才能解决这个问题 mediaPlayerLoadingBar ProgressDialog show PlaylistA
  • JavaFX ProgressBar:如何添加动画?

    我创建了一个进度条并更改了进度条颜色 是否可以像 bootstrap 动画进度条一样向进度条添加动画 这是示例 链接在这里 http getbootstrap com components progress animated 实际上 我找到

随机推荐

  • 绘制平均值和标准差

    我在不同的 x 点有多个函数值 我想在 python 中绘制平均值和标准差 就像答案一样这个问题 https stackoverflow com questions 19797846 plot mean standard deviation
  • 尝试读取不存在的文件夹`/private/tmp/CocoaPods/Lint/Pods/

    AM 在验证 pod 规格时得到此信息 Attempt to read non existent folder private tmp CocoaPods Lint Pods Test 请帮忙 你需要跑git tag x x x and g
  • C# YamlDotNet 库是否支持合并键?

    我对 C YamlDotNet 库有疑问http www aaubry net page YamlDotNet http www aaubry net page YamlDotNet 您知道该库是否支持 合并键 吗 http yaml or
  • asp.net core RC2图像不显示

    我想做的是显示网络根文件夹中的图像 这就是我尝试执行此操作的方式 下面的课程只是实验性的 只是我尝试的例子 目前正在读取的文件夹中只有一张图像 rootPath 也取自 hostingEnvironment WebRootPath publ
  • 在 python 中将一个 tar 中的文件添加到另一个 tar 中

    我想制作一份 tar 的副本 删除一些文件 基于它们的名称以及可能的其他属性 如符号链接等 因为我已经在 python 中打开了 tar 文件 所以我想在 python 中执行此操作 我知道 TarFile getmembers 返回 Ta
  • 在项目中包含 Paragonie Halite 找不到变量和函数

    我已经在 Windows 上为 PHP 7 安装了 libsodium 并且正在使用 PHPStorm 开发我的项目 我还安装了 Paragonie 的 Halite 如果 libsodium 扩展安装不正确 它甚至无法安装 IDE 还会找
  • 使连续的数字列名称带有字母前缀

    我想向我的数据集添加标签 然而 问题是我的数据集中有太多列 因此手动添加标签很费力 我有 33 列 包括label列在末尾 如下所示 features lt c f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12
  • vue-chartjs:您可能需要适当的加载器来处理此文件类型,当前没有配置加载器来处理此文件

    我按照说明添加了 vue chartjs https vue chartjs org ja guide https vue chartjs org ja guide 纱线添加 vue chartjs 电子邮件受保护 cdn cgi l em
  • 有人可以转换代码,以便它使用 EXEC @sql 而不是 EXEC sp_executesql 吗?

    这是我想要转换的存储过程 ALTER PROCEDURE GetName ClientName nVarchar max AS BEGIN DECLARE sql NVARCHAR MAX DECLARE name NVARCHAR MAX
  • PHP 自动生存

    更新 我提出这个问题的初衷是确定 PHP 是否确实具有此功能 这在答案对标量问题的关注中被忽略了 请参阅这个新问题 PHP 有自动生存功能吗 https stackoverflow com questions 5964420 does ph
  • 使用反射的 F# 通用 Map.count

    这是对此的后续上一个问题 https stackoverflow com questions 55877793 f pattern matching on a generic type map 55878543 55878543 但有不同的
  • Openstack.Net SDK无法访问带区域的服务

    使用我们自己的硬件 我们安装了带有所有组件的普通 openstack 但是由于区域问题 我在访问除身份之外的服务时遇到问题 使用的代码如下 使用我们创建的管理员帐户和管理员租户进行调用 public static void TestAcce
  • 从组件分派操作时未调用 ngrx 效果

    我遇到了 ngrx 存储问题 没有发送一个动作来处理它 这是尝试分派的组件 signin this formStatus submitted true if this formStatus form valid this store dis
  • 将 Android 模拟器快照移动到另一台计算机

    因此 我需要制作一个可供多人 跨多台计算机使用的快照 我正在做一些测试 需要设置很多东西来测试一件事 设置需要一些时间 我希望能够只创建一个 avd 并让几个人使用它 我以为我可以通过制作一个然后拍一张快照来做到这一点 但无论我做什么 我就
  • 在 EPPlus 中设置*两者*值和公式

    有什么办法可以设置吗both the Value Formula单元格的属性以便它们保留到写入的 XLSX 文件中 由于EPPlus不计算公式 它依赖excel来计算 所以我为用户预先计算结果 这样 如果他们不打开文件 而是重新上传文件 则
  • 服务器事件中的最终消息直到心跳才被推送

    我们在通过服务堆栈发送的最终消息等待下一个心跳发送时遇到问题 我们认为它类似于 Servicestack 服务器发送事件 https stackoverflow com questions 25960723 servicestack ser
  • 在 LIBGDX 中绘制弯曲的自定义对象?

    我最近一直在研究LibGDX 似乎碰壁了 如图所示 蓝点代表用户的手指 它本身的地图生成是我似乎陷入困境的地方 LibGDX是否提供了动态绘制的方法弯曲的物体 我可以简单地自己将它们生成为图像 但是图像会被极大地拉伸到手指可以容纳 3 个手
  • 检查异步方法的 Received() 调用

    当我运行以下代码时 Test public async Task Can Test Update var response await controller UpdateAsync Guid NewGuid response Valid S
  • 实体框架生成short而不是int

    我们对 Oracle 数据库使用实体框架数据库优先 因为某些原因Number 5 变成Int16 short Max Number 5 值为99999 Max Int16值为32767 问题 有没有办法指示映射器进行翻译Number 5 t
  • mlr3 - 基准测试:状态消息仅在完整基准测试完成后显示

    我想监控 mlr3 中 benchmark 的进度 对多个模型进行基准测试 包括对大型数据集进行超参数调整 可能需要数小时甚至数天的时间 我希望能够在基准测试运行时监视进度 以便我可以决定是否中止基准测试 此外 如果在此过程中打印状态消息