程序员经验分享-hwhale

The BMJ研究：现有的新冠病毒诊断AI模型，几乎毫无用处

2023-05-16

图片

图片出处：unsplash

本文作者：朱演瑞

新型冠状病毒对全球健康造成了严重的威胁，为了减轻医疗保健系统的负担，也给患者提供最佳的护理，高效的诊断和疾病预后信息问题亟待解决。

理论上来说，在医疗资源有限的情况下，评估感染者风险和感染结果的多变量模型可以帮助医务人员对患者进行分类。从基于规则的评分系统到深度学习模型，大量预测模型都是开源的，并允许同行评论分析。

那么，我们应该对这些模型抱有怎样的期待呢？

图片

顶级综合医学期刊《英国医学杂志》( The BMJ ) 上发表的一项研究，便对现有的新冠模型进行系统性评估，主要包括以下三种功用的模型：普通人群风险预测模型、实际感染者的诊断模型、新冠患者的预后模型，评估的部分包括模型开发和外部验证研究。

然而，结果却不尽人意。可以说，现有的新冠病毒诊断AI模型，几乎无用武之地。

收集过程

这支研究小组通过 Ovid、bioRxiv、medRxiv 、arXiv、PubMed 和 Embase 等学术系统，收集了 2020 年 1 月 3 日～2020 年 5 月 5 日之间发布的 covid-19 文献。如果一篇文献与基于新冠结果研究的多变量模型或评分系统相关，团队就将它纳入研究。

最终，他们收集到总共包括三种类型的预测模型：普通人群中新冠风险的预测模型、疑似患者中实际感染者的诊断模型、新冠患者的预后模型。预测因素或结果对参考人群（例如，住院病人，门诊病人或普通人群）、预测范围（模型预测的距离）没有限制。而另外的一些模拟疾病传播或死亡率、诊断测试准确性和发现预测指标等相关研究不予考虑。

从第二次系统性评估开始，相关文献由 AI 驱动的文本分析工具检索，以优先考虑灵敏度。研究者通过 EPPI-Reviewer 对标题、摘要和全文进行重复筛查，对于有争议的文章，则通过讨论选取。

研究使用基于 CHARMS（针对预测模型研究的系统评价的严格评估和数据提取）清单和 PROBAST（偏倚风险评估工具）的标准化数据分析表来评估预测模型。

通过系统搜索，研究者检索了 14209 个标题，整个筛选过程如下图所示：

图片

PRISMA（为系统评价和变换分析选取报告）研究是否采纳文献的流程图

调查结果

最终筛选出的 107 项研究，团队使用 PROBAST 评估，这是一项专门为预测模型偏倚风险设计的评估工具。

结果发现，有 53 项在训练集（参考人群）方面存在较高的偏倚风险，也就是说，模型的参考人群可能无法代表目标人群。其中 26 项研究都没有对偏倚评估风险作出清楚的报告。

有 15 项对预测集存在很高的偏倚风险，这表明预测变量并不一定适用于模型，定义不明确或受预测结果影响。

研究者对一项诊断成像研究使用了简单的评分规则，它呈现了较低的预测偏倚风险。

因为该文献缺乏有关预处理步骤（例如图像裁剪）的明确信息，而复杂机器学习算法是用一种复杂的方式将图像转换成预测因子，分析人员对原模型的预测因子尚不清楚，这其实就很难评估它的偏倚风险。大多数模型使用易于评估的结果（例如，死亡、确诊等），而在 19 项研究中仍存在因结果评估引起的偏倚的担忧，比如使用了主观或代理结果（例如，非新冠的严重呼吸道感染）。

除了一项研究之外，所有其他研究在分析的数据集上都有较高的偏倚风险。

许多研究的样本量较小，这导致过拟合的风险增加，尤其是在使用复杂的建模策略的情况下。三项研究没有报告模型的预测性能，四项研究仅报告了表面性能（训练集和测试集相同，未对潜在的过度拟合进行调整）。

只有 13 个研究评估了校准，但两项研究中检查校准的方法可能欠佳。

其中一个研究的 25 个模型使用了外部验证的方式（在一个独立的数据集中验证，训练集和测试集分开），但在其中的 11 个模型中，用于外部验证的数据集可能无法代表目标人群。还有一个研究使用了新冠疫情之前的数据。因此，如果将模型应用于目标人群，则预测效果可能会有所不同。在一项研究中，通常用于预后（区分、校准）的性能统计数据没有公布。

但也有表现还不错的模型。Gozes、Fu、Chassagnon、Hu、Kurstjens 和 Vaid 等人的研究在外部验证集上具有令人满意的预测性能，但尚不清楚他们是如何收集外部验证数据的，以及数据是否具有代表性。Wang、Barda、Guo、Tordjman 和 Gong 等人的研究在可能没有偏倚的验证数据集上获得了令人满意的效果，但是数据集的数据量少于外部验证应有的数据量（100）。Diaz-Quijano 的研究也具有不错的外部验证效果，但由于未进行聚合酶链反应（PCR）测试，因此数据集中的许多患者不得不被排除在外。

目前，社会可能亟需诊断和预后模型来帮助医务人员更加快速有效地投入工作，这也许会促使政府和医疗机构过早地实施预测模型。

但介于所有的 145 个预测模型都有很大的偏倚风险，并且所有模型都缺乏外部验证的证据，在新冠疫情的大背景下，模型的过早使用可能弊大于利。

因此，研究人员不建议目前在实践中使用任何模型。

他们也推荐，未来的模型研究应侧重于验证、比较、改进和更新有前途的可用预测模型，而非着力开发新的预测模型。

Reference：
https://www.bmj.com/content/369/bmj.m1328.long

关于数据实战派

数据实战派希望用真实数据和行业实战案例，帮助读者提升业务能力，共建有趣的大数据社区。

图片

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

The BMJ研究：现有的新冠病毒诊断AI模型，几乎毫无用处 的相关文章

  • k8s 内部实现服务注册和服务调用

    k8s内部的服务注册主要是依靠几个组件 coreDns service和pod的标签选择器 服务注册的流程 pod创建完以后 xff0c 一般我们都会打算一组标签 xff0c 标签是key value形式的 如下 apiVersion v1

  • 使用Jetson Nano向PX4提供T265位置信息，实现室内定点飞行

    使用的Jetson Nano镜像版本 xff1a 4 6 xff08 2021 08 04发布 xff09 NVIDIA官方镜像下载链接 1 安装 ROS Melodic 参考官网安装教程 设置sources list sudo sh c

  • 结束，也是开始。

    三年时光转眼即逝 xff0c 临到毕业才幡然醒悟 xff0c 自己掌握的专业技能太少 xff0c 最后几个月才养成了几个好习惯 在上班利用空闲时间多学学其他的技术 xff0c 希望自己可以不停的努力 xff0c 充实自己的每一天

  • win10 和ubuntu双系统设置启动顺序和时间

    安装了ubuntu18 04后 xff0c 默认启动项是ubuntu xff0c 如果希望默认启动项是windows xff0c 修改方法如下 xff1a 1 进入Ubuntu系统 xff0c 打开终端 xff0c 输入 sudo gedi

  • 论 "张筱雨"

    当今网络谁最红 xff1f 当今网络谁最裸 xff1f 当今网络谁征服了大多数男人们的眼球 xff1f 当今网络谁最具创新 xff0c 引领时尚潮流 xff0c 当今网络谁敢和日本AV女优叫板 那么她就是 张筱雨 张筱雨 xff01 xff

  • PostgreSQL 性能优化--参数的配置

    nbsp nbsp nbsp PostgreSQL的配置参数作为性能调优的一部分 起着重要的位置 有时候一个简单的配置参数就会觉得应用的性能 因此有必要简单了解下其相关的配置参数 查询Linux服务器配置 在进行性能调优之前 需要清楚知道服

  • EJB指导教程前言

    前言 xff1a 本人将通过EJB tutorialspoint 网站学习EJB相关知识 xff0c 并将一部分知识翻译整理写为博客 xff0c 加入自己的见解 xff0c 供分享和交流 一 EJB指导 企业级Java Beans EJB

  • RTOS概念介绍

    事件标志组 事件标志组是实现多任务同步的有效机制之一 也许有不理解的初学者会问采用事件标志组多麻烦 xff0c 搞个全局变量不是更简单 xff0c 其实不然 在裸机编程时 xff0c 使用全局变量的确比较方便 xff0c 但是在加上 RTO

  • EJB概述

    EJB含义为企业Java Beans EJB是J2EE平台的重要组成部分 开发者可以在J2EE平台使用基于组件的体系结构 xff0c 该结构目的为企业级应用程序提供多层 分布式和高度事务性等特性 EJB提供了一种开发和部署基于组件的企业应用

  • EJB - 环境设置

    一 本博客将根据tutorialspoint文档的指导进行EJB环境的设置 二 系统需求 EJB是Java的一个框架 xff0c 所以第一个要求是在您的机器上安装一个Java开发工具包 xff08 JDK xff09 JDK1 5 or a

  • EJB--应用创造上

    为了创建一个简单的EJB模块 xff0c 我们将使用NetBeans New project 向导 在下面给出的示例中 xff0c 我们将创建一个名为Component的EJB模块项目 一 创建项目 在NetBeans IDE中 xff0c

  • EJB-应用创造中

    一 构建项目 在项目资源管理器窗口中选择EjbComponent项目 右键单击它打开context菜单 选择clean and build 您将在NetBeans控制台输出中看到以下输出 ant f C EJB EjbComponent c

  • EJB--应用创造下

    创建客户端以访问EJB 一 创建客户端以访问EJB 在NetBeans IDE中 xff0c 选择File gt New Project gt 在 Java类别 下选择 项目类型 xff0c 将 项目类型 选为 Java应用程序 单击下一步

  • iptables 原来这么简单

    你在找一个完整的iptables教程吗 xff1f 在本文中 xff0c 我们将向您展示如何在linux系统上安装和使用iptables 通过了解这个Linux防火墙工具 xff0c 您可以使用命令行界面更好的保护Linux xff0c 免

  • zabbix 事件通知--邮件媒体配置

    一 概述 假设我们已经配置了一些项 xff08 items xff09 和触发器 triggers xff0c 并且现在由于一些事件而引起触发器的状态改变 xff0c 那么现在是时候考虑去做一些操作了 首先 xff0c 我们不想一直盯着触发

  • zabbix 事件通知--警告脚本配置

    一 概述 假设我们已经配置了一些项 xff08 items xff09 和触发器 triggers xff0c 并且现在由于一些事件而引起触发器的状态改变 xff0c 那么现在是时候考虑去做一些操作了 首先 xff0c 我们不想一直盯着触发

  • shell 脚本统计文件数

    下面这段代码展示了通过shell 脚本统计某个目录下的文件数 xff0c 并输出到文本文件中 bin sh declare x num1 61 0 read dir for file in 96 ls a 1 96 do echo 1 if

  • 文件传输命令(持续更新中)

    文件传输是非常常用的命令 xff0c 今天小编就带大家整理一下自己常用的一些文件传输命令 xff1a rsync 命令 rsync是可以实现增量备份的工具 配合任务计划 xff0c rsync能实现定时或间隔同步 xff0c 配合inoti

  • 滑模控制

    滑模控制 举例说明滑模控制 对于一个典型的二阶系统 x 1 61 x

  • wildfly软件介绍

    WildFly是什么 xff1f Wildfly是一个开源的基于JavaEE的轻量级应用服务器 xff0c 目前 xff0c 最新版本是Wildfly 15 xff0c wildfly遵循LGPL2 1许可 xff0c 意味着可以在任何商业

随机推荐

  • JDK介绍与安装

    xff08 一 xff09 JDK 简介 JDK Java SE Development kit JDK java开发工具包 JDK 全称Java SE Development kit JDK xff0c 即java 标准版 开发包 xff

  • 一个简单的java程序

    xff08 一 xff09 简单的java程序 public class MyFirstApp public static void main String args System out print 34 Hello world 34 x

  • Java 注释

    xff08 一 xff09 注释的重要性 编写程序的时候 xff0c 总需要为程序添加一些注释 xff0c 用以说明某段代码的作用 xff0c 或者说明某个类的用途 xff0c 某个方法的工能 xff0c 以及该方法的的参数和返回值的数据类

  • java 标识符，分隔符，关键字

    xff08 一 xff09 标识符的介绍 Java语言中 xff0c 对于变量 xff0c 常量 xff0c 函数 xff0c 语句块也有名字 xff0c 我们统统称之为Java标识符 标识符是用来给类 对象 方法 变量 接口和自定义数据类

  • Java基本数据类型

    这节博客将向大家讲解java的数据类型 xff0c 在讲解数据类型前 xff0c 先来看一下变量 xff08 一 xff09 变量 java语言是强类型语言 xff0c 强类型包含两方面的含义 1 xff1a 所有的变量必须先声明 xff0

  • 自动类型转换

    xff08 一 xff09 自动类型转换 在java 程序中 xff0c 不同的基本类型的值经常需要进行相互类型转换 xff0c 类型转换分为自动类型转换和强制类型转换 布尔类型boolean占有一个字节 xff0c 由于其本身所代码的特殊

  • Eclipse中设置Tomcat服务器

    01首先打开eclipse软件 xff0c 点击顶部的windows菜单 xff0c 选择下拉菜单中的preferences选项 xff0c 如下图所示 02在弹出的Preference界面中选择Server 找到左侧的Runtime En

  • games系列学习 -- Möller Trumbore 算法

    M ller Trumbore 算法 是三角形与射线 光线 之间判定是否相交的快速算法 利用了重心坐标来表示三角形 首先假设射线的方程 xff1a O为发射点 D为方向向量 再假设三角形平面方程 xff1a b1 b2 1 b1 b2 分别

  • 使用手机摄像头实现视频监控实时播放

    使用手机摄像头实现视频监控实时播放 一 概述 视频监控实时播放的原理与目前较为流行的直播是一致的 xff0c 所以采用直播的架构实现视频监控实时播放 xff0c 流程图如下 xff1a

  • 滑模观测器

    什么是滑模观测器 1 滑模观测器是一类动态系统 2 滑模观测器是指根据系统的外部变量 输入变量和输出变量 的实测值得出状态变量估计值的一类动态系统 xff0c 也称为状态重构器 3 作用 xff1a xff08 1 xff09 滑模观测器不

  • ROS入门_1.18 接下来做什么？

    此时你应该已经对ROS中的一些核心概念有了一定的理解 给你一台运行ROS的机器人 xff0c 你应该能够运用所学知识来列出机器人上发布和订阅的各种话题 xff08 topic xff09 xff0c 查看话题中发布的消息 xff0c 然后编

  • 【git】看懂git diff

    git diff 可以用来比较 xff1a 1 staging area和working area的文件 xff08 无其他参数时 xff09 plain view plain copy print git diff 2 master分支和

  • makefile 自动编译同一个目录下的所有文件

    SOURCE 61 wildcard c OBJS 61 patsubst c o SOURCE CROSS COMPILE 61 arm linux CXX 61 gcc CFLAGS 43 61 static CLFAGS 43 61

  • PX4_Bootloader单步调试配置(STM32F7 配置)

    Bootloader Makefile 编译选项 Os g 43 O0 43 ggdb3 Bootloader libopencm3 lib stm32 f7 Makefile TGT CFLAGS 61 Os g 43 TGT CFLAG

  • 2021北邮自考c++实践题及答案

    北邮c 43 43 实践考期 xff0c 只能在每年的下半年进行报名 xff0c 11月进行考试 由于疫情原因 xff0c 现在均为线上考试 xff0c 每人的考题不同 xff0c 但是大同小异 xff0c 此为2021年的c 43 43

  • 从idea推送代码到github，到jenkins部署，再到从github下载代码完成构建的全部详细操作流程

    目录 1 idea推送代码到github 1 1 github创建 1 2 git下载与安装 xff08 windows xff09 1 3 idea关联github 1 3 1 windows生成公私钥 1 3 2 idea关联githu

  • Jmeter常用场景梳理

    一 在一段时间内持续发送请求 此场景可以用于稳定性测试 xff0c 在稳定性测试中 xff0c 通常需要持续压测几个小时甚至几天时间 xff0c 查看接口是否有报错 xff0c 或者cpu 内存会上涨 xff0c 此时就需要通过控制持续时间

  • vnc viewer连不上，vnc viewer连不上是什么原因？解决方法

    vnc viewer连不上是什么原因 接下来尝试在CentOS上安装一个VNC Server CentOS5 已经自带了VNC xff0c 默认也已经安装了 xff0c 只要配置一下就可以了 如果没有安装 xff0c 可以 yum inst

  • 基于netty框架的JTT808/JTT905/JTT1078协议客户端

    基于netty框架的JTT808 JTT905 JTT1078协议客户端 JTT808客户端网络处理 span class token keyword private span span class token keyword void s

  • The BMJ研究：现有的新冠病毒诊断AI模型，几乎毫无用处

    图片出处 xff1a unsplash 本文作者 xff1a 朱演瑞 新型冠状病毒对全球健康造成了严重的威胁 xff0c 为了减轻医疗保健系统的负担 xff0c 也给患者提供最佳的护理 xff0c 高效的诊断和疾病预后信息问题亟待解决 理论

热门标签