零基础上手,秒识别检测,IDEA研究院发布全新T-Rex模型

2023-12-05

目标检测作为当前计算机视觉落地的热点技术之一,已被广泛应用于自动驾驶、智慧园区、工业检测和卫星遥感等场景。开发者在研究相关目标检测技术时,通常需熟练掌握图像目标检测框架,如通用目标检测框架 YOLO 系列,旋转目标检测框架 R3Det 等技术,学习门槛较高,还需不断优化和改进算法,来获得理想的目标检测效果。随着大模型的发展,有效帮助开发者降低目标检测的使用门槛。

在2023 IDEA大会,IDEA研究院发布最新视觉提示(Visual Prompt)模型T-Rex,帮助释放计算机视觉更多应用场景。小编在上手使用T-Rex模型,直呼太香了!无需设计算法,开箱即用,简单通过拖拽方框,框住想识别的物体,点击“开始检测”,就自动将相似的结果识别出来:

下面小编带大家体验一把!

零基础上手,秒识别检测,T-Rex模型来了!

打开视觉提示模型T-Rex的模型实验室官网: DeepDataSpace | The Go-To Choice for CV Data Visualization, Annotation, and Model Analysis ,选择或者上传你想要检测的图像:

框住想要识别的物体,点击开始检测,秒出结果:

是不是很简单便捷?

其实背后的T-Rex模型大有来头!

今年4月,IDEA研究院发布的Grounded SAM (Grounding DINO + SAM),在Github已获得 11K Star,区别于只支持文字提示的Grounded SAM,T-Rex模型着重打造强交互的视觉提示功能。无需重新训练或微调,即可检测模型在训练阶段从未见过的物体。该模型不仅可应用于包括计数在内的所有检测类任务,还为智能交互标注场景提供新的解决方案,通过直观的视觉反馈与强交互性,也有助于提升检测的效率与精准度。目前,T-Rex 可应用在农业、零售、医疗、电子等行业。

据官网显示,T-Rex模型有以下四大特性:

开放集:不受预定义类别限制,具有检测一切物体的能力

视觉提示:利用视觉示例指定检测目标,克服罕见、复杂物体难以用文字充分表达的问题,提高提示效率

直观的视觉反馈:提供边界框等直观视觉反馈,帮助用户高效评估检测结果

交互性:用户便捷参与检测过程,对模型结果进行纠错

除了上面笔者试用的最基础的单轮提示模式,目前T-Rex模型还支持以下三种进阶模式:

·       多轮正例模式:适用于视觉提示不够精准造成漏检的场景

·       正例+负例模式: 适用于视觉提示带有二义性造成误检的场景

·       跨图模式:适用于通过单张参考图提示检测他图的场景

大家可以多多尝试!

为什么是T-Rex?

我们已迈入“大模型时代”,在许多领域大模型都展现出巨大潜力和价值。 如今我们可以简单用一句话、一个提示词就可以让AI帮助我们生成一张图片、一篇文章。然而在一些情况下,例如工业场景中的物体在日常生活中较为罕见,难以用语言描述。在此情况下,视觉提示显然是更高效的方法。T-Rex通过图片来提示,达到 “一图胜千言”的准确与高效。

谈及计算机视觉的发展,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋表示,首先是计算机视觉的应用场景长尾,其次是其场景碎片化,每个应用场景不一样。他出,计算机视觉领域在呼唤通用大模型的来临。以GPT-4V为代表的多模态大模型,是在语言能力上增加视觉能力;IDEA研究院的计算机视觉团队则选择了另一条路径,先将基础的视觉能力做到极致,再增加语言能力。

仔细思考,大模型的意义是让我们从判别式AI走向深层次判别式的AI,前者从数据和信号中去提取特征进行识别,完成像人脸识别语音识别、图像识别等任务,后者可以基于海量数据训练生成文字、语言、图片、视频等,更加智能、高效,有效提高生产力。毋庸置疑,通过之前的Grounded SAM发布,到如今T-Rex的推出,IDEA研究院走出自己的计算机视觉之路。

想了解更多T-Rex详情,可查看GitHub:trex-counting.github.io

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

零基础上手,秒识别检测,IDEA研究院发布全新T-Rex模型 的相关文章

  • NoInitialContextException:heroku 战争部署

    我一直在开发一个 J2EE 项目 并且在其中使用连接池 也通过部署在 heroku 上的数据库进行访问 我使用以下代码来设置 Connection 对象 Context initContext new InitialContext Cont
  • 将SQL数据引入jquery availabletag

    我正在尝试制作自动完成文本框 但如何将 SQL 数据包含到 jquery 可用标记并循环它 我无法根据以下代码执行该功能 任何帮助 将不胜感激 谢谢 这是我的预期输出 预期结果演示 http jsfiddle net VvETA 71 jq
  • Reactive Spring 不支持 HttpServletRequest 作为 REST 端点中的参数?

    我创建了一个 RestController 如下所示 RestController public class GreetingController RequestMapping value greetings method RequestM
  • 埃拉托色尼筛法 - 实现返回一些非质数值?

    我用 Java 实现了埃拉托斯特尼筛法 通过伪代码 public static void sieveofEratosthenes int n boolean numArray numArray new boolean n for int i
  • tomcat 7.0.50 java websocket 实现给出 404 错误

    我正在尝试使用 Java Websocket API 1 0 JSR 356 中指定的带注释端点在 tomcat 7 0 50 上实现 websocket 以下是我如何对其进行编码的简要步骤 1 使用 ServerEndpoint注解编写w
  • 为什么 MOVE CURSOR 在 OS X Mountain Lion 上不显示?

    我正在做一个项目 想看看 Swing 提供的每个光标是什么样子的 public class Test public static void main String args JFrame frame new JFrame frame set
  • Java中的断点和逐步调试?

    抱歉我的问题名称很奇怪 我不知道如何寻找这个 因为我不知道这些东西是如何称呼的 Visual Studio 中至少有一个功能 您可以单击代码左侧并设置一个大红点的起点 然后运行程序 您可以通过按 f8 或 f5 实际上是不同的 f 来跟踪步
  • Java:从集合中获取第一项

    如果我有一个集合 例如Collection
  • org/codehaus/plexus/archiver/jar/JarArchiver(不支持的major.minor版本49.0)-Maven构建错误

    下午大家 我在尝试构建项目时收到上述错误 我很确定这与使用 Java 1 6 编译的 Maven 最新更新有关 而我们尝试构建的项目是 1 4 项目 在此之前的插件工作没有问题 因此我将以下内容添加到 POM xml 文件中以尝试强制使用现
  • 如何删除日期对象的亚秒部分

    当 SQL 数据类型为时间戳时 java util Date 存储为 2010 09 03 15 33 22 246 如何在存储记录之前将亚秒设置为零 例如 在本例中为 246 最简单的方法是这样的 long time date getTi
  • 用于缓存的 Servlet 过滤器

    我正在创建一个用于缓存的 servlet 过滤器 这个想法是将响应主体缓存到memcached 响应正文由以下方式生成 结果是一个字符串 response getWriter print result 我的问题是 由于响应正文将不加修改地放
  • 寻找局部最小值

    下面的代码正确地找到了数组的局部最大值 但未能找到局部最小值 我已经进行了网络搜索 以找到找到最小值的最佳方法 并且根据这些搜索 我认为我正在使用下面的正确方法 但是 在几天的时间里多次检查每一行之后 下面的代码中有一些我仍然没有看到的错误
  • 如何通过 Android 按钮单击运行单独的应用程序

    我尝试在 Android 应用程序中添加两个按钮 以从单独的两个应用程序订单系统和库存系统中选择一个应用程序 如图所示 我已将这两个应用程序实现为两个单独的 Android 项目 当我尝试运行此应用程序时 它会出现直到正确选择窗口 但是当按
  • 如何停止执行的 Jar 文件

    这感觉像是一个愚蠢的问题 但我似乎无法弄清楚 当我在 Windows 上运行 jar 文件时 它不会出现在任务管理器进程中 我怎样才能终止它 我已经尝试过 TASKKILL 但它对我也不起作用 On Linux ps ef grep jav
  • Java - 从 XML 文件读取注释

    我必须从 XML 文件中提取注释 我找不到使用 JDOM 或其他东西来让它们使用的方法 目前我使用 Regex 和 FileReader 但我不认为这是正确的方法 您可以使用 JDOM 之类的东西从 XML 文件中获取注释吗 或者它仅限于元
  • 使用Java绘制维恩图

    我正在尝试根据给定的布尔方程绘制维恩图 例如 a AND b AND c我想在 Android 手机上执行此操作 因此我需要找到一种使用 Java 来执行此操作的方法 我找到了一个完美的小部件 它可以完成我在这方面寻找的一切布尔代数计算器
  • IntelliJ IDEA gradle 项目设置

    在 IntelliJ IDEA 12 1 3 中开始新 Gradle 项目的最佳程序是什么 我创造了一个骷髅build gradle使用idea插件生成项目文件 apply plugin java apply plugin idea tas
  • ECDH使用Android KeyStore生成私钥

    我正在尝试使用 Android KeyStore Provider 生成的私有文件在 Android 中实现 ECDH public byte ecdh PublicKey otherPubKey throws Exception try
  • 使用 JFreeChart 为两个系列设置不同的 y 轴

    我正在使用 JFreeChart 使用折线图绘制两个数据系列 XYSeries 复杂的因素是 其中一个数据系列的 y 值通常远高于第二个数据系列的 y 值 假设第一个系列的 y 值约为数百万数量级 而第二个数据系列的 y 值约为数百万数量级
  • 如何使用通配符模拟泛型方法的行为

    我正在使用 EasyMock 3 2 我想基于 Spring Security 为我的部分安全系统编写一个测试 我想嘲笑Authentication http docs spring io autorepo docs spring secu

随机推荐

  • mySql笔记

    根据字段或表名查找表 当数据库表多 且不了解表结构时可以用这种方式查找 根据字段查表 SELECT DISTINCT TABLE NAME FROM INFORMATION SCHEMA COLUMNS WHERE COLUMN NAME
  • 虚拟服务器:是创新的驱动力,还是数据安全的隐患

    在这个数字化的时代 我们的生活被各种科技产品包围 其中 虚拟服务器无疑是近年来最热门的话题之一 它以其独特的优势 如灵活性 可扩展性和成本效益 正在改变我们的工作和生活方式 但是 随着其使用率的提高 我们也面临着一些新的挑战和问题 首先 虚
  • unity dots jobSystem 记录

    Looking for a way to get started writing safe multithreaded code Learn the principles behind our Job System and how it w
  • Linux(12):磁盘配额(Quota)与进阶文件系统管理

    磁盘配额 Quota 的应用与实作 Quota 的一般用途 针对 www server 例如 每个人的网页空间的容量限制 针对 mail server 例如 每个人的邮件空间限制 针对 file server 例如 每个人最大的可用网络硬盘
  • Linux报too many open files的解决方案及 lsof、sysctl 命令介绍

    Too many open files in system 问题处理 服务器异常 一串的etc下的shell文件报 etc profile d bash completion sh Too many open files in system
  • 算法题-简单系列-03-判断链表中是否有环

    文章目录 1 题目 1 1 思路1 双指针 1 2 思路2 哈希表 1 题目 判断给定的链表中是否有环 如果有环则返回true 否则返回false 1 1 思路1 双指针 我们使用两个指针 fast 与 slow 它们起始都位于链表的头部
  • React为啥要用PureComponent代替Component

    个人博客 公众号 React中的purecomponent 求关注 写在前面的话 之所以写这个文章 是因为现在在维护react的旧项目 用的是类组件 所以不得不使用pureComponent 而现在开发都是用函数式组件 所以不建议用类组件开
  • Android 相机库CameraView源码解析 (三) : 滤镜相关类说明

    1 前言 这段时间 在使用 natario1 CameraView 来实现带滤镜的 预览 拍照 录像 功能 由于 CameraView 封装的比较到位 在项目前期 的确为我们节省了不少时间 但随着项目持续深入 对于 CameraView 的
  • Android 相机库CameraView源码解析 (四) : 带滤镜拍照

    1 前言 这段时间 在使用 natario1 CameraView 来实现带滤镜的 预览 拍照 录像 功能 由于 CameraView 封装的比较到位 在项目前期 的确为我们节省了不少时间 但随着项目持续深入 对于 CameraView 的
  • 阿里内部自动化测试教程:python+pytest接口自动化-HTTP协议基础

    HTTP协议简介 HTTP 即 HyperText Transfer Protocol 超文本传输协议 是互联网上应用最为广泛的一种网络协议 所有的 WWW 文件都必须遵守这个标准 设计 HTTP 最初的目的是为了提供一种发布和接收 HTM
  • 算法题-简单系列-02-合并两个排序的算法

    文章目录 1 题目 1 1 迭代 1 题目 输入两个递增的链表 单个链表的长度为n 合并这两个链表并使新链表中的节点仍然是递增排序的 1 1 迭代 设置result为哑结点 放置于新链表之前 最后返回的就是result next 设置cur
  • C/C++ 谓词 lambda表达式

    文章目录 前言 1 引例 2 谓词的含义 2 1 谓词运用 总结 前言 最近看lambda相关知识点 发现这个概念比较难以理解 看了几遍 可能是第一次正式接触STL的原因 对标准库的泛型编程理解不够深刻 这篇博客就写一下lambda的相关
  • centos7 设置静态ip

    文章目录 设置VMware 主机设置 centos7 设置 设置VMware 主机设置 cen
  • 算法题-简单系列-05-两个链表的第一个公共结点

    文章目录 1 题目 1 1 思路1 循环遍历 1 题目 输入两个无环的单向链表 找出它们的第一个公共结点 如果没有公共节点则返回空 1 1 思路1 循环遍历 使用两个指针N1 N2 一个从链表1的头节点开始遍历 我们记为N1 一个从链表2的
  • 计算机组成与设计:硬件/软件接口,第二章详细梳理,附思维导图

    文章目录 二 指令 计算机的语言 章节导图 一 MIPS概述 计算机的组成 MIPS的设计思想 MIPS 32中的通用寄存器 二 三类汇编指令
  • JAVA打印日志规范实践

    前言 日常开发 日志打印尤为重要 记录程序运行情况 方便快速定位问题 一份实用的日志打印规范能极大的帮助我们日常开发 一 日志介绍 1 弄懂日志 SpringBoot启动日志 2 什么是日志 日志 维基百科中对其的定义是 一个或多个由服务器
  • 当班主任应该具备什么条件

    当班主任需要具备什么条件 这个问题其实可以从多个角度来回答 下面我列举一些我认为比较重要的条件 责任心和爱心 班主任的职责是关注学生的成长 帮助学生解决学习和生活中的问题 这需要班主任具备强烈的责任心和爱心 只有真正关心学生的成长和发展 才
  • 算法题-简单系列-01-链表反转

    文章目录 1 题目 1 1 使用栈解决 1 2 反转链表 1 题目 给定一个单链表的头结点pHead 该头节点是有值的 比如在下图 它的val是1 长度为n 反转该链表后 返回新链表的表头 如当输入链表 1 2 3 时 经反转后 原链表变为
  • 数字化转型浪潮中,施耐德电气如何用技术革新引领未来?

    作为一家187年的老牌企业 施耐德电气不仅见证了科技的演进 也是数字化转型潮流中的先行者 在近日的施耐德电气数字化战略暨软件创新沟通会上 施耐德电气全球执行副总裁 首席数字官 Peter Weckesser 施耐德电气副总裁 数字化服务业务
  • 零基础上手,秒识别检测,IDEA研究院发布全新T-Rex模型

    目标检测作为当前计算机视觉落地的热点技术之一 已被广泛应用于自动驾驶 智慧园区 工业检测和卫星遥感等场景 开发者在研究相关目标检测技术时 通常需熟练掌握图像目标检测框架 如通用目标检测框架 YOLO 系列 旋转目标检测框架 R3Det 等技