程序员经验分享-hwhale

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence

2023-11-18

本文是蒸馏学习综述系列的第四篇文章，Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks的一个翻译。

视觉智能的知识蒸馏与学生-老师学习:回顾与新展望

摘要

1 引言

2 KD是什么？为什么要关注它？

3 KD的理论分析

4 基于教师数量的KD

4.1 从一个老师进行蒸馏

4.1.1 来自logits的知识

4.1.2 来自中间层的知识

4.2 从多个教师进行蒸馏

4.2.1 从logits集合中进行蒸馏

4.2.2 从特征集合中进行蒸馏

4.2.3 通过统一数据源进行蒸馏

4.2.4 从单教师到多个子教师

4.2.5 从异构的老师中定制学生

4.2.6 与同伴共同学习

5 基于数据格式的蒸馏

5.1 无数据蒸馏

5.1.1 基于元数据的蒸馏

5.1.2 基于类相似性的蒸馏

5.1.3 使用生成器进行蒸馏

5.1.4 无数据蒸馏面临的开放挑战

5.2 使用少量数据样本进行蒸馏

5.2.1 通过伪实例进行蒸馏

5.2.2 通过分层估计蒸馏

5.2.3 挑战和潜力

5.3 跨模态蒸馏

5.3.1 监督的跨模态蒸馏

5.3.2 无监督的跨模态蒸馏

5.3.3 从一个教师学习

5.3.4 从多个教师学习

5.3.5 潜力和公开挑战

6 在线和无教师蒸馏

6.1 在线蒸馏

6.1.1 个别学生同行

6.1.2 学生之间共享块

6.1.3 同学组合

6.1.4 总结和公开挑战

6.2 无教师蒸馏

6.2.1 再生蒸馏

6.2.2 通过深度监督蒸馏

6.2.3 基于数据增强蒸馏

6.2.4 框架改变的蒸馏

6.2.5 总结与公开挑战

7 标签需要或无标签蒸馏

7.1 标签需要的蒸馏

7.1.1 原始标签的KD

7.1.2 伪标签的KD

7.2 无标签蒸馏

7.2.1 知识渊博的KD

7.2.2 创造元知识

7.3 潜力与挑战

8 具有新学习度量的KD

8.1 通过对抗学习进行蒸馏

8.1.1 KD中的GAN的基本公式

8.1.2 GAN如何帮助KD？

8.1.3 总结和公开挑战

8.2 图表示的蒸馏

8.2.1 符号与定义

8.2.2 基于图的蒸馏

8.3 半监督、自监督学习的蒸馏

8.3.1 半监督学习

8.3.2 自监督学习

8.3.3 潜力与公开挑战

8.4 小样本学习

8.4.1 挑战是什么？

8.5 增量学习

8.5.1 从单教师蒸馏

8.5.2 从多教师蒸馏

8.5.3 公开挑战

8.6 增强学习

8.6.1 协作蒸馏

8.6.2 基于RL蒸馏的模型压缩

8.6.3 随机网络蒸馏

8.6.4 基于RL蒸馏的潜力

9 视觉智能的应用

9.1 语义和运动分割

9.2 KD用于视觉检测与追踪

9.2.1 通用目标检测

9.2.2 行人检测

9.2.3 人脸检测

9.2.4 车辆检测与驾驶学习

9.2.5 姿态检测

9.3 领域自适应

9.3.1 半监督DA

9.3.2 无监督DA

9.4 深度与场景流量检测

9.5 图像翻译

9.6 KD用于视频理解

9.6.1 视频分类与识别

9.6.2 视频标注

10 讨论

10.1 更大的模型就是更好的老师吗？

10.2 预训练老师的重要性？

10.3 再生自蒸馏会更好吗？

10.4 单教师与多教师

10.5 无数据蒸馏是否足够有效？

10.6 Logits与特征

10.7 KD的可解释性

10.8 网络结构与KD的有效性

11 新角度与观点

11.1 NAS的潜力

11.2 GNN的潜力

11.3 非欧蒸馏度量

11.4 更好特征表示

11.5 更具建设性的理论分析

11.6 特殊视觉问题的潜力

11.7 视觉，语音和NLP的集成

12 结论

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

数据蒸馏

综述文章

人工智能

深度学习

Knowledge Distillation and Student-Teacher Learning for Visual Intelligence 的相关文章

随机推荐

  • 等保2.0介绍

    等保2 0全称网络安全等级保护2 0制度 是我国网络安全领域的基本国策 基本制度 等级保护标准在1 0时代标准的基础上 注重主动防御 从被动防御到事前 事中 事后全流程的安全可信 动态感知和全面审计 实现了对传统信息系统 基础信息网络 云计

  • Jenkins以root用户运行

    Jenkins安装完成后默认会创建一个jenkins的用户 并以jenkins用户运行 在我们通过jenkins编写一些命令的时候容易出现权限不足的提示 permision denied 通过为jenkins工作区赋予777的权限以后 也可

  • 图像处理——边缘检测

    边缘检测 一 边缘检测的目的 二 边缘检测算子有哪些 三 Canny算子 3 1 简述Canny算子 3 2 简述下Canny的计算过程 四 sobel算子 4 1 简述一下sobel算子 五 深度学习下的边缘检测 5 1 HED 整体嵌套

  • opencv-基于颜色的目标检测（含代码）

    先推荐下自己的公众号 Joe学习笔记 公众号上会不定期更新一些文章 主要是自己平时学到的知识 内容包括自动驾驶 计算机视觉 人工智能和机器人技术 我会第一时间把文章更新在公众号上 欢迎大家订阅和分享 文章是从公众号搬过来的 邀请朋友在公众号

  • 带你三分钟了解算力

    导读 数字经济时代 算力是新生产力 是支撑数字经济发展的坚实基础 加快发展算力 是我国打造数字经济新优势 构建 双循环 新发展格局 提升国家整体竞争力的重要保障 一 何为算力 算力是设备通过处理数据 实现特定结果输出的计算能力 常用FLOP

  • abp去掉AbpUser中的Name,Surname

    abp是国外的框架 默认的框架中的AbpUser表中的Name和Surname是分开的 这不符合国情 可以先去掉 1 在User类中重写Name和Surname 并设置为私有 2 在DbContext类中 重写OnModelCreating

  • 使用ThreadPoolTaskExecutor解决高并发性的问题

    ThreadPoolTaskExecutor 使用ThreadPoolTaskExecutor解决高并发性的问题 1 创建一个ThreadPoolTaskExecutor 2 往线程里面添加FutureTask对象 3 然后等待Future

  • VMware虚拟机扩容 磁盘分配过慢 直接添加物理磁盘 挂载ntfs mount: unknown filesystem type ‘ntfs’解决办法

    场景描述 在VMware虚拟机的使用过程中 有一些较大的文件需要存储 准备给虚拟机扩容 宿主机有一块机械硬盘 已格式化为两个ntfs格式的分区 我们准备用第二个分区给虚拟机扩容 且分区中已经存有文件 备份文件和虚拟机分配磁盘空间 这两个步骤

  • darknet+yolo4的windows下图片验证码识别一：环境编译和运行

    原创来自本人的公众号 阿嚏个技术 公众号文章地址 darknet yolo4的windows下图片验证码识别 之一 环境编译和运行 目前有很多采取深度学习的方式 进行图片验证码的文字识别 然后实现打码功能 本文采用darknet yolo4

  • Linux服务篇-FTP-文件传输协议

    一 FTP 文件传输协议 1 介绍 FTP服务器 File Transfer Protocol Server 是在互联网上提供文件存储和访问服务的计算机 它们依照FTP协议提供服务 是 TCP IP 协议组中的协议之一 FTP是用来传输文件

  • 【实战】淘宝电商用户行为分析——SQL

    目录 一 项目背景 1 1分析目的 1 2分析思路 二 数据来源 清洗 2 1数据集介绍 2 2数据清洗 2 2 1 检查是否存在重复值 2 2 2 检查是否存在缺失值 2 2 3 一致化处理 对timestamp 2 2 4异常值处理 时

  • 微信小程序使用setData方法修改data中对象或数组的属性值

    前些天发现了一个巨牛的人工智能学习网站 通俗易懂 风趣幽默 忍不住分享一下给大家 点击跳转到网站 微信小程序使用setData方法修改data中对象或数组的属性值 使用微信小程序开发时 涉及到data的修改一般使用微信官方推荐的setDat

  • mysql读写分离（mysql-proxy-0.85）

    读写分离代理172 25 11 1 主 172 25 11 2 从库172 25 11 3 从库172 25 11 4 proxy端 代理端 yum install y gcc gcc c autoconf automake zlib li

  • 脱机使用计算机,电脑设备变成脱机状态的解决办法

    计算机网络信息的发展是一把双刃剑 虽然为人们的生活带来很大的方便 但是其中隐含的计算机网络信息安全问题是不可忽视的 近些年来计算机网络信息安全频频受损 影响了人们日常生活 下面是小编为大家整理的关于 一起来看看吧 1 首先要检查你的网络是否

  • 每日小练习 ——《计算布尔表达式的值》LeetCode Plus 会员专享题【详细解析】Hive / MySQL

    大家早上好 本人姓吴 如果觉得文章写得还行的话也可以叫我吴老师 欢迎大家跟我一起走进数据分析的世界 一起学习 感兴趣的朋友可以关注我的数据分析专栏 里面有许多优质的文章跟大家分享哦 另外也欢迎大家关注我的SQL刷题专栏 里面有我分享的高质量

  • 开源的AI算法可以进行物体识别，动物识别

    有许多开源的AI算法可以进行物体识别和动物识别 其中最常用的算法是深度学习中的卷积神经网络 Convolutional Neural Network CNN 如Google开源的Inception和ResNet模型 以及Facebook开源

  • Java VS Python各自在AI人工智能领域的应用前景

    目前AI领域应用最广泛的开发语言是Python Python在过去几年里在人工智能和机器学习领域取得了巨大的成功和普及 有几个原因使得Python成为AI开发的首选语言 丰富的库和框架 Python拥有许多专门用于AI和机器学习的优秀库和框

  • STM32学习笔记

    GPIO 通用输入输出口 所有GPIO口都是挂载在APB2外设总线上 GPIO外设名称按照GPIOA GPIOB GPIOC来命名 每个GPIO外设有16个引脚 0 15 GPIOA的第0号引脚称作PA0 八种输入输出模式 1 浮空输入 可

  • 去除快捷方式箭头BAT脚本

    去除快捷方式箭头BAT脚本 1 脚本功能 去除window电脑桌面图标右下角的快捷方式小箭头 对于强迫症患者绝对是福音 总之清除了之后非常的舒畅 2 脚本内容 echo off color 2 reg delete HKCR lnkfile

  • Knowledge Distillation and Student-Teacher Learning for Visual Intelligence

    本文是蒸馏学习综述系列的第四篇文章 Knowledge Distillation and Student Teacher Learning for Visual Intelligence A Review and New Outlooks的

热门标签