程序员经验分享-hwhale

Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data, NeurIPS 2021

2023-05-16

  • motivation

STARTUP(ICLR2021)中提出基于self-training的思想用target domain的去标记数据联合训练模型。但STARTUP中使用在base classes上预先训练得到的网络，为未标记的目标样本创建软标签。域间差异较大时，使用固定的预训练模型将目标图像投影到基数据集的类域中可能是次优的。

本文的问题设置和STARTUP中是一致的：带标签的源域样本+去标签的目标域样本

  • contribution

  1. 使用基于动态蒸馏的方法，同时使用标记源数据和未标记目标数据来学习目标域上的更好表示；
  2. 在BSCD-FSL(ECCV2020)上1-shot上平均提高4.4%，5-shot上平均提高3.6%。

  • 核心内容

1）整体框架

2）Encoder

给定嵌入网络f_s和分类器g_s ，那么在base datasets上有监督的分类损失就为：

其中，p是预测标签：

3）Dynamic distillation

与STARTUP中类似地， 本文也引入了额外的teacher encoder f_t和teacher classifier g_t 为未标记的图像集D_U 生成伪标签。分别为无标签样本的弱增广样本 x_i^w和强增广样本x_i^s 预测伪标签：

弱增广样本x_i^w的伪标签p_i^w作为强增广样本 x_i^s的软目标（soft-target），那么就可以得到蒸馏损失为：

l_U可理解为一致性正则化器，可以预测图像不同增强版本的相似分数，也可以理解成自监督损失。

根据student weights对teacher weights进行更新：

  • 实验部分

  • 总结

在解决跨域问题时，尤其是target domain 和source domain之间domain shift非常显著的情况下，把target domain 中无标记数据拿过来用自监督的方法训练特征提取器确实是一种很取(zuo)巧(bi)的方法。(手动狗头保命)

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Dynamic

Distillation

network

for

cross

Dynamic Distillation Network for Cross-Domain Few-Shot Recognition with Unlabeled Data, NeurIPS 2021 的相关文章

  • jquery iframe跨域动态高度

    仅使用 jquery 且没有庞大的插件 这是否可能 我知道有很多插件和替代品 我正在寻找最短 最强大和最干净的 最好依赖jquery 这里有基本的 jsfiddle 来尝试你的想法 http jsfiddle net 3vPJd http

  • 一个构造函数 - 多个参数

    我在一些 Java 编程竞赛中找到了一个任务 必须创建仅包含一个参数 文本 和一个构造函数的类 Sentence 这是示例测试代码 Sentence s1 new Sentence only CAT s2 new Sentence and

  • 我想要一个动态静态场

    我有一个带有公共字段 b 的 A 类 class A public static string b 但现在我想做bdynamic所以我称之为任何东西 这样我就可以让班级成为DynamicObject class A DynamicObjec

  • Java动态澄清

    我在术语下看到了这段摘录Java 流行语在读一本关于Java的书时我不明白 Dynamic Java 程序带有大量的运行时类型信息 用于在运行时验证和解析对对象的访问 这使得以安全且方便的方式动态链接代码成为可能 这对于 Java 环境的稳

  • 有没有简单的方法可以在 C# 中创建方法并动态设置其主体？

    我将方法体保存在字符串中 我想动态创建方法 但我不知道 如何设置它的身体 我看到使用 CodeDom 的方式非常乏味 我看到使用 Emit 和操作码 有什么方法可以使用字符串变量中的现成代码吗 string method body retu

  • 动态为mysql查询中的所有字段名分配别名

    我的 mysll 数据库中有 2 个表 两个表都有很少的固定列和很少的动态列 字段 架构 我想用以下查询连接这两个表 SELECT FROM cd cd LEFT JOIN cd n cn ON cd id cn fk cd 我想要的结果是

  • 骆驼http端点动态形成url

    我正在尝试使用的伙计们 from direct a to someUrl processor new Processor Override public void process Exchange arg0 throws Exception

  • C# 4.0 中的“动态”类型有何用途？

    C 4 0 引入了一种称为 动态 的新类型 听起来不错 但是程序员会用它做什么呢 有没有什么情况可以挽救局面 The dynamic添加了关键字以及 C 4 0 的许多其他新功能 以便更轻松地与具有不同 API 的其他运行时中或来自其他运行

  • Android UI - 动态添加按钮到 Gridview

    这就是我现在陷入困境的地方 我一直坚持向 gridview 动态添加按钮 我的 gridview 带有一个按钮 当用户单击该按钮时 会弹出上下文菜单 要求用户输入信息 完成后 使用该信息创建网格视图中的块 如图所示 我已经粘贴了代码 我不知

  • 无需外部库即可在 C# 中播放动态创建的简单声音

    我需要能够使用 C 动态生成波形并播放它 无需任何外部库 也无需在硬盘上存储声音文件 延迟不是问题 声音将在应用程序需要之前生成 实际上 如果不是微软表示 64 位版本的 Windows 不支持 Console Beep 方法 它可能会满足

  • 如何在 Javascript 中创建动态文件+下载链接？ [复制]

    这个问题在这里已经有答案了 通常 HTML 页面可以包含可从服务器下载的文档 PDF 等 的链接 假设有一个启用 Javascript 的网页 是否可以从用户浏览器中动态创建一个文本文档 例如 并添加一个链接来下载该文档 而无需往返服务器

  • 在 Python 中使用 Selenium 进行导航并使用 BeautifulSoup 进行抓取

    好的 这就是我想要实现的目标 调用带有动态过滤搜索结果列表的 URL 点击第一个搜索结果 5 页 抓取标题 段落和图像 并将它们作为 json 对象存储在单独的文件中 例如 Title 单个条目的标题元素 Content 各个条目的 DOM

  • 如何在 JavaScript 中一次出现一个测验问题

    这里是 JavaScript 菜鸟 我正在尝试制作一个正在开发的测验应用程序 但我真的不知道如何继续 我把所有的问题都用html写出来了 情况是这样的 这个测验没有正确答案 只有答案值 该代码应该将每个问题的所有值相加 并根据累积的总分在最

  • BeautifulSoup 不抓取动态内容

    我遇到的问题是我想从此页面获取相关链接 http support apple com kb TS1538 http support apple com kb TS1538 如果我在 Chrome 或 Safari 中检查 Element 我

  • 运行时动态转换

    有没有一种方法可以在运行时动态转换 如以下伪代码 foreach DataRow row in table Rows foreach DataColumn col in table Columns if row col DBNull Val

  • Android 动态添加联系表单

    Hi 我想实现如图所示的表单 不知道他们如何动态添加字段 这是列表视图吗 可扩展列表 用户可以在运行时添加和删除 我已经检查了包含子项目的可扩展列表 但我们在数组中定义子元素 在图像中它们动态添加 任何指南 链接 Thanks Custom

  • Nest Elastic - 构建动态嵌套查询

    我必须使用 Nest 查询嵌套对象 但是查询是以动态方式构建的 下面的代码演示了以静态方式对嵌套 书籍 进行查询 QueryContainer qry qry new QueryStringQuery DefaultField name D

  • 动态框架中未定义的架构符号

    我正在开发一个 iOS 框架 该框架包含多个第三方框架并使用 UnitySendMessage C 方法与 Unity 进行通信 我想创建一个动态框架 支持 iOS8 但我偶然发现以下编译错误 Undefined symbols for a

  • 如何从网站中抓取动态内容？

    所以我使用 scrapy 从亚马逊图书部分抓取数据 但不知何故我知道它有一些动态数据 我想知道如何从网站中提取动态数据 到目前为止我已经尝试过以下方法 import scrapy from items import AmazonsItem

  • 动态 SQL 和 where case 哪个更好？

    我需要创建一个带有 12 个参数的存储过程 并使用这些参数的不同组合来过滤查询 所有 12 个参数都不是强制性的 就好像我传递 3 5 或 12 个参数取决于用户输入的搜索输入一样 我可以通过两种方式创建 即使用动态 SQL 查询或使用 C

随机推荐

热门标签