元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022

2023-05-16

  • Motivation

MAML在元训练任务上训练学习模型初始化(也称为checkpoint),根据得到的初始化,在测试任务的支持集上进行几个梯度步骤的任务适应,就可以得到在查询集上的良好预测。然而在实践中,在元训练集上进行re-trainfine-tune可能是行不通的,并且测试任务可能来自不同的分布(cross-domain),所以元测试的优化步长不一定要和元训练一致。

  • Contribution

  1. 提出在测试时元训练集不可获得的情况下的跨域小样本分类任务问题;
  2. 提出一种基于不确定性的步长适应和对抗数据增强的方法;
  3. 在所给出的问题设置下,相比于MAML有一个比较大的提升。
  • 核心内容

1. Motivating hypotheses

在元测试时,作者假设可以通过模型参数估计特定任务的不确定性。本文采用的方法是在支持集上训练ensembles,并估计模型参数的方差——每个模型学习到的参数略有不同,产生的梯度也略有不同,于是就可以将得到的参数的方差和梯度的方差视为任务特定的不确定性。

鉴于估计得到的任务不确定性,本文给出了两个方案对MAML进行改进:

Proposal 1 (task-specific stepsizes) 模型参数具有较高方差时使用较小的步长。

如果用较大的步长移动高方差分量,方差会进一步放大。(集成模型不收敛)

Proposal 2 (Task-specific adversarial examples)  梯度具有较高方差时使用具有较高对抗性扰动的对抗性样本。

梯度的方差越小,说明这个样本对模型来时是易于学的,所以需要更大的扰动增加鲁棒性。

(这里将对抗性训练视为元测试时的一种数据增广或正则化形式。)

2. Uncertainty-based gradient steps at test-time

(1) USA (uncertainty-based stepsize adaptation)

基本思想:layer-wise的步长与参数的方差成反比

例如,在mini-imagenet上得到的结果如下:

 

 

(2) UFGSM (uncertainty-based fast gradient sign method)

基本思想:对抗样本的扰动程度与梯度的方差成正比。

 

例如,在mini-imagenet上得到的结果如下:

 

结合两个模块USAUFGSM,最后meta-test阶段算法伪代码如下:

 

  • 实验结果

 

  • 总结

虽然本文主要针对的是meta-test阶段对步长和样本增强方面的一些考虑,其中可取的地方是利用模型集成(或者就可以理解成BMAML中粒子的概念)对任务不确定性的建模,包含了两部分:模型参数的方差,梯度的方差。那么能不能根据单个模型在不同domain任务上会获得的参数方差或者梯度方差捕获一些域的特征(比如来自该域的任务所需要的参数的方差),来帮助后面任务的训练。比如说PMAML中,学习的就是参数的均值和方差,面对特定任务时进行采样获得任务特定参数。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022 的相关文章

随机推荐

  • 使用vuedraggable 对一个 `二维列表` 实现拖拽修改

    使用vuedraggable 对一个 二维列表 实现拖拽修改 vuedraggable实现座位布局拖拽修改 方案一 修改 end 和move 在move中获取移动的元素值 和目的地元素值 在end中交换这两个元素 局限 元素需要是唯一值 不
  • APP图标未读取消息数目

    APP的图标通常右上角会显示红色的数字表示未读取的消息或通知数目 xff0c 那么这个怎么实现呢 xff1f 在iOS8 0之后需要注册一个通知 xff0c 很简单 xff0c 两行代码搞定 放代码 xff1a set to 0 to hi
  • anaconda中pip无法安装的3种解决方案:No module named ‘***‘ + setup.py

    下载安装 在Pypi或github中下载 以pypi为例 将下载的文件放到自己的文件夹 安装 pip install 安装包路径 git命令安装 pip install git 43 github https仓库链接 比如 xff1a pi
  • telnet登录不上,提示No route to host的解决方法

    root 64 zshts011 backup telnet 192 168 31 42 Trying 192 168 31 42 telnet connect to address 192 168 31 42 No route to ho
  • java 向上转型与向下转型

    基础知识 xff1a Java中的继承机制使得一个类可以继承另一个类 xff0c 继承的类称为子类 xff0c 被继承的类称为父类 在一个子类被创建的时候 xff0c 首先会在内存中创建一个父类对象 xff0c 然后在父类对象外部放上子类独
  • 在Arm/Linux下安装python的pytorch库

    在Arm Linux下安装python的pytorch库 通过pip安装torch库 xff0c 报以下错误 nvidia 64 nx pengjing pytorch packget span class token function s
  • Ubuntu(Jetson nano) qtcreator配置Libtorch、Qt、opencv

    opencv配置 jetson nano自带opencv span class token comment opencv span INCLUDEPATH span class token operator 43 61 span span
  • Curl工具的说明-安装-简单使用

    目录 1 Curl是什么 2 Curl在Windows下安装流程 3 Curl在Linux系统下安装流程 xff1a 4 Curl常用的参数及说明 xff1a 1 Curl是什么 在前后端的日常使用中会利用curl这种工具来代替Postma
  • Linux 网桥配置命令:brctl

    Linux 网桥配置命令 xff1a brctl linux brctl Linux网关模式下将有线LAN和无线LAN共享网段实现局域网内互联 思路其实很简单 xff1a 就是将虚拟出一个bridge口 xff0c 将对应的有线LAN和无线
  • C语言笔记(贪吃蛇)

    span class token comment 忘记了在那里找到的 xff0c 希望原作者大度 x1f604 xff0c 不和我这个菜鸟计较 span span class token macro property span class
  • 防止暴力破解ssh的四种方法

    一 方法介绍 防止暴力破解的四种方法 xff1a 1 密码要写的足够的复杂 xff0c 通常建议将密码写16位 xff0c 并且无连贯的数字或者字母 xff1b 当然也可以固定一个时间修改一次密码 xff0c 推荐是一个月修改一次会稳妥一些
  • RTOS面试常问题目

    RTOS常见面试问题 RTOS的实时性是如何实现的任务之间是如何通信的二值信号量和互斥量的区别任务通知是怎么是实现的RTOS内核是怎么调度的FreeRTOS四种任务状态 RTOS的实时性是如何实现的 一个处理器核心在某一时刻只能运行一个任务
  • STM32+ze-08甲醛传感器使用教程

    新房子快下来了 xff0c 装修后怕甲醛影响身体 xff0c 便决定自己动手做一个甲醛传感器检测 xff0c 本来很简单的一个东西 xff0c 做了快一个月了 xff0c 简直是累死个人 xff0c 下面听我慢慢给大家道来 硬件平台 xff
  • 华为交换机配置链路聚合(手工模式链路聚合和lacp模式聚合)

    转载至 xff1a 华为交换机配置链路聚合 xff08 手工模式链路聚合和lacp模式聚合 xff09 年华学习日记的博客 CSDN博客 华为链路聚合 华为交换机配置链路聚合 链路聚合 xff08 Eth Trunk xff09 xff0c
  • 说走就走的「Windows」—— Windows To Go 制作详解

    拥有 Mac 的同学大概都会碰到一个头疼的问题 xff0c 那就是使用 Windows 的使用需求 macOS 虽好 xff0c 不过总是会有一些讨厌的软件没有 Mac 版本 xff0c 这时就不得不在 Mac 上跑 Windows 了 使
  • 玩转华为数据中心交换机系列 | 配置动态LACP模式的链路聚合示例

    转载至 xff1a 玩转华为数据中心交换机系列 配置动态LACP模式的链路聚合示例 COCOgsta的博客 CSDN博客 华为lacp动态聚合 素材来源 xff1a 华为数据中心交换机配置指南 一边学习一边整理试验笔记 xff0c 并与大家
  • BASH命令之乐(2)之find

    继BASH命令之乐 xff08 1 xff09 xff0c 继续BASH命令学习 本篇文章介绍 find命令 find命令的工作方式 沿着文件层次结构向下遍历 xff0c 匹配符合条件的文件 xff0c 并执行相应的操作 默认路径为当前目录
  • 你会为 AI 转型么?我在考虑。。。

    缘起 看到CSDN发起的征文活动你会为 AI 转型么 xff1f xff0c 有点感想 xff0c 想记录下来 xff0c 可能不值得参考 认识 对人工智能的认识大部分是来源于电影 xff0c 像我 xff0c 机器人 xff0c 印度先生
  • BATJ关于Redis的高频面试真题

    1 Redis持久化机制 2 缓存雪崩 缓存穿透 缓存预热 缓存更新 缓存降级等问题 3 热点数据和冷数据是什么 4 Memcache与Redis的区别都有哪些 xff1f 5 单线程的redis为什么这么快 6 redis的数据类型 xf
  • 元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022

    Motivation MAML 在元训练任务上训练学习模型初始化 也称为 checkpoint xff0c 根据得到的初始化 xff0c 在测试任务的支持集上进行几个梯度步骤的任务适应 xff0c 就可以得到在查询集上的良好预测 然而在实践