程序员经验分享-hwhale

[2022]李宏毅深度学习与机器学习第十五讲（必修）-Meta Learning

2023-05-16

[2022]李宏毅深度学习与机器学习第十五讲（必修）-Meta Learning

  • 做笔记的目的
  • Meta Learning
  • ML vs meta learning
  • What is learnable in learning algorithm？

做笔记的目的

1、监督自己把50多个小时的视频看下去，所以每看一部分内容做一下笔记，我认为这是比较有意义的一件事情。
2、路漫漫其修远兮，学习是不断重复和积累的过程。怕自己看完视频不及时做笔记，学习效果不好，因此想着做笔记，提高学习效果。
3、因为刚刚入门深度学习，听课的过程中，理解难免有偏差，也希望各位大佬指正。

Meta Learning

工业界和学术界寻找超参数的方法并不相同。Meta Learning就是让机器去学习如何调参数。
在这里插入图片描述
Meta learning 也是三部曲，寻找方程定义损失，优化。
在这里插入图片描述
在这里插入图片描述
有一系列的训练任务
在这里插入图片描述
所有任务的Loss相加就成了meta learning的Loss
在这里插入图片描述
训练的单位是任务，所以可以用训练任务里的测试资料。
在这里插入图片描述
进行优化
在这里插入图片描述
整体框架：
在这里插入图片描述

ML vs meta learning

目标不同
在这里插入图片描述
训练资料也不同
在这里插入图片描述
Meta learning是Across-task Training
在这里插入图片描述
在这里插入图片描述
Loss设计的也不同
在这里插入图片描述
Meta Learning的运算量比较大，要训练很多模型。
在这里插入图片描述
同时ML很多理论可以直接用在meta learning上应用，如overfitting等等。
在这里插入图片描述

What is learnable in learning algorithm？

θ 0 \theta^0 θ0是可以训练的。
在这里插入图片描述
在这里插入图片描述
但是这个过程中也需要去调参，train meta learning的过程也要调参数。
在这里插入图片描述
很像Pre-training
在这里插入图片描述
也有一点像Domain adaptation
在这里插入图片描述
为什么效果好。
在这里插入图片描述
学习优化器
在这里插入图片描述
训练任务和测试任务应该不一样。
在这里插入图片描述
也可以训练模型架构NAS
在这里插入图片描述
可能需要用RL来学习。
在这里插入图片描述
RL举例子
在这里插入图片描述
也可以让架构可以微分。
在这里插入图片描述
在这里插入图片描述
也可以学习Data Augmentation
在这里插入图片描述
自动决定sample 的weight
在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

2022

Meta

Learning

李宏毅深度学习与机器学习第十五讲

[2022]李宏毅深度学习与机器学习第十五讲（必修）-Meta Learning 的相关文章

随机推荐

  • Word中设置不同页面的页眉不一样的方法（页脚、页码同理）

    目录 1 不同部分页眉的修改 2 如何删除页眉中的横线 1 不同部分页眉的修改 在Word中设置也没的时候默认每页都是一样的 xff0c 如果我们想要不同部分的页眉内容不一样 xff0c 则需要在不同的部分之间加入分节 符 xff0c 注意

  • 【MYSQL】 三大范式 表的关系 外键 ER图

    三大范式 第一范式 xff08 每列保持原子性 xff09 每一列属性都是不可再分的属性值 xff0c 确保每一列的原子性 两列的属性相近或相似或一样 xff0c 尽量合并属性一样的列 xff0c 确保不产生冗余数据 第二范式 xff08

  • 五年嵌入式经验工作与心得

    不知不觉已经从事嵌入式行业5年了 xff0c 大学4年工作5年一直专心从事嵌入式工作 下面我谈一下我对嵌入式的看法 可能对大神们没什么用 xff0c 希望对刚入门或者即将走出校园的同学们有些帮助 嵌入式在工作中分为固件程序 xff08 fi

  • JavaScript-----详细讲解js节点以及节点操作

    x1f353 获取元素通常使用两种方式 x1f407 利用DOM提供的方法获取元素 document querySelector document getElementsByClassName document getElementsByT

  • echarts 全局换肤 echarts根据系统颜色换肤,echarts自定义icon,echarts发光效果

    官网定义颜色网址 效果 代码 span class token tag span class token tag span class token punctuation lt span template span span class t

  • 计算机网络

    计网 2022 4 6 BDY 猛猪猪语录 xff1a Hash xff01 文章目录 计网一 网络分层 xff08 OSI 和 TCP IP 网络分层模型详解 xff09 1 OSI 七层模型2 TCP IP模型3 问题 xff1a 为什

  • 基于STM32四轴飞控制作笔记

    基于STM32四轴飞控制作笔记 前言 大四选了个四轴飞控作为毕业设计的题目 xff0c 近来没事 xff0c 把之前的制作做个总结开源出来 硬件设计 1 遥控MCU模块和飞控的MCU模块都采用stm32f103c8t6单片机 xff0c 很

  • ubuntu20.04 ROS打开gazebo 世界一片灰，模型没有显示颜色

    文章目录 2023年2月10日 更新原回答配置问题描述解决方案其他 2023年2月10日 更新 Win11 43 Ubuntu20 04双系统 43 ROS noetic 影子不显示 xff0c 模型没颜色 大概率是显卡的问题 xff0c

  • STM32学习笔记：PWM互补输出（无刷直流电机驱动控制）

    需要达成的目的为CH1通道输出PWM波 xff0c CH1N通道输出高电平等 最新方法已在新博客贴出 xff0c 更为简便 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 61 6

  • Postman如何设置成中文？（汉化）

    一 汉化补丁下载安装 点击下方这个链接 xff0c 进入gitee xff0c 在里面下载一个插件 我在写这篇文章的时候 xff0c 补丁包的最新版本号为 9 12 2 xff1a 下载 Postman 汉化补丁包 汉化补丁下载链接 xff

  • 记录：在ubuntu中以C语言实现json文件读取遇到的问题（1）（说不定会有2）

    4 12 记录在ubuntu中以C语言实现json文件读取遇到的问题 xff08 1 xff09 xff08 说不定会有2 xff09 暂记录遇到的问题及解决 xff0c 其中还有些原因没有搞明白 xff09 1 首先过程参考自一位大佬的博

  • 标量/向量/矩阵求导方法

    这篇博客源于在看论文时遇到了一个误差向量欧氏距离的求导 xff0c 如下 xff1a 在看了一堆资料后得出以下结论 xff1a 这个结论是怎么来的呢 xff1f 这就涉及标量 向量 矩阵的求导了 由于标量 向量都可以看做特殊的矩阵 xff0

  • 自学笔记：单片机蜂鸣器（包含程序）

    蜂鸣器的工作原理 xff08 搬运 xff09 蜂鸣器主要分为压电式蜂鸣器 无源蜂鸣器 和电磁式蜂鸣器 xff08 有源蜂鸣器 xff09 两种类型 压电式蜂鸣器 主要由多谐振荡器 压电蜂鸣片 阻抗匹配器及共鸣箱 外壳 等组成 多谐振荡器由

  • Invalid bound statement (not found):常见报错原因解决

    问题场景 xff1a 在SpringMVC项目中 xff0c 通过mapper接口加载映射文件 xff0c 完成数据库的操作 问题描述 报错 xff1a Invalid bound statement not found 原因分析 xff1

  • 记录一次策略模式优化代码案例

    策略模式优化案例 优化之前 优化之后 把原来的switch case 用接口方式实现 bean 注入采用map方式 key为 实现类的名称 xff0c value为实现类的bean xff0c 在所有bean注入之后执行init 方法 xf

  • 树莓派无屏幕连接

    无屏幕通过VNC显示树莓派远程桌面 我自己本来是有一个7寸屏幕的 xff0c 但是因为机器人那边需要看IP地址 xff0c 我就把屏幕装在机器上上面了 xff0c 只能vnc连接了 刷好系统的时候 xff0c 现在版本的树莓派是默认没有ss

  • SMPL论文解读和相关基础知识介绍

    SMPL论文解读和相关基础知识介绍 本文首发于微信公众号 视觉三维重建 欢迎大家关注公众号 和你分享计算机视觉算法工程师工作的点点滴滴 文章目录 SMPL论文解读和相关基础知识介绍 1 动画制作专业术语 2 SMPL 2 1 简介 2 2

  • 学术论文阅读方法

    文章目录 学术论文阅读过程大量阅读学术论文方法 xff1a 目的 xff1a 复现优秀论文提出创新点整理成文 看不懂怎么办幻灯博客视频课程代码 More研究生生活工作业务要求英语老师建议 近期基本完成机器学习和深度学习的学习 xff0c 开

  • 微信小程序未读消息右上角红点数字显示

    从weui中获得灵感 xff0c 稍微改造 xff0c 效果还不错 在消息数量为1 99时正常显示即可 xff0c 而大于99时显示99 43 使用wx if搞定 wxml部分 xff1a span class token tag span

  • [2022]李宏毅深度学习与机器学习第十五讲（必修）-Meta Learning

    2022 李宏毅深度学习与机器学习第十五讲 xff08 必修 xff09 Meta Learning 做笔记的目的Meta LearningML vs meta learningWhat is learnable in learning a

热门标签