Meta-learning：Learn to learn

【基于李宏毅教授的ML课程做的笔记，主要供自己复习，所以就留下了一些自己想多看的东西，b站有全面的课程视频】

• 引言：为什么few-shot任务常常提及元学习meta-learning？在后续分析中能体会到meta-learning可能有不少的train task、test task，要训这么多任务，自然数据量小一点好，和few-shot任务就很接近了。

一、理解Learn to learn

1. 整体考虑下面的图，我们熟悉的学习是不断地用梯度更新网络参数，但其实 in terms of 网络结构、初始参数的设置、参数的更新策略（SGD的learning rate）、甚至整个learning algorithm F，也许都可以让机器学习，而不用人来设计。

2. Meta learning是想从上面说的几个方面下手，改变learning algorithm的某些方面；像下面的图所示，有一个training task中要分辨猫、狗的图片，我用meta-learning假如来学习Ｆ中的网络初始化参数，学的好的结果应该是这个初始化参数能够使得网络最后的训练结果好！
   相应的，meta-learning运用到test task中（假如是分辨人脸），这个初始化参数应该也能导致网络最后的性能不错，神奇哈！！！

3. 回到meta-learning的learn to learn概念，从大的来看是找到learning algorithm F，使得F能在不同任务中 learn 出优秀的模型 f ；从小的来看，可以举例为从具体的training task的数据中，学习F中的网络初始化参数，目的是通过此初始化参数能够 learn 出优秀的模型。

二、两篇meta-learning的论文

1. MAML【Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks】2017年发布于ICML。它的任务就是我们在一中提到的例子——学习网络的初始化参数，首先的限制就是不同的task都要有相同的网络结构。
   那么对于一系列的training task，meta-learning怎么学习到网络的初始化参数 Φ ？最终还是用梯度下降，也就是所有traning task各自从Φ开始训，在query set（就是这个task上的测试集）上的loss相加，就是此时针对 Φ 的loss。
   
2. 那这不是跟预训练模型一样么？？？
   看图说话，要明确的是元学习始终是learn to learn，回到一中反复提的learning algorithm F，MAML只是关注于初始化参数 Φ 的设置，改变 Φ 的依据是各training task训练得到的最终参数表现出来的loss，也就是潜能好。
   
   不同的是，预训练模型在task 1 、task 2上训练得到网络参数Φ，这个Φ就要在两个任务上的loss都比较低，也就是现在的表现好，却不一定能在某一个任务上达到最低。
   
3. Reptile【On First-Order Meta-Learning Algorithms】
   MAML在提出的时候还有一个限制是只在traning task上训练one step，李教授说了一些猜测我先略了。然后在实际计算Φ 的梯度的时候也做了梯度的近似，可以总结为：网络训练one step后的参数，loss对其求导，相应的梯度来更新Φ，我也略了。
   对于Reptile，来看图说话：
   虽然这里更像预训练模型了，又有一个图来比较一下（g1，g2是两个task的loss梯度）：pre-train的话网络的Φ更新方向应该是g1（我理解的是两个task中第一个是预训练task，第二个就是正常评估性能的task了）；MAML用了上述提到的梯度近似后，更新方向应该是g2（不理解）；Reptile就是g1 g2两个方向都会走（见上图）！
   

三、few-shot任务的一些思路

下面的网络解决的问题请自动带入N-way， K-shot（N分类，每个类别support set只有K个样本）的语境中~

1. Siamese Network
   下图中的network典型的就是CNN，理想情况是提取到图片内分辨same，different的最关键特征，而像auto-encoder就可能提取到图片的全部特征，效果可能差些。
   
2. prototypical network、matching network
   （1）如图所示，核心思想依然是“匹配”，要理解的是下图的逻辑是support set的图片通过CNN提特征，如5-shot任务就把5个样本的特征mean作为此类的prototypes向量，到这里算是完成了learning algrithm F从数据中学到模型 f 的过程（个人理解：即F是CNN网络，模型 f 则是简单的通过prototypes向量分辨data是哪一类）。
   （2）接下来的query set的图片提取特征后，和prototypes向量计算相似度，进而判断类别（具体如计算特征向量之间的欧拉距离）。
   （3）matching network不同的是，会把下图中的support set经过的CNN网络换成双向LSTM。（要大概理解他的意思就是觉得要挖掘样本间的上下文关系）。
   
3. Relation Network
   其实还没看论文实现，先猜测就是两手抓：提取特征、判断类别的模型中用了两个网络，而不像2在判断类别上用的手段更intuitive。