来自AAAI2021
文章链接：https://www.cbsr.ia.ac.cn/users/xiaobowang/papers/TNAS_AAAI2021.pdf
现有的知识蒸馏方法都是手工的启发式方法，这些方法旨在预先定义好目标学生网络，由于需要花费大量精力去找到一个合适的学生网络，这样的做法可能会导致出现次优解。
因此，这篇文章提出了一种教师网络指导的神经网络搜索方法，可以直接通过通道数和层数对学生网络进行搜索。
通俗的来说就是将搜索空间定义成通道数/层数（通过概率分布进行采样），然后将loss最小化进行学习。最终将每个分布中概率最大的值作为学生网络的深度和宽度。
这里作者列举了现有的一些方法，比较特别的有：
主要贡献：
神经网架构搜索包括两个重点概念：搜索目标、搜索空间。
对于人脸识别问题上的知识蒸馏来说，一般情况下我们有一个训练好的教师网络，并且需要根据它蒸馏出学生网络，但问题是我们往往并不知道这个教师网络是怎么训练的（包括训练集，loss函数以及训练策略等），这时一般有以下几种情况：
预定义的学生网络往往不是最优的网络结构，其原因在于需要花费大量精力去找到一个合适的学生网络。本文的旨在通过搜索，找到一个合适的架构用于学生网络。
因此，本文将学生网络的深度和宽度的候选空间作为搜索空间。
文章中用
α
∈
R
∣
C
∣
\alpha\in R^{|C|}
α∈R∣C∣表示一层中可能的通道数的分布。选择第j个候选通道的概率可以表示为：
p
j
=
e
x
p
(
α
j
)
∑
k
=
1
∣
C
∣
e
x
p
(
α
k
)
,
1
≤
j
≤
∣
C
∣
p_j=\frac{exp(\alpha_{j})}{\sum\nolimits_{k=1}^{|C|}exp(\alpha_k)} ,\quad 1\leq j \leq |C|
pj=∑k=1∣C∣exp(αk)exp(αj),1≤j≤∣C∣
但上述的采样操作是不可微的，因此需要采用Gumbel-Softmax的软化采样过程(?记得看)去优化
α
\alpha
α:
p
j
^
=
e
x
p
(
(
l
o
g
(
p
j
)
+
o
j
)
/
τ
)
∑
k
=
1
∣
C
∣
e
x
p
(
(
l
o
g
(
p
k
)
+
o
k
)
/
τ
)
\hat{p_j}=\frac{exp((log(p_j)+o_j)/\tau)}{\sum\nolimits_{k=1}^{|C|}exp((log(p_k)+o_k)/\tau)}
pj^=∑k=1∣C∣exp((log(pk)+ok)/τ)exp((log(pj)+oj)/τ)
根据深度和宽度构建了相关loss函数，并且最终进行优化找到最大的size
实验使用的训练集为ASIA-WebFace (Yi et al. 2014)和MS-Celeb-1M
测试集为LFW、SLLFW、 CALFW、 AgeDB、 CFP、RFW、 MegaFace和TrillionPairs
