SphereFace的翻译，解读以及训练

前段时间，由于工作需要，学习了一下论文《SphereFace: Deep Hypersphere Embedding for Face Recognition》,收获挺大的，这几天刚好有空，就整理了一下。博客分为三大部分，包括SphereFace的翻译，论文解读，以及模型的训练和测试。

目录

论文翻译

这里只翻译论文中最核心的第3章中的3.1,3.2和3.3

3.1 回顾Softmax loss

我们回顾一下softmax loss的决策准则。在二分类的情况下，softmax loss的后验概率为：

公式中 x x $x$就是学习到的特征向量，wi$w_i$$w_i$和 bi b i $b_i$就是最后一个全连接层对应类别i的权值和偏置。如果 p1>p2 p 1 > p 2 $p1>p2$，预测的结果就是类别1，如果 p1<p2 p 1 < p 2 $p1<p2$,预测的结果就是类别2。从公式中很容易看出， WT1x+b1 W 1 T x + b 1 $W^T_1x+b_1$和 WT2x+b2 W 2 T x + b 2 $W^T_2x+b_2$决定了分类的结果。决策函数就是 (W1−W2)x+b1−b2=0 ( W 1 − W 2 ) x + b 1 − b 2 = 0 $(W_1-W_2)x+b_1-b_2=0$。 WTix+bi W i T x + b i $W^T_ix+b_i$可以被写成 ||WTi||||x||cos(θi)+bi | | W i T | | | | x | | c o s ( θ i ) + b i $||W^T_i|| ||x|| cos(\theta_i)+b_i$,其中 cos(θi) c o s ( θ i ) $cos(\theta_i)$就是 wi w i $w_i$和 x x $x$之间的夹角。如果我们归一化权重，并且将偏置设置为0，后验概率就变成了p1=||x||cos(θ1)$p_1=||x||cos({\theta }_1)$$p_1=||x||cos(\theta_1)$和 p2=||x||cos(θ2) p 2 = | | x | | c o s ( θ 2 ) $p_2=||x||cos(\theta_2)$。注意p1和p2共享相同的x,最后的结果取决于角度 cos(θ1) c o s ( θ 1 ) $cos(\theta_1)$和 cos(θ2) c o s ( θ 2 ) $cos(\theta_2)$。决策函数就变成了 cos(θ1)−cos(θ2)=0 c o s ( θ 1 ) − c o s ( θ 2 ) = 0 $cos(\theta_1)-cos(\theta_2)=0$。虽然上面的分析基于二分类，但是也适用于多分类。在训练的过程中，改进的softmaxloss( ||Wi||=1,bi=0 | | W i | | = 1 , b i = 0 $||W_i||=1,b_i=0$)使得来自于同一类的样本特征具有更小的角度 θi θ i $\theta_i$(即更大的cosine距离)。为了给改进后的softmax loss一个表达式，我们首先定义输入特征 xi x i $x_i$和他的label yi y i $y_i$ .原始的softmax loss可以写

成：

这里 fj f j $f_j$表示向量f的第j个元素(1<=j<=K,K就是类别数)，N就是训练样本的个数。在CNN中，f通常就是全连接层W的输出，所以， fj=WTjxi+bj f j = W j T x i + b j $f_j=W^T_jx_i+b_j$, fyi=WTyixi+byi f y i = W y i T x i + b y i $f_{y_i}=W^T_{y_i}x_i+b_{y_i}$,这里 xi x i $x_i$是第i个训练样本， wj w j $w_j$表示w的第j列， wyi w y i $w_{y_i}$表示w的第 yi y i $y_i$列。我们可以进一步将公式3写成：

这里 θj,i(0<=θj,i<=π) θ j , i ( 0 <= θ j , i <= π ) $\theta_{j,i}(0<=\theta_{j,i}<=\pi)$就是向量 wj w j $w_j$和 xi x i $x_i$之间的夹角。如上面分析，首先在每一次迭代中我们归一化权值 ||Wj|| | | W j | | $||W_j||$并且将偏置设置为0.然后我们可以将改进后的softmax loss写成：

虽然我们可以通过改进后基于角度的softmax loss学习特征，但是这些特征不一定就是可区分的。由于我们使用角度作为距离的矩阵，那么很自然的就可以将角度距离融合到学习到的特征来加强特征的可区分能力。本节最后，我们提出了一个新的方法来结合角度距离。

3.2 softmax loss中引进角度距离

我们没有设计一种新的loss函数，也没有构造一个softmax loss的加权组合(类似于对比loss),我们提出了一种更加自然的方法学习角度距离。从之前对softmax loss的分析来看，我们知道决策函数对特征分布的影响很大，所以我们的基本思想就是控制决策函数生成角度距离。我们首先使用二分类来解释一下我们的思路。

假设x是从类别1中学习到的特征， θi θ i $\theta_i$是 x x $x$和Wi$W_i$$W_i$之间的角度，我们知道改进的softmax loss需要 cos(θ1)>cos(θ2) c o s ( θ 1 ) > c o s ( θ 2 ) $cos(\theta_1)>cos(\theta_2)$才能正确分类x。但是如果我们使用 cos(mθ1)>cos(θ2) c o s ( m θ 1 ) > c o s ( θ 2 ) $cos(m\theta_1)>cos(\theta_2)$(m是大于等于2的整数)来正确分类x会怎么样呢？有必要使得决策函数比以前更加严格，因为我们需要 cos(θ1) c o s ( θ 1 ) $cos(\theta_1)$比 cos(θ2) c o s ( θ 2 ) $cos(\theta_2)$更大。对于类别1来说 cos(mθ1)=cos(θ2) c o s ( m θ 1 ) = c o s ( θ 2 ) $cos(m\theta_1)=cos(\theta_2)$，类似的，当 cos(mθ2)>cos(θ1) c o s ( m θ 2 ) > c o s ( θ 1 ) $cos(m\theta_2)>cos(\theta_1)$的时候，该特征属于类别2，对于类别2来说，决策函数就是 cos(mθ2)=cos(θ1) c o s ( m θ 2 ) = c o s ( θ 1 ) $cos(m\theta_2)=cos(\theta_1)$，假设所有的训练样本都被正确分类了，决策函数会生成一个 m−1m+1θ12 m − 1 m + 1 θ 2 1 ${{m-1}\over{m+1}}{\theta^1_2}$的角度距离，这里的 θ12 θ 2 1 ${\theta^1_2}$就是 W1 W 1 $W_1$和 W2 W 2 $W_2$的角度，从角度方面来看，当 θ1<θ2m θ 1 < θ 2 m ${\theta_1}<{\theta_2 \over m}$的时候，样本属于类别1，当 θ2<θ1m θ 2 < θ 1 m ${\theta_2}<{\theta_1 \over m}$的时候，样本属于类别1，两者都比原始的 θ1<θ2 θ 1 < θ 2 ${\theta_1}<{\theta_2}$和 θ2<θ1 θ 2 < θ 1 ${\theta_2}<{\theta_1}$更难，用公式来表示上面的思想就是：

其中 θyi,i θ y i , i $\theta_{y_i,i}$的范围是 [0,πm] [ 0 , π m ] $[0,{\pi \over m}]$ 。为了消除该限制，并且使得在CNN中最优，我们通过一个角度函数 ψ(θyi,i) ψ ( θ y i , i ) $\psi({\theta_{y_i,i}})$扩展 cos(θyi,i) c o s ( θ y i , i ) $cos(\theta_{y_i,i})$的定义范围，这个函数在 [0,πm] [ 0 , π m ] $[0,{\pi \over m}]$ 区间内等价于 cos(θyi,i) c o s ( θ y i , i ) $cos(\theta_{y_i,i})$。我们提出的A-softmax loss可以表示为：

其中我们定义： ψ(θyi,i)=(−1)kcos(mθyi,i)−2k ψ ( θ y i , i ) = ( − 1 ) k c o s ( m θ y i , i ) − 2 k $\psi({\theta_{y_i,i}})=(-1)^kcos(m{\theta_{y_i,i}})-2k$， kπm<=θyi,i<=(k+1)πm,0<=k<=m−1 k π m <= θ y i , i <= ( k + 1 ) π m , 0 <= k <= m − 1 ${k\pi \over m}<={\theta_{y_i,i}}<={(k+1)\pi \over m},0<=k<=m-1$。m>=1是一个整数，用来控制角度距离的大小。当m=1,A-softmax loss变成了改进后的softmax loss.我们可以从决策函数角度来解释A-softmax loss.A-softmax loss对于不同的类别采用了不同的决策函数，每个决策函数比原始的更加严格，因此产生了角度距离。决策函数的比较见表1.

表1。 二分类中决策函数的比较。注意 θi θ i $\theta_i$就是 Wi W i $W_i$和 x x $x$之间的夹角.

从原始的softmax loss到改进的softmax loss,从优化内积到优化角度。从改进的softmax loss到A-softmax loss,让决策函数更加严格并且更加具有可区分性。当m增大，角度距离也会增加，当m=1的时候，角度距离为0。
通过A-softmax loss的监督，CNN学习到基于几何的角度距离的脸部特征。因为A-softmax loss需要wi=1,bi=0$w_i=1,b_i=0$$w_i=1,b_i=0$.预测仅仅依赖于样本x和wi之间的角度。所以，x可以以最小的角度被分类为某一类。添加参数m的目的是在不同人之间学习角度距离。为了便于梯度计算和反向传播，我们使用只包含 w w $w$和xi$x_i$$x_i$的表达式替换了 cos(θj,i) c o s ( θ j , i ) $cos(\theta_{j,i})$和 cos(mθyi,i) c o s ( m θ y i , i ) $cos(m\theta_{y_i,i})$，通过cosine和多角度公式的定义很容易做到这点。如果没有 θ θ $\theta$，我们能够计算x和w的导数，类似于softmax loss.