Contrastive Loss
在传统的siamese network中一般使用Contrastive Loss作为损失函数，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。
contrastive loss的表达式如下：
# tensorflow伪代码
def contrastive_loss(self, y,d,batch_size):
tmp= y *tf.square(d)
#tmp= tf.mul(y,tf.square(d))
tmp2 = (1-y) *tf.square(tf.maximum((1 - d),0))
return tf.reduce_sum(tmp +tmp2)/batch_size/2
其中d=||an-bn||2,代表两个样本的欧式距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，margin为设定的阈值。
这种损失函数最初来源于Yann LeCun的Dimensionality Reduction by Learning an Invariant Mapping，主要是用在降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。
观察上述的contrastive loss的表达式可以发现，这种损失函数可以很好的表达成对样本的匹配程度，也能够很好用于训练提取特征的模型。当y=1（即样本相似）时，损失函数只剩下
即原本相似的样本，如果在特征空间的欧式距离较大，则说明当前的模型不好，因此加大损失。
而当y=0时（即样本不相似）时，损失函数为
即当样本不相似时，其特征空间的欧式距离反而小的话，损失值会变大，这也正好符号我们的要求。
这张图表示的就是损失函数值与样本特征的欧式距离之间的关系，其中红色虚线表示的是相似样本的损失值，蓝色实线表示的不相似样本的损失值。
个人见解：欧式距离表示两个文本向量在空间之间的距离，如果距离很小说明样本相似；反过来，两个文本越相似，那么它们之间的欧式距离越小；从上面图中我们可以看出，x轴为d（欧式距离），以红色虚线为例，它们描述了两个相似文本loss与欧式距离之间的关系，因为欧式距离越大与"两个文本相似"这个事实事与愿违，那么我们就对它们惩罚越大（即loss越大）。
来自文章：Contrastive Loss (对比损失)_autocyz-CSDN博客_contrastive loss
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
