论文：A Simple Framework for Contrastive Learning of Visual Representations
代码： https://github.com/google-research/simclr
出处：ICML 2020 | Hinton 大佬 | Google
贡献：
效果：
目前来说，大致有两个不同的路线来做无标签的视觉特征提取，分别是 generative 和 discriminative，也就是生成式和判别式
基于判别式的方法在目前取得了 SOTA 的效果（如 MOCO），所以本文作者为了探究其原因，就做了一些探索和实验，并且证明了下面这几个结论：
作者正式结合了上面的几种发现，所以才构建了一个简单的网络框架 SimCLR
SimCLR 是通过最大化同一样本的不同视角在特征空间中的一致性来学习的，网络结构如图 2 所示
首先，给定一个输入样本 x，作者使用数据增强来生成两个图片，这两个图片就是一对 positive pairs。
本文中会顺序的使用 3 种数据增强：random cropping → resize 回原来的尺寸 → random color distortion →随机高斯噪声。因为作者通过实验发现 random crop 和 color distortion 的结合能取得最好的效果。
然后，使用基础 encoder f ( . ) f(.) f(.) 来抽取数据的特征，这里的 encoder 选择的是 ResNet
接着，对得到的特征使用 projection head g ( . ) g(.) g(.) 来将特征映射到 contrastive loss space。这里的 g ( . ) g(.) g(.) 是有一层隐藏层的 MLP。这里的 g ( . ) g(.) g(.) 是非线性的，因为使用了 ReLU 激活函数。
最后，在最终的特征上进行对比预测任务，使用的是对比学习 loss，也就是在给定一堆经过变换后的样本，模型要能通过给定的 x i x_i xi 识别出其对应的正样本 x j x_j xj
对比学习具体是怎么学习的呢：
首先，假设一个 batch 输入了 N 个 samples，经过代理任务后，就能得到 2N 个 augumented samples
然后，使用 f ( . ) f(.) f(.) 和 g ( . ) g(.) g(.) 进行对应的特征提取，得到 z i z_i zi 和 z j z_j zj
接着，计算对比学习 loss，对于一个样本 z i z_i zi，只有一个正样本 z j z_j zj，其余所有的 2(N-1) 个 augumented samples 都是负样本，所以样本 i 对应的 loss 函数如下，分母是剔除了 i 自己，sim 表示点乘， τ \tau τ 表示温度参数
SimCLR 的整体过程：
这里为什么是 2k-1 次呢，因为一个 sample 得到的两个 aug samples 都是当前 batch 内的样本，所以每个样本都会和其他所有的样本计算 loss，i 和 j 计算一次，j 和 i 也会计算一次，所以每个样本都会计算 2k-1 次 loss。然后最后的 L 也除以 2 了，因为每个样本都计算了 2 次。
我们已知对比学习比较依赖于负样本的数量，只有在负样本数量较大的时候才能学习到更有区分力的特征
所以作者使用了从 256~8192 大小的 batch size，当 batch size 为 8192 时，每个样本对应的负样本的数量就是 16382 (16382=2x(8192-1))
如果使用这么大的 batch size 同时使用 SGD/Momentum 优化器结合线性学习率变化的话，就会不稳定，所以作者使用了 LARS 优化器。
Global BN：所有机器上的数据共同计算 BN 的 mean 和 variance
在分布式训练中，BN 的 mean 和 variance 是计算单个卡上的所有样本得到的。在对比学习中，positive pairs 是同一机器上得到的，会导致信息泄露，泄露给模型说所有的正样本对都在对角线上，模型能使用泄露的局部信息来提高准确率，而不用提高学习效果。
为了避免这个问题，作者使用一次迭代的所有机器上的全部数据来计算 mean 和 variance，MOCO 中使用 shuffling data 的方式解决。
图 4 中展示了不同的数据增强方式，作者也对不同的数据增强方式进行了凉凉组合，最后发现结合 random crop 和 color 的方式能够得到最好的效果
且作者证明了 strong augmentation 在无监督学习中更重要
之前和很多无监督与村里方法的测评都是在 ImageNet 上，还有一些在 cifar-10 上。
作者在本文中也会使用迁移学习的方式来测评预训练模型的效果
作者测评使用的方式是 linear protocal（就是冻结预训练 backbone，只训练最后添加的分类头）
设置：
