学会读论文是一件读研期间必做的事，已经读过好几篇，但都是浅读，读完后发现啥也没记住，总想着等我有需要我再去细读文章，但如果你连自己研究方法的各种理论和方法都没有基础了解的话，其实很难去提出问题，想到一个好的idea，更别说去解决问题，然后写你自己的论文。看过许多经验帖后和听师兄师姐说过后，我自己大概总结了三条。
1、读论文要细看摘要，知道文章在讲什么，能提出自己的问题当然最好
2、算法部分，最好能去复现，不要在乎时间
3、此论文最大的创新点是什么
再详细点的步骤可以分为6步：
1.文章主要解决什么问题；
2.解决的思路是什么；
3.核心的知识点有哪些；
4.程序功能分块说明；
5.存在的问题；
6.有哪些改进的思路！
1、基于ImageNet 数据集的图像分类，此论文没有摘要，基本都是图表，会做图表的人论文都写的好，论文直接提出了问题
为什么要对图像进行卷积？对人对物的识别时，像素位置为什么能框住人或物？
猜想：图片太大，不进行卷积无法放入网络中。至于像素位置应该是定位了某个特征。（和文章一致）
2、文章主要解决的问题：讨论激活函数relu的效率，如何处理数据集使得训练效果更好
3、没有算法部分，那么解决思路有这样几个：
1、发现线性relu的效率会更高并且有效处理了梯度消失的问题
2、数据增强：RGB的增强，基于的理论是光的恒常性理论。
多补丁提取
创造数据集如旋转、裁剪、拉伸、放大缩小
剔除懒惰神经元（这个不是对数据的增强）
4、存在的问题在文章中也有指出：有几个部分没有很好的解释。我认为应该是有些图没有解释清楚，只有一个标题，比如下图
这是一个ImageNet的一个图像分类比赛，从2010年到2015年的分类错误率和神经网络的层数的变化，直达2015年残差网络的出现，才将精度降到了4%以下，并且深度是跳跃式增长。（2015年何凯明博士发表了残差网络的论文，我还学习过这位大牛2009年发表的暗通道去雾算法，毕设就是做去雾）
1、从摘要中：神经网络的层次越深越难以训练，所以文中提出一个更好训练的残差网络，并且也更好优化，最终测试效果也不错，那么什么是残差网络？残差网络的深度是VGG的8倍，为什么还能保持低复杂性，在我的印象里模型越深越复杂，也越容易过拟合（梯度消失、爆炸）？如何实现的残差网络？这也是文章主要去解决的问题
2、残差网络流程图（实现）
残差的本意并不是说残缺的网络，文中将底层映射定义为H(x),底层映射就是输入的特征x经过网络最终得到的那个函数，但如果网络很深，H(x)是非常难求解的。通过捷径链接的方式就能更好的求解H(x),特征每经过2-3层网络得到F(x),随后将前2-3层的x加到上面。我理解的是一个迭代求解的过程。（细化-求解-细化-求解）
3、刚开始随着神经网络的加深，会出现梯度消失或者爆炸的现象，导致训练难以收敛，解决方法是进行归一化处理。但当收敛问题解决之后又出现新的问题，随着神经网络的加深，训练出现退化现象，退化是指在训练集上的效果越来越差。(过拟合：在训练集上拟合度很高，但测试集上效果很差)
4、文章没有明确解释残差网络为什么随着网络层数的加深，能有更好的学习效果（为什么残差网络会有用）？
通过查阅资料大概是这样：a、在堆叠的非线性映射中，神经网络难以学习到一个恒等映射，而残差网络更容易学习。b、还有观点认为残差网络打破了神经网络的对称性，提高了神经元的效率，另外神经网络能够加深可能是因为多条支路保证了即使某些层发生退化也不会影响整体的效果。
1、文章主要提出与之前论文不同的线性假设来解释对抗样本的存在性，然后利用线性观点提出FGSM，并利用该攻击方法产生的对抗样本进行对抗训练，得到有“抗体”的模型进行防御。
2、对抗样本的线性解释：
样本输入特征(input feature)的精度有限(一般图像的每个像素是8bits, 样本中所有低于1/255的信息都会被丢弃)，所以当样本 x中每个元素值添加的扰动值 η小于样本输入特征精度时，分类器无法将样本 x和对抗样本x˜ = x + η区分开。也就是对一个分类良好的分类器而言，如果η是一个足够小以至于被舍弃掉的值，那么只要 ||η||∞ < e，分类器将认为x和x˜属于同一个类。下面考虑权重向量w⊤(T表示转置)和对抗样本x˜的点积为w⊤x˜ = w⊤x + w⊤η.可以看出，对抗扰动使得activation增加了w⊤η，作者提出让 η=sign(w)从而使wTη最大化。假设权重向量w有n个维度，且权重向量中元素的平均量值是m，那么activation将增加emn(e*m*n)。虽然||g||不会随着维度n的变化而变化，但是由g导致的activation的增加量emn会随着维度n线性增长。那么对于一个高维度的问题，一个样本中大量维度的无限小的干扰加在一起就可以对输出造成很大的变化。
所以，对抗样本的推到过程也说明了，只要维度够高，线性网络也可以产生对抗样本。
3、线性观点提供了一种快速生成对抗样本的方法——FGSM，通过添加一个微小向量，分类模型就将大熊猫的图片识别为了金丝猴，而肉眼看两张图都是大熊猫。
4、线性模型的对抗训练：传统的对抗训练是将对抗样本和真实样本混在一起训练模型，本文中提出使用FGSM算法在训练过程中不断更新对抗样本，从而使得当前模型可以抵御对抗样本。
5、对抗样本泛化的原因：泛化是指模型对未知数据的预测能力。一个特定模型上产生的对抗样本通常也容易被其他模型误分类，即使这些模型的结构不同或者模型在不同的训练集上训练。甚至，不同的模型对对抗样本误分类的结果相同！作者表明，非线性或者过拟合的假设不能解释上述的现象。在不同的扰动下，可以看到FGSM可以在一维的连续子空间内产生对抗样本，而不是特定的区域。这就解释了为什么对抗样本特别多，以及对抗样本泛化存在的原因。
6、本文的创新点在于提出对抗样本的线性假设，提出另一种对抗训练方式，进而用线性解释了对抗样本泛化的原因。
