提出inception unit，采用多个size的卷积核对输入进行卷积。
采用1x1 3x3 5x5的卷积核不是必须的，而是为了方便
可以理解为不同大小的卷积核可以提取到图像中不同大小的特征
带来的问题：需要训练的参数太多 -------------解决方法：在使用3x3 5x5的卷积核之前使用一次1x1的卷积核进行降维，1x1的卷积核可以实现通道间的连接和信息互通。
疑问：
决定3x3、5x5的卷积输出维度的依据是什么？
- 采用了批规范化Batch Normalization，使得训练时可以采用更大的学习率、更少的关注参数初始化。
- 论文中指出在最先进的图像分类模型中采用批规范化可以减少14倍的训练次数，却能达到相同的准确率。
- 为了减少训练时梯度下降法带来的nternal covariate shift，文章通过fixing the distribution of the layer inputs来提高训练的速度。
- We presented an algorithm for constructing, training, and performing inference with batch-normalized networks. The
resulting networks can be trained with saturating nonlinearities, are more tolerant to increased training rates, and
often do not require Dropout for regularization.
- 文章思考如何有效率的提升模型的规模而尽可能的减少计算代价。In this paper, we start with describing a few general principles and optimization ideas that that proved to be useful for scaling up convolution networks in efficient ways.
提出了一些general principle:
5x5的卷积核 可以通过两个3x3的卷积核进行代替，同时减少了需要学习的参数数量，（18:25）
同理，理论上来说 可以采用更加小的卷积核来代替3x3的卷积核，例如使用不对称的卷积核组合 3x1 和 1x3
网络结构中采用了Auxiliary Classifiers，文中指出通过测试发现Auxiliary Classifiers结构出现在网络深层效果比较好，在浅层网络时，有无Auxiliary Classifiers对测试结果没有影响。we argue that the auxiliary classifiers act as regularizer
然而作者发现在使用这种不对称的卷积核时，在浅层网络的效果并不好，在中层的特征图大小时得到较好的效果。——In practice, we have found that employing this factorization does not work well on early layers, but it gives very good results on medium grid-sizes (On m×m feature maps, where m ranges between 12 and 20). On that level, very good results can be achieved by using 1 × 7 convolutions followed by 7 × 1 convolutions..
- 实验结果表明 结合将residual结构结合到inception网络中可以大大的加快inception网络的训练速度。
- 在计算代价相当的情况下，residual inception网络的表现稍好。
- 文中提出了改进的inception结构称之为V4，同时也将inception和residual结构进行结合。
