最小外接矩形，也就是最后要回归的目标，也要打上一个标签，且希望和实际情况越接近越好。
实例分割要显示每一个像素属于谁，更加复杂。
YOLO之前的模型都是两个步骤：
输入一张图像
→
\to
→ 利用特定方法生成大约2k个框，这些框包括所有可能成为候选框的区域（形状都不同，只是保证其是个矩形）
→
\to
→ 将框进行统一尺度
→
\to
→ 进行一些数据增强
→
\to
→ CNN 特征提取（从某一层出来的特征保留）
→
\to
→ 送入SVM 进行分类，送入回归进行b-box的回归。
先对分类模型进行预训练，之后将SS生成的所有的一块一块的区域对模型微调，21、201（包含1个背景）是用到不同数据集，里边类别的多少就不同。
预训练后需要修改的：
SVM训练完之后，可能会出现负样本概率也大于0.5，将这些收集起来，重新训练一下。
在fine-tuning之后的模型的第五层上训练回归模型，回归的目标是把SS滑出来的框和真实框（G）做一个回归，每一类单独回归，也就是SS 回归得到的猫的框（P）和猫的真实框做回归，每一类训练一个回归模型。
P 的要求：SS 选出来的框和 GT 框的 IoU >0.6,
输入的是第五层输出的特征，而不是坐标，输出是SS和GT的差值。
目标函数是最大化，定义了一个回归的模型，就是P和G平方差最小。
评价有两重精度：
mAP: 所有类别的效果的均值
RCNN：先对框中内容进行裁剪或拉伸，再进行卷积
SPPnet：先对整幅图像进行卷积，再进行SPP 操作
对输入进行4x4/2x2/1x1的最大池化，即所有的小区域都可以被划分成相同大小的像素级联，方便全连接层。
为什么可以先卷积，后 SS：因为卷积后特征的相对位置不变，即可以先卷积，然后在找到对应的框，提取特征图特征。
fine-tuning过程也有差别：预训练
→
\to
→ SPP 处理
→
\to
→ 使用 SPP 特征来微调全连接层，不能微调卷积层，其他的过程和 RCNN 一样。
SPP ：特征提取时间很大的变短了，但仍然是分类和回归分别训练，但不能微调卷积层参数（感受野太大，效率太低等）。
R-CNN 和 SPP 都是训练两个头，而 Fast R-CNN 实现了多任务损失，取消了 SPP 模块，使得所有层的参数都可以fine-tuning。
首先：全图做卷积，提取region proposal
其次：把第五层的卷积输出，和 region proposal 送入RoI pooling层
再次：把分类和回归头使用一个损失函数进行训练
RoI pooling：RoI pooling 是取了一个较细尺度的划分，来进行最大池化，再传入全连接层。
反向传播的不同：
红色的框是区域建议的框，绿色的框是人工标注的 GT ，回归问题就是将红色的框映射为绿色的框。
exp永远为正，用于保证训练完之后的值不会变成负的。
多任务损失：分类+回归损失
分类损失：u是类别，p是概率分布，分类正确时，pu=1，-logpu接近于0，pu分类错误时，pu=0.2，-logpu会较大，即分到u上的概率要尽可能的大。
回归损失：当物体类别为背景时，就不存在回归问题了，故要先应用指示函数
smooth_L1：当x非常大的情况，相当于是离群点，会使得这批数据回归出现问题，故让离群点的影响小一点，即x较大时，让输出为 |x|-0.5，而不用平方。
batch：图片数量为2，每个图片中的 RoI 为64，此时 batch size 为128。
物体和背景的平衡：物体占1/4，背景占3/4。希望两者数据量平均点，样本量偏的太厉害会有问题，因为正向样本较少。
全连接层数据量大，故其采用了 SVD，将其分解为两个矩阵，也就是将全连接模型进行压缩，然后在重现出来，总的权重数量减少，加速运算。
Fast RCNN的速度和性能都很好：
Fast R-CNN 的局限：
RPN：量少质优
输入的图像经过卷积获得第五层卷积特征
→
\to
→ 3x3的卷积核
→
\to
→ 得到256维的卷积层
→
\to
→ 对256维的特征图分别进行两个不同的 1x1的卷积过程
→
\to
→ 一路进行分类，得到 2k 个得分（是物体/不是物体，k一般为9，也就是18,1x1x256x18），另一路进行回归，得到4k个参数（r/c/w/h）
→
\to
→ 将两者结合起来
候选框来源：
尺度：表示原始图像上的物体
纵横比：1:1，1:2，2:1
在候选框基础上，再做分类和回归。
损失函数：
训练：
CNN 的全卷积化趋势，因为全连接层参数太多。
CNN 一开始是用于分类的，所以对分类的性能是挺好的，即便是目标物体位置改变，卷积之后输入全连接层，也对分类结果影响不大。
但对于定位网络，全连接层是将整个图像的特征进行列向量话，肯定会对位置产生一定的影响，所以不希望回归网络最后是全连接网络。
R-CNN：一旦有个框，就要卷积一遍
SPPnet：先卷积，再找框，框又要单独的一个个过子网络，再做全连接
R-FCN：全卷积网络
变换敏感性：
主干网络：resnet-101
卷积之后，一个分支输入RPN，另一个分支就是位置敏感分值图，黄色是找A类的特征，绿色的是找B类的特征，等等等，无论物体在哪个问题，只要哪个层是用来判断该物体的层，就能够检测出来那个物体，纵向的综合起来，然后投票，就能得到其是哪一类。
每一个片都代表C个物体的类+1个背景的类，每个类别都有k^2个score map，之后叠加起来，最后才用上 RoI。
YOLO v1 最多能识别九千个类别
之前的工作似乎都是做两件事，一件是分类，一件是定位，YOLO 是把所有的问题都当做回归问题来解决。
每一个图化成7x7的块，判断哪个块属于哪一类。
resize：让网络能够找到较小的物体
网络结构：
输入
→
\to
→ GoogLeNet（简化成20层）
→
\to
→ 卷积和全连接层（fully connection）
→
\to
→ reshape
→
\to
→ 输出最终结果，三维数据块7x7x30（前两维是划分的块，第三维是）
输入的维度：上采样的图片
输出的维度：7x7x30
B：2（两个b-box）
5：位置（四个值）和置信度
C：20个目标类别
两个b-box，一个宽的，一个窄的。
公式：confidence=Pr(object)*IoU
Pr：是一个目标的概率
IoU：GT的框和预测的b-box的IoU
30个值：
前10个：两个框，每个框预测5个值（定位和置信度），全都是归一化的
后20个：针对每个类别的概率（Pr(class|object)），已知是目标的情况下，是哪一个类别的概率。
测试阶段：
蓝色框：首先判断定位定的准不准，平方在括号外边，都是坐标的协调系数，没有改两者的协调系数。
红色框：1——指示函数，是目标是1，不是目标是0，之后置信度相减
黄色的框置信度肯定很高，绿色的框和黄色框重合度较大，所以将重合度大于一定阈值的剔除。
判断类别：
98个box：7x7x2
C：b-box里边是否还有目标的置信度，做一个阈值处理，之后做NMS
NMS：不考虑具体是什么类别，先考虑重合且分数没有他高的框去掉。
优点：
一共只有98个候选框，故检测物体的速度快；
不是目标而判断成目标的情况较少；
能学到更加抽象的特征。
缺点：
精度低；
定位较差；
小物体检测不好，因为一个栅格只预测2个物体，再经过NMS，可能就只能预测一个物体。
在 YOLO v1上做了7个改变：
将 Imagenet 和 coco 结合起来了，一共9000个分类。
