特征融合的方法很多.如果数学化地表示，大体可以分为以下几种：
SENet使用了通道注意力的模块。
给定特征图
X
∈
R
C
×
H
×
W
X\in \mathbb{R}^{C\times H\times W}
X∈RC×H×W。通道注意力模块中的权重
w
∈
R
C
×
1
×
1
w\in \mathbb{R}^{C\times 1 \times 1}
w∈RC×1×1可表示为：
w
=
σ
(
B
(
W
2
δ
(
B
(
W
1
(
g
(
X
)
)
)
)
)
)
w =\sigma(B(W_2\delta(B(W_1(g(X))))))
w=σ(B(W2δ(B(W1(g(X))))))
其中，
g
(
X
)
=
1
H
×
W
∑
i
=
1
H
∑
j
=
1
W
X
[
:
,
i
,
j
]
,
g
(
X
)
∈
R
C
g(X)=\frac{1}{H\times W}\sum_{i=1}^{H}\sum_{j=1}^WX_{[:,i,j]},g(X)\in \mathbb{R}^C
g(X)=H×W1∑i=1H∑j=1WX[:,i,j],g(X)∈RC是全局池化层,
B
B
B是BN层，
δ
\delta
δ是ReLU层，
W
W
W是全连接层，
W
1
∈
R
C
r
×
C
,
W
2
∈
R
C
×
C
r
W_1\in \mathbb{R}^{\frac{C}{r}\times C},W_2\in \mathbb{R}^{C\times \frac{C}{r}}
W1∈RrC×C,W2∈RC×rC,r是通道缩减倍数。
SE模块将特征图中所有位置的权重浓缩为一个实数值，忽略了不同位置间的差异，且更容易关注大目标而忽略小目标。 CBAM(Convolutional Block Attention Module)在通道注意力之后又加上了空间注意力。
这里仅介绍空间注意力模块。空间注意力是以通道为单位进行最大和平均池化，并将两者的结果进行concat，之后再一个卷积降成1wh的特征图空间权重，再将该权重和输入特征进行点积。
权重
w
∈
R
1
×
H
×
W
w\in \mathbb{R}^{1\times H\times W}
w∈R1×H×W的数学表达形式为：
w
=
σ
(
W
(
[
F
a
v
g
c
(
X
)
]
;
F
m
a
x
c
(
X
)
]
)
)
w=\sigma(W([F_{avg}^c(X)];F_{max}^c(X)]))
w=σ(W([Favgc(X)];Fmaxc(X)]))
其中
F
a
v
g
c
F_{avg}^c
Favgc是通道上的平均池化，
F
m
a
x
c
F_{max}^c
Fmaxc是通道上的最大池化，
W
W
W是卷积层。
Non-local是为视频分类设计的一个模块，去掉时间维度也可应用到2D图像上。CBAM用卷积生成点的权重值，视野狭窄。而Non-local能捕获全局信息。
图中的乘号表示矩阵相乘。先使用3个1x1x1卷积压缩特征图，其中
θ
\theta
θ和
ϕ
\phi
ϕ分支用来计算每个点与其它所有点的相关系数，用softmax归一化为权重，乘以
g
g
g分支得到拥有全局信息的结果，然后用1x1x1卷积恢复通道数。为了方便插入任何一个网络，将其作为一个residual分支。
同样是对全局信息建模，Non-local相较于全连接层少了很多参数，其核心的计算点与点之间相关系数的部分甚至不需要参数。不过仍然存在计算时间长的问题。
PAN是一个为图像分割设计的网络，其使用的GAU(Global Attention Upsample)模块，如下图所示
GAU出现在网络的decoder部分。其中Y是高层特征图，X是底层特征图。高层特征采用了Global Pooling得到权重，底层特征经过一个卷积层实现与高层特征相同数量的map，乘以权重后再和高层相加。
作者认为，decoder部分主要任务是恢复目标类别的像素位置，而高层特征含有丰富的类别信息能够指导底层特征。
Highway Network是2015年提出来的，时间上早于ResNet。想要解决的问题就是如何训练深度网络。其解决方案是基于LSTM的门控机制。特征融合公式可表示为：
H
(
x
)
⋅
T
(
x
)
+
x
⋅
(
1
−
T
(
x
)
)
H(x)\cdot T(x)+x\cdot (1-T(x))
H(x)⋅T(x)+x⋅(1−T(x))
它和residual模块比较相似：
H
(
x
)
⋅
T
(
x
)
+
x
⋅
(
1
−
T
(
x
)
)
=
(
H
(
x
)
−
x
)
⋅
T
(
x
)
+
x
=
F
(
x
)
+
x
H(x)\cdot T(x)+x\cdot (1-T(x)) = (H(x)-x)\cdot T(x) + x = F(x) + x
H(x)⋅T(x)+x⋅(1−T(x))=(H(x)−x)⋅T(x)+x=F(x)+x
下图体现了二者结构上的差别。图a是residual模块，图c是Highway
SK(Selective kernel )模块的作用是自适应调整感受野。
模块分为三个部分。Split部分 分别经过3x3卷积和5x5卷积，产生不同感受野的特征图，可看作X和Y。Fuse部分和SE模块类似，区别是最后恢复成两个不同的通道权重。Select部分将X和Y的权重做个Softmax然后加权融合。
由于SK模块的加入提高了模型的复杂度，为了降低参数量作者使用了分组卷积，以及用3x3的带孔卷积替换5x5卷积。
