EfficientNet利用depth-wise卷积来减少FLOPs但是计算速度却并没有相应的变快。反而拥有更多FLOPs的RegNet号称推理速度是EfficientNet的5倍。非常好奇,这里面发生了什么,为什么计算量小的网络推理速度反而慢于计算量大的网络?
首先看看depth-wise卷积到底是什么:
https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728
这篇文章讲的非常全面,应有尽有,我不做重复工作了,捡重要的来说:
首先,对于普通卷积:
我们从[12,12,3]的input feature map到[8,8,256]的output feature map,需要256个[5,5,3]的卷积核。参数量为256 x 5 x 5 x 3 = 19200,乘法次数为256 x 5 x 5 x 3 x 8 x 8 = 1228800(可以理解为FLOPs)。
对于depth-wise卷积:
分为2部分:Separable Conv 以及 Point-wise Conv.
同样的,从[12,12,3]的input feature map到[8,8,256]的output feature map,需要3个[5,5,1]的卷积核和256个[1,1,3]的卷积核。参数量为3 x 5 x 5 x 1 + 256 x 1 x 1 x 3 = 843,乘法次数为3 x 5 x 5 x 1 x 8 x 8 + 256 x 1 x 1 x 3 x 8 x 8 = 53952(FLOPs)。
如此一来,depth-wise conv的FLOPs只有普通卷积的~4.4%,EfficientNet的参数量少也就不足为奇了。
那么,为什么推理速度反而更慢呢?
这就要说说,如何衡量推理速度了:
Phoenix Li:FLOPs与模型推理速度1054 赞同 · 98 评论文章
上文给出了非常好的解释,我也没必要做重复工作。简单来说,depth-wise卷积的FLOPs更少没错,但是在相同的FLOPs条件下,depth-wise卷积需要的IO读取次数是普通卷积的100倍,因此,由于depth-wise卷积的小尺寸,相同的显存下,我们能放更大的batch来让GPU跑满,但是此时速度的瓶颈已经从计算变成了IO。自然desired小尺寸卷积应该有的快速的特性,也无法实现。
当然,也不该如此绝望,也许未来某天GPU的IO性能进一步提升,基于depth-wise卷积的工作就可以真正称得上是Efficient了!
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)