Squeeze-and-Excitation Networks 的理解

2023-05-16



SE-Block 主要是考虑到了不同通道之间所占的重要性可能不一样,而以前的网络中并没有考虑到这一点,而是把所有通道的重要性当成一样来处理的。

不同的通道的重要性是通过学到的一组权值来scale的,相当于经过加入权值进来之后,对原来的feature的一个重新的标定,具体的结构如下:


相当于先将input(h*w*c)沿着size方向经过Squeeze操作变成(1*1*c)的,

然后再经过Excitation这一步学到一个权重W,

最后根据学到的权重W 再经过scale操作变成(h*w*c)的output, 可以看出,input

和Output的shape是一样的,但是每个位置上的值却是经过重新标定的,实际上直观地看这个网络BLOCK 应该会提升性能,因为假设W是identity那么就是原来的情况,这里的思想个人感觉有点像Resduial里的想法,就是有一条路可以保证不变,然后另外一条路多少可以学到一些,所以得到的网络是有提升的,不过Resduial里面还有其他优点,比如可以避免因为网络过深而带来的梯度消失问题。

下面举例说明具体的情况。



左图是Inception中添加了SE-block之后的结构,右图是Residual添加了SE-block之后的结构,框右下角的数字是输出的shape,个人觉得之所以以这两个网络为例说明是因为目前一般会在网络的深度上和宽度上对网络进行设计,而这两个刚好是代表。

从Inception输出之后的shape是c * h*w, 

step1. 沿着size的方向作Global average pooling, 出来的shape 是c*1*1,

step2.经过一个FC层,出来的是(c/16, 1, 1),注意可以不是16,然后经过Relu,

  然后再经过一个FC层,再经过一个Sigmoid 层,output的shape是(c, 1, 1)这里没有注意顺序。这一步做完之后出来了c个weight,

step3. 根据上面得到的c个weight,分别scale之后作为最终的输出,这里的scale的意思是比如得到的是(0.1,0.2,0.7)那么就在对应的通道上乘上对应的weight.

欢迎指正!多谢! 

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Squeeze-and-Excitation Networks 的理解 的相关文章

随机推荐

  • 10张图带你深入理解Docker容器和镜像

    编者的话 本文用图文并茂的方式介绍了容器 镜像的区别和Docker每个命令后面的技术细节 xff0c 能够很好的帮助读者深入理解Docker 扫VX 领Java资料 xff0c 前端 xff0c 测试 xff0c python等等资料都有
  • 13款Linux安全运维必备的实用工具

    本文介绍几款 Linux 运维比较实用的工具 xff0c 希望对 Linux 运维人员有所帮助 1 查看进程占用带宽情况 Nethogs Nethogs 是一个终端下的网络流量监控工具可以直观的显示每个进程占用的带宽 下载 xff1a ht
  • ros学习(六):geometry_msgs消息类型

    一 geometry msgs Pose 消息类型 http docs ros org en melodic api geometry msgs html msg Pose html http docs ros org en melodic
  • ISO 11519-2与ISO 11898-3之间的关系

    ISO 11519由以下部分组成 xff0c 总称 道路车辆 低速串行数据通信 xff1a Part 1 xff1a General and definitions 概述和定义 Part 2 xff1a Low speed controll
  • 《Autosar从入门到精通-实战篇》总目录_培训教程持续更新中...

    目录 一 Autosar入门篇 xff1a 1 1 DBC专题 xff08 共9篇 xff09 1 2 ARXML专题 xff08 共35篇 xff09 1 2 1 CAN Matrix Arxml xff08 共28篇 xff09 1 2
  • 【MCAL_CANDriver】-1.3-FullCAN和BasicCAN的差异及配置使用

    点击返回 Autosar MCAL高阶配置 总目录 目录 1 什么是FullCAN和BasicCAN 1 1 FullCAN Basic CAN HRH区别 1 2 FullCAN Basic CAN HTH区别 1 3 FullCAN和B
  • ROS学习1

    1 安装ros 我这里使用的是ros melodic这个版本 xff0c 具体安装可以参考其它教程 管理环境 printenv grep ROS 得到 ROS DISTRO 61 melodic ROS ETC DIR 61 opt ros
  • ROS学习1

    1 安装ros 我这里使用的是ros melodic这个版本 xff0c 具体安装可以参考其它教程 管理环境 printenv grep ROS 得到 ROS DISTRO 61 melodic ROS ETC DIR 61 opt ros
  • ubuntu18.04使用apt安装python3.7

    sudo apt update sudo apt install software properties common sudo add apt repository ppa deadsnakes ppa sudo apt install
  • c++读取自定义点云pcd文件

    之前查读取pcd的文件 xff0c 大多数是用python的open3d来进行读取 xff0c 但是这样读取到的信息 xff0c 好像只能够得到 pcd points 和pcd colors 但是如果想要把pcd中的信息都拿到呢 xff0c
  • lio-sam中点云地图保存

    在 src save map srv 中有如下的定义 float32 resolution string destination bool success 注意 下面指的是feedback xff0c 接下来看save map这个服务是如何
  • IoU-aware Single-stage Object Detector for Accurate Localization

    Motivation 从这张图里面可以很好地看出来作者的出发点 xff0c 即在目标检测里面 xff0c 分类的分数其实并不能够准确地反应框是否准确 像上面 xff0c 都是分类分数高 xff0c 而iou低的case 而真正iou高的框
  • SECOND: Sparsely Embedded Convolutional Detection

    contributions 应用sparse convolution 提升了训练以及inference的速度 提出一个novel 的angle loss 来回归yaw角 介绍了gt sampling的augmentation的方式 spar
  • Mac外接键盘ikbc win键无法使用问题

    ikbc的型号 是c87 青轴的 之前win键是可以用的 xff0c 今天发现不能用了 xff0c 查了一下 xff0c 原来是无意中按错被锁住了 按右下边的Fn 43 右上 PrtSc 即可解锁 又可以愉快地使用win键敲代码了
  • ros学习(七):sensor_msgs 消息类型

    一 sensor msgs Imu sensor msgs Imu Documentation http docs ros org en api sensor msgs html msg Imu html c 43 43 使用时头文件为 x
  • np.random.choice的用法

    import numpy as np 参数意思分别 是从a 中以概率P xff0c 随机选择3个 p没有指定的时候相当于是一致的分布 a1 61 np random choice a 61 5 size 61 3 replace 61 Fa
  • np.clip()的用法

    一时间忘了 xff0c 就又看了一下API 是这样说的 numpy clip a a min a max out 61 None source Clip limit the values in an array Given an inter
  • np.roll的用法

    coding UTF 8 import numpy as np np roll a shift axis 61 None 意思是将a xff0c 沿着axis的方向 xff0c 滚动shift长度 example1 a 61 np aran
  • 为什么vmware中的ctrl+alt+F1~F7不能用?

    这个总是确实困挠了我好久 xff0c 也花了我大把大把的时间去弄 xff0c 终于今天搞定了 xff0c 但是其实就2分钟就能搞定的事情 所以在此作总结 希望能帮助其他人 我的目的是想用Mac装上Vmware xff0c 然后在里面下ten
  • Squeeze-and-Excitation Networks 的理解

    SE Block 主要是考虑到了不同通道之间所占的重要性可能不一样 xff0c 而以前的网络中并没有考虑到这一点 xff0c 而是把所有通道的重要性当成一样来处理的 不同的通道的重要性是通过学到的一组权值来scale的 xff0c 相当于经