CNN中的底层、高层特征、上下文信息、多尺度

2023-10-27

一、CNN中的底层、高层特征:

简短总结: 分类要求特征有较多的高级信息,回归(定位)要求特征包含更多的细节信息

1)图像的低层特征(对定位任务帮助大,我们可以想想比如轮廓信息都不准那怎么去良好定位):
图像底层特征指的是:轮廓、边缘、颜色、纹理、棱角和形状特征。
边缘和轮廓能反映图像内容;如果能对边缘和关键点进行可靠提取的话,很多视觉问题就基本上得到了解决。图像的低层的特征语义信息比较少,但越浅的层特征越细节(低级)且特征图分辨率大,所以位置信息很充足,目标位置准确。再从另一个方面讲,越浅层的特征感受野越小(每个像素点映射回原图的覆盖面积小),故用浅层特征图检测大目标时就有点像瞎子摸象的感觉效果并不好,因为光能看到象腿也不知道这是啥东西。当然对于小目标检测来说如果能利用足够的上下文信息也是有好处的!例如,通过只看图中的一个小目标所在的那个位置,人类甚至很难识别这些物体。然而,通过考虑到它位于天空中的背景,这个物体可以被识别为鸟类。因此,我们认为,解决这个问题的关键取决于我们如何将上下文作为额外信息来帮助检测小目标。

2) 图像的高层特征也叫语义特征(高层特征即CNN中网络越深的层得到的特征,高层的特征包含很丰富的组合信息,象征着人对它的分辨能力,越高层越好分辨出是啥东西,如表征着类别啥的,对识别任务帮助大):
图像的高层语义特征值得是我们所能看的东西,比如对一张人脸提取低层特征我们可以提取到连的轮廓、鼻子、眼睛之类的,那么高层的特征就显示为一张人脸。高层的特征语义信息比较丰富,但是目标位置比较粗略。
愈深层特征包含的高层语义性愈强、分辨能力也愈强。我们把图像的视觉特征称为视觉空间 (visual space),把种类的语义信息称为语义空间 (semantic space)

二、上下文信息

做图像的,上下文特征是很常见的,其实上下文大概去理解就是图像中的每一个像素点不可能是孤立的,一个像素一定和周围像素是有一定的关系的,大量像素的互相联系才产生了图像中的各种物体,所以上下文特征就指像素以及周边像素的某种联系。

具体到图像语义分割,一般论文会说我们的XXX算法充分结合了上下文信息,意思也就是在判断某一个位置上的像素属于哪种类别的时候,不仅考察到该像素的灰度值,还充分考虑和它临近的像素。

然后上下文信息还分全局和局部,意思就是考虑全图不同范围内的像素和只考虑邻近的一些像素。

全局上下文信息 也可以理解为能够捕捉来自更多的不同尺度的上下文信息,不同尺度就是指不同感受野

三、多尺度

个人感觉,多尺度 就是 你能看到的范围(看到尺度就理解为CNN的感受野就完事了!!!)。关于感受野的理解可以看我的这篇文章:深度理解CNN中的感受野(大杀器)

图像中一个东西的尺度越大,就指距离越近相当于被放大了,那么给人感觉就越模糊。例如:
1)训练的时候,把图片缩放到不同大小输入给同一个网络,网络就能看到不一样大小范围的内容,缩放得分辨率越高就指尺度越大,因为对图中的某一个物体来讲就是被放大的感觉。然后就是因为缩放后,比如中间特征图上的某个像素点都只能看到原图3乘3的区域,可随着输入的图片尺度不一样,同样是看到的3乘3区域,但相对于整张图的范围也自然就不一样了,然后就叫做多尺度训练;好处是可以适应不同尺度的输入,泛化性好。
2)把一个特征层用由不同感受野的卷积核组成的网络层(例如SPP)处理,这层网络的同一个像素位置就能看到不同范围的上层特征,就叫做多尺度特征融合;好处是能考虑到不同范围的空间特征上下文(例如头发下面一般会有一张脸)。
3)把一个网络中不同深度的层做融合:浅层感受野小,分辨率大,能够处理并保存小尺度的几何特征;高层感受野大,分辨率小,能够处理并保存大尺度的语义特征。这也叫做多尺度特征融合;好处是能够将语义特征和几何特征进行融合(例如这块区域是头发,低分辨率图上的分界线一般是线状特征和非线状特征的边界)。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

CNN中的底层、高层特征、上下文信息、多尺度 的相关文章

随机推荐

  • 小皮面板(phpstudy)网站浏览器打开显示目录结构

    报错提示 403 解决方案 打开配置文件 打开响应的配置文件设置一下内容 注释掉默认页 index index php index html error index html autoindex on autoindex exact siz
  • python中列表推导式的基本格式_Python 列表推导式

    一 列表推导式 简介 列表推导式 list comprehension 是利用其它列表创建新列表的一种方式 工作原理类似for循环 即可对得到的元素进行转换或者筛选 1 1 列表推导式的基本格式 变量名 表达式 for 变量 in 列表 变
  • DICOM文件中读取对齐方式以及判断元素是否为显示VR还是隐式VR的方法

    1 对齐方式的读取 字节对齐方式在 0002 0010 中 一共有三种值 1 2 840 10008 1 2 隐式VR 小端 1 2 840 10008 1 2 1 显式VR小端 1 2 840 10008 1 2 2 显式VR大端 2 显
  • 重载,覆盖,隐藏区别

    重载 相同的范围 在同一个类中 函数名字相同 参数不同 virtual关键字可有可无 隐藏 如果派生类的函数与基类的函数同名 但是参数不同 无论有无virtual关键字 基类的函数将被隐藏 如果派生类的函数与基类的函数同名 但是参数相同 基
  • 用java实现用户登录

    方法1 直接设置用户名及密码登录 public static void main String args 用户名及密码 String username 123456798 String passward 123456 键盘输入 for in
  • 【AnyQ】百度开源 FAQ 问答系统—AnyQ介绍

    前言 近年来 随着人工智能技术的发展 人机对话技术得到越来越多的关注 人机对话产品也不断涌现 其中 智能客服作为人机对话的一个典型场景表现出极大的商业潜力和很强的研究价值 各企业也争先恐后的推出自己的智能客服产品 FAQ 问答技术作为智能客
  • Servlet初识

    servlet server applet 处理客户端请求 工作原理 tomcat容器 Servlet容器 服务器 Servlet框架 Servlet应用 1 首先客户端发起请求 2 服务器 tomcat Servlet容器 收到接收到来自
  • C指针之初始化(三)

    一 引言 C C 语言中引入了指针 使得程序能够直接访问内存地址 使得很多复杂的操作变得简单 同时也提高了程序的运行效率 指针即是地址 但是地址却是通过指针变量来存储的 因此我们通常所说的指针在很多时候说的都是指针变量 指针变量在使用之前必
  • 使用C#版Tesseract库

    上一篇介绍了Tesseract库的使用 OCR库Tesseract初探 文末提到了Tesseract是用c c 开发的 也有C 的开源版本 本篇介绍一下如何使用C 版的Tesseract C 版本源码下载地址 https github co
  • 用Python爬取英雄联盟(lol)全部皮肤

    首先 我们打开英雄联盟官网主页 网址为 https lol qq com main shtml 然后向下拉 可以看到英雄列表 如图所示 接着随意选一个英雄点击进入看一下 如图所示 再点击鼠标右键 接着选择检查 看一下皮肤的 URL 如图所示
  • Mysql连接数据库url的参数解析

    看之前各位看官可以不可以点个赞 呜呜呜 更正信息 错误 之前在url中使用 后面发现报错 要进行转义才行 amp 如果在springboot中使用 不需要转义 即把下面的 amp 改为 已经对下面url进行更正 大家直接拷贝粘贴就可以用 j
  • 数据结构_35

    一 线性表 排序 冒泡排序 选择排序 快速排序 归并排序 查找 二分查找 二 树 遍历 递归 前中后序 层次 排序 大根堆 小根堆 哈夫曼树 三 图 广度优先遍历 深度优先遍历 最小生成树 Prim算法 Kus算法 最短路径 Dij算法 一
  • 可视化理解卷积神经网络(CNN)

    大家好 我是Sonhhxg 柒 希望你看完之后 能对你有所帮助 不足请指正 共同学习交流 个人主页 Sonhhxg 柒的博客 CSDN博客 欢迎各位 点赞 收藏 留言 系列专栏 机器学习 ML 自然语言处理 NLP 深度学习 DL fore
  • 用Python做一个猜拳游戏

    import random while True player input 请出拳 石头 剪刀 布 玩家出拳 print 玩家出拳 player list 石头 剪刀 布 computer random choice list 电脑出拳 随
  • Maven打包项目为依赖包、及包引用

    Maven打包项目为依赖包 及包引用 一 maven配置 1 1 原配置 1 2 更改配置 二 jar包引用 2 1 引入maven仓库 2 2 手动引入 更方便 一 maven配置 1 1 原配置
  • ubuntu升级python版本_ubuntu升级python版本

    Ubunt16 04默认安装python2 7和3 5 注意 系统自带的python千万不能卸载 1 输入python 2 输入python3 3 输入命令sudo add apt repository ppa jonathonf pyth
  • 高级 IO(非阻塞、多路复用、异步、存储映射、文件锁)

    目录 非阻塞I O 阻塞I O 与非阻塞I O 读文件 阻塞I O 的优点 阻塞后进入休眠 交出cpu资源降低使用率 使用非阻塞I O实现并发读取 I O 多路复用 何为I O多路复用 select 函数 poll 函数 总结 异步IO 优
  • 正点原子STM32(基于HAL库)5

    目录 SRAM 实验 存储器简介 SRAM 方案简介 硬件设计 程序设计 程序流程图 程序解析 下载验证 内存管理实验 内存管理简介 硬件设计 程序设计 程序流程图 程序解析 下载验证 SD 卡实验 SD 卡简介 SD 物理结构 命令和响应
  • SimOTA的简单理解

    SimOTA simOTA的作用是为不同目标设定不同的正样本数量 例如蚂蚁和西瓜 传统的正样本分配方案常常为同一场景下的西瓜和蚂蚁分配同样的正样本数 那要么蚂蚁有很多低质量的正样本 要么西瓜仅仅只有一两个正样本 对于哪个分配方式都是不合适的
  • CNN中的底层、高层特征、上下文信息、多尺度

    一 CNN中的底层 高层特征 简短总结 分类要求特征有较多的高级信息 回归 定位 要求特征包含更多的细节信息 1 图像的低层特征 对定位任务帮助大 我们可以想想比如轮廓信息都不准那怎么去良好定位 图像底层特征指的是 轮廓 边缘 颜色 纹理