程序员经验分享-hwhale

深度学习之局部连接与权值共享

2023-05-16

在网络中，如果全部使用全连接网络，则会使参数异常多，造成计算复杂，降低训练的效率。由此引入卷积层，卷积层能够有效减小训练参数，这与卷积具有的两个性质有关。
结合自身经历以及他人的疑问，对卷积神经网络有一个误解：
每个卷积核产生的feature map为一个神经元，正确的认知应该是每个神经元代表feature map的一个像素；
卷积层有两个比较重要的性质：

1 局部连接

全连接与卷积网络
图1.全连接与卷积
在这里插入图片描述
图2.卷积示意图

如图所示，5×5为L层，3×3为L+1层，其中L+1层单元格值为6、10的两个格子，两个神经元的计算值仅仅与前一层的黄、红色的输入层的部分映射，相比全连接网络，其减小了参数的量，对于现代更深更大的网络，两者的差距会被放大更多。
如果使用全连接层，需要训练的参数个数为（5×5）×（3×3）= 225个，而使用卷积，需要训练的参数仅为卷积核大小 = （3×3） = 9个。在单个网络上仅仅减小了几个，但是在多通道、几十层上百层的网络中，这个训练参数的差距会非常大。
通过以上证明，卷积大大减小了训练需要的参数数量，提高了训练效率。

2. 权重共享

如图2， 红黄色所对应的特征映射中的两个神经元，其部分参数计算时共享，本质是共享的卷积核在移动时共享的卷积核参数，红色圆圈所标注的为共享区域，这同样减小了参数数量。

邱锡鹏《深度学习》
吴恩达《深度学习》

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

深度学习之局部连接与权值共享

深度学习之局部连接与权值共享 的相关文章

  • 罗素“杀死了”康托尔

    英国数学家罗素提出的著名的 罗素悖论 xff0c 直接证明了作为数学大厦基础的 集合论 是有问题的 xff0c 这也导致了 集合论 的发现者康托尔一次又一次的经历着罗素的劫难却也解决不了这个问题 xff0c 最终死在了自己工作的哈佛大学精神

  • px4与gazebo的多无人机编队仿真 offboard模式

    转载 原文链接 xff1a https blog csdn net weixin 43409270 article details 114703341 多机仿真 1 修改launch文件 在 PX4 Autopilot launch目录下

  • ubuntu18.04的APM环境搭建过程

    ubuntu18 04的APM环境搭建过程 配置APM环境结合gazebo软件进行仿真Ardupilot之Mavros实现Ros节点控制 配置APM环境 官方文档 https ardupilot org dev docs building

  • 使用Dronekit控制无人机，DroneKit配置

    DroneKit Python是一个用于控制无人机的Python库 DroneKit提供了用于控制无人机的API xff0c 其代码独立于飞控 xff0c 单独运行在机载电脑 xff08 Companion Computer xff09 或

  • [pixhawk笔记]-飞行模式

    pixhawk笔记 飞行模式 参考 xff1a https www cnblogs com spyplus p 7351690 html 本文翻译自px4官方开发文档 xff1a https dev px4 io en concept fl

  • 常见网络摄像机的端口及RTSP地址

    之前用opencv抓视频流搞了很久 xff0c 终于找到一篇比较靠谱的文章 亲测雄迈ip摄像头有效 海康威视 默认IP地址 xff1a 192 168 1 64 DHCP 用户名admin 密码自己设 端口 xff1a HTTP 端口 xf

  • Vue i18n学习记录

    昨天接触到了Vue i18n国际化 先去搜索了官网 都看了一遍有个大致印象以后发现 不知道把他的列子写在哪里 xff08 我想找个视频教程都没得 xff09 就是像下面这个图一样 你到底是放在哪里的 xff1f xff1f xff1f xf

  • Vue项目i18n国际化语言切换

    1 安装依赖 npm install vue i18n 2 在目录下创建所需文件 目录结构 在main js中引入 import Vue from 39 vue 39 import App from 39 App vue 39 import

  • 噔噔噔噔~冒泡排序算法

    冒泡排序算法 冒泡排序算法原理 xff1a 1 比较相邻的元素 如果第一个比第二个大 xff0c 就交换他们两个 2 对每一对相邻元素作同样的工作 xff0c 从开始第一对到结尾的最后一对 最后的元素会是最大的数 3 针对所有的元素重复以上

  • 微信小程序Map组件全屏显示

    微信小程序Map组件全屏显示 本人今天遇到了这个问题 想要小程序Map组件全屏显示设置css样式height 100 xff1b 是不生效得 需要用单位vh 设置css样式为height 100vh xff1b 就可以了 仅供参考哦

  • vue+vant 实现列表上下排序

    vue 43 vant 实现列表上下排序 span class token operator lt span template span class token operator gt span span class token opera

  • 用VNC实现远程桌面共享(支持Windows, Linux, ...)

    博客已迁到新址 xff0c 请访问Easwy的博客 http easwy com blog 本文链接地址 xff1a http easwy com blog archives linux remote desktop by vnc

  • [Vue warn]: ＜transition-group＞ children must be keyed: ＜div＞报错解决

    标题 Vue warn children must be keyed 今天学习了VUE的列表排序过渡 碰见报错 报错之前代码为 xff1a span class token operator lt span transition span

  • 小程序 用vant-weapp van-field输入框获取不到输入值问题（已解决）

    废话不多说直接上代码 主要的解决问题的是 bind blur 61 xxx span class token operator lt span van span class token operator span field value s

  • webstorm手动更新软件

    webstorm手动更新软件 打开软件 xff0c 进入设置settings搜索Updates点击check now按弹出框内容点击 下载更新

  • vue elementUI点击按钮复制表格某列的链接

    vue elementUI点击按钮复制表格某列链接 lt el table data 61 34 gridData 34 size 61 34 mini 34 gt lt el table column type 61 34 selecti

  • vue 列表进行拖拽排序

    文章为记录项目 需引入插件vuedraggable handle 61 34 mover 34 为绑定拖拽图标的类名 xff0c 即可只能在图标上才可拖拽 lt el form item label 61 34 34 gt lt ul cl

  • vue elementui表单验证

    this refs form validateField 39 type 39 只为项目记录 这个代码为对部分表单字段进行校验的方法

  • element ui分开的开始结束日期验证

    废话不多说直接上代码 lt el form v show 61 34 showSearch 34 ref 61 34 queryForm 34 model 61 34 queryParams 34 inline 61 34 true 34

随机推荐

  • ant.design pro表格序号自定义，翻页也可按顺序来

    title 39 序号 39 dataIndex 39 index 39 valueType 39 indexBorder 39 width 48 hideInSearch true render text record index 61

  • ant.design pro 发布时间对应两个参数值

    title 39 时间 39 dataIndex 39 deployTime 39 valueType 39 dateRange 39 hideInSearch false render record 61 gt lt span gt re

  • 微信小程序图片水印添加

    js getCanvasOne url var mycenter 61 0 文字左右居中显示 var myheight 61 0 文字高度 const that 61 this const query 61 wx createSelecto

  • anaconda出现CondaHTTPError问题解决办法

    一 condarc xff08 conda 配置文件 xff09 Configuration Conda documentation condarc以点开头 xff0c 一般表示 conda 应用程序的配置文件 xff0c 在用户的家目录

  • 使用kalibr标定imu

    这种方法需要在ubuntu中安装matlab 本人只标定的imu 没有和摄像头联合标定 xff0c 方法和imu utils类似 xff0c 先用ros记录imu数据 xff0c 在通过kalibr来计算随机游走误差和高斯白噪声误差 1 首

  • 联合标定双目相机和imu,使用工具Kalibr

    文章目录 imu标定 xff0c 产生数据写入imu yaml中 xff0c 见下文 xff0c imu yaml文件要用于联合标定 双目相机标定 xff0c 产生数据文件用于联合标定 xff0c 文件名类似camchain homeubu

  • matlab从txt文件中提取出有效信息

    背景 从一份txt文件中筛选出有效信息 xff0c txt文件有非常多行 xff0c 依靠关键字筛选出有效行 xff0c 并从行中提取有效信息 test txt文件例如 xff1a aaa 1 2 3 valid 0 1 0 2 0 3 a

  • Python 基础 第一天

    print 34 Hello World 34 print 34 你好 xff0c 世界 34 在 Python 中以单下划线 xff08 xff09 开头命名的标识符 表示不能直接访问的类属性 xff0c 以双下划线 xff08 xff0

  • Python 基础 第二天

    import random import math 集合 xff08 set xff09 是一个无序的不重复元素序列 可以使用 或 set 函数创建集合 值得注意的是 一个空集合必须用set xff0c 使用 创建时会创建一个空字典 bas

  • Django 第六天

    Django高级扩展 静态文件 xff1a css xff0c js xff0c 图片 xff0c Json文件 xff0c 字体文件等 配置settings py xff1a STATICFILES DIRS span class tok

  • Python 爬虫 小练习

    获得某易云音乐 对应歌单下的所有歌曲的歌曲 专辑图片 歌手图片 lrc歌词 span class token keyword import span requests span class token keyword from span b

  • 免费GPU

    中国移动免费GPU资源 九天 毕昇还属于内侧阶段 xff0c 没有充值入口 没有GPU算力的同学可以体验一下 xff0c 不算广告 xff0c 纯属安利羊毛 引言 最近想跑一个模型 xff0c 但突然发现手头没有可用的算力了 然后朋友推荐了

  • 分布式 ROS PX4 GAZEBO 多机仿真 服务器-客户端模式

    这是一个目录 最终目标环境配置要求具体实施方案UAV0配置UAV1配置 执行 最终目标 实现主从机器多机仿真 xff0c 模拟真机部署 具体方案如下 xff1a 设定一台计算机为通信汇集节点 xff0c 处理所有无人机位姿 移动控制等 xf

  • 算法训练 最短路

    算法训练 最短路 问题描述 给定一个n个顶点 xff0c m条边的有向图 xff08 其中某些边权可能为负 xff0c 但保证没有负环 xff09 请你计算从1号点到其他点的最短路 xff08 顶点从1到n编号 xff09 输入格式 第一行

  • Ubuntu18开启ssh服务

    Ubuntu默认不会开启ssh服务 所以我们无法对Ubuntu进行远程连接 xff0c 这对Ubuntu的运维造成了很大不便 本文详细讲解如何在Ubuntu18下开启ssh服务 关键指令 root用户下 xff0c 非root用户所有指令前

  • alembic 常用命令有哪些？

    上节为大家讲解了alembic如何使用 xff1f 本节就为大家介绍一下alembic常用命令有哪些 xff1f alembic常用命令如下 xff1a 在讲这些命令用法之前 xff0c 我们先建立一个alembic demo数据库 然后再

  • Linux UIO驱动框架(一)

    文章目录 Linux UIO驱动框架1 什么是uio驱动框架2 uio驱动框架使用3 uio驱动框架实现原理 Linux UIO驱动框架 1 什么是uio驱动框架 uio全称为用户空间IO Userspace I O xff0c 是一种在用

  • maven 3.6.3 下载与详细配置图文教程(基于win10系统)

    maven下载与配置 1 下载maven1 1 apache maven官网下载链接1 2 百度云资源下载1 3 CSDN资源下载 2 配置maven环境变量3 验证maven配置是否生效4 修改 settings xml 文件 1 下载m

  • Dockerfile 深入理解

    Docker 专栏文章索引 x1f449 Docker 简介 x1f449 Docker 安装图文教程 x1f449 Docker 镜像概念及操作 x1f449 Dockerfile 深入理解 Dockerfile 深入理解 x1f680

  • 深度学习之局部连接与权值共享

    在网络中 xff0c 如果全部使用全连接网络 xff0c 则会使参数异常多 xff0c 造成计算复杂 xff0c 降低训练的效率 由此引入卷积层 xff0c 卷积层能够有效减小训练参数 xff0c 这与卷积具有的两个性质有关 结合自身经历以

热门标签