Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
6.4-为何要深度学习
2023-10-30
文章目录
一、模型对比
二、模块化(Modularization)
三、语音辨识
3.1 类比(Analogy)
3.2 端到端学习(End-to-end Learning)
四、复杂任务
五、更多的原因
一、模型对比
在参数量相同的条件下,究竟是深度越深的模型越好,还是宽度越宽的模型越好?
很显然,右图的实验数据告诉我们深度是更好的选择,但为什么会这样呢?答案是模块化
二、模块化(Modularization)
根据编程的模块化思想,我们很容易想到的一点是模块化能大大降低系统开发的复杂度,便于管理,并且代码可重用,提高开发效率等等。
而对于深度学习来说也是如此,网络中的每一个神经元都可以视为一个模块,前面的模块将数据一步一步处理,最终得到预测结果,尽管每个模块都只做了很小的一件事,但他们集合起来就是一件十分复杂的事情。
通过模块化的网络,我们只需要少量的数据就能训练到一个很好的模型。
三、语音辨识
人类的语言是一个多层次(hierarchical)的结构
Phoneme:音素 ,Tri-phone:3个音素 ,State:状态
语音辨识的第一个阶段:
每一时刻的声音都对应着一组声学特征(acoustic feature)向量,每一组向量对应着一个状态
分类: 输入→声学特征,输出→状态
确定每个声学特征所属的状态
每个状态的声学特征都有一个固定的分布
下面是高斯混合模型(Gaussian Mixture Model ),也叫GMM
平局状态(Tied-state):不同的状态共用同样的模型分布,就和写程序一样,不同的指针(pointer)指向同样的地址(Same Address)
在HMM-GMM中,所有的音素都是模拟独立的
这不是模拟人类声音的有效方法
元音的发音只受几个因素的控制:舌头的卷曲程度,在口腔中的位置,以及发声的嘴型
右图中DNN的输出层大小等于状态的数量:输入为一个声学特征,输出为每个状态的概率
将DNN的隐层输出减少到二维,然后输出到图上
较低的层检测发音的方式
所有的音素共享来自同一套探测器的结果
有效地使用参数
普遍性定理(Universality Theorem)
虽然任意连续函数 f 都可以通过一个只有一个隐藏层的网络实现(给定足够多的隐藏神经元)
然而,使用深层结构是更有效率的
3.1 类比(Analogy)
逻辑电路(Logic circuits):
逻辑电路由门(gate)组成,而神经网络由神经元组成
两层逻辑门可以表示任何布尔函数,而只有一层隐层的网络可以表示任意连续函数
使用多层逻辑门来构建一些函数要简单得多,而使用多层神经元来表示某些函数要简单得多
对于逻辑电路设计来说就只需要更少的逻辑门,而对于神经网络而言也只需要更少的参数,从而就只需要更少的数据
奇偶校验(parity check):
对于具有d位的输入序列(sequence),两层电路需要O(2d)门。
而对于多层,我们只需要O(d)门,门的数量减少了一半
剪窗花:
剪窗花时并不是将花的形状全部剪出来,只需要剪出一部分即可,这就反映了使用数据是更有效率的
最后一图清楚的展示了多层网络同单层网络的不同数据量下的区别,突出了多层网络的优点
3.2 端到端学习(End-to-end Learning)
生产线:
每个函数应该做的是自动学习,我们只给输入和输出,让模型自己去寻找每一层都是最好的函数
右图是做传统的语音辨识方法,对于影像辨识也是一样
每个盒子都是生产线上的一个简单功能
绿色的盒子都是人工制作的,只有一个蓝色盒子是机器从数据中学习
深度学习
所有的函数都是从数据中学习的
更少的工程劳动,但机器能学到更多
四、复杂任务
相同的输入,输出要不同
不同的输入,输出要相同
右图是在DNN中,不同的人说同样的话的声学特征分布,很显然只有一层隐藏层是无法区分的,而8层就可以明显区分了。
手写数字辨识:下图minst数据集上的表现也说明了多层网络的优势
五、更多的原因
深度学习:理论动机(Yoshua Bengio)
http://videolectures.net/deeplearning2015_bengio_theoretical_motivations/
物理和深度学习之间的联系
https://www.youtube.com/watch?v=5MdSE-N0bxs
深度学习为何有效:理论化学的视角
https://www.youtube.com/watch?v=kIbKHIPbxiU
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)
CH4李宏毅机器学习
深度学习
人工智能
神经网络
6.4-为何要深度学习 的相关文章
比尔盖茨与萨姆.奥尔特曼的对话及感想
谈话内容 比尔 盖茨 嘿 萨姆 萨姆 奥尔特曼 嘿 比尔 比尔 盖茨 你好吗 萨姆 奥尔特曼 哦 天哪 这真的太疯狂了 我还好 这是一个非常激动人心的时期 比尔 盖茨 团队情况怎么样 萨姆 奥尔特曼 我想 你知道很多人都注意到了这样一个事实
用通俗易懂的方式讲解:图解 Transformer 架构
文章目录 用通俗易懂方式讲解系列 1 导语 2 正文开始 现在我们开始 编码 从宏观视角看自注意力机制 从微观视角看自注意力机制 通过矩阵运算实现自注意力机制
【EI复现】基于深度强化学习的微能源网能量管理与优化策略研究(Python代码实现)
欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 2 1 有 无策略奖励 2 2 训练结果1
【路径规划】基于A*算法路径规划研究(Matlab代码实现)
欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Matlab代码实现
蒙特卡洛在发电系统中的应用(Matlab代码实现)
欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Matlab代码实现
【卡尔曼滤波】粗略模型和过滤技术在模型不确定情况下的应用研究(Matlab代码实现)
欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Matlab代码及文献
喜报|华测导航荣获“张江之星”领军型企业称号
近日 2023年度 张江之星 企业培育名单发布 上海华测导航荣获2023年度 张江之星 领军型企业称号 据悉 张江之星 企业培育是上海科创办为落实 关于推进张江高新区改革创新发展建设世界领先科技园区的若干意见 张江高新区加快世界领先科技园区
活动日程&直播预约|智谱AI技术开放日 Zhipu DevDay
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入 直播预约通道 关于AI TIME AI TIME源起于2019年 旨在发扬科学思辨精神 邀请各界人士对人工智能理论 算法和场景应用的本质问题进行探索 加强思想碰撞 链接全球AI学
基于opencv的大米计数统计(详细处理流程+代码)
在我每周的标准作业清单中 有一项是编写计算机视觉算法来计算该图像中米粒的数量 因此 当我的一个好朋友M给我发了一张纸上的扁豆照片 显然是受到上述转发的启发 请我帮他数一下谷物的数量时 它勾起了我怀旧的回忆 因此 我在我的旧硬盘上寻找很久以前
毕业设计- 基于深度学习的小样本时间序列预测算法 - Attention
目录 前言 课题背景与意义 课题实现 一 数据集 二 设计思路 三 相关代码示例 最后 前言 大四是整个大学期间最忙碌的时光 一边要忙着准备考研 考公 考教资或者实习为毕业后面临的就业升学做准备 一边要为毕业设计耗费大量精力 近几年各个学校
作物叶片病害识别系统
介绍 由于植物疾病的检测在农业领域中起着重要作用 因为植物疾病是相当自然的现象 如果在这个领域不采取适当的护理措施 就会对植物产生严重影响 进而影响相关产品的质量 数量或产量 植物疾病会引起疾病的周期性爆发 导致大规模死亡 这些问题需要在初
如何快速申请GPT账号?
详情点击链接 如何快速申请GPT账号 一OpenAI 1 最新大模型GPT 4 Turbo 2 最新发布的高级数据分析 AI画图 图像识别 文档API 3 GPT Store 4 从0到1创建自己的GPT应用 5 模型Gemini以及大模型
机器学习算法实战案例:BiLSTM实现多变量多步光伏预测
文章目录 1 数据处理 1 1 导入库文件 1 2 导入数据集 1 3 缺失值分析 2 构造训练数据
机器学习算法实战案例:时间序列数据最全的预处理方法总结
文章目录 1 缺失值处理 1 1 统计缺失值 1 2 删除缺失值 1 3 指定值填充 1 4 均值 中位数 众数填充
如何用GPT进行论文润色与改写?
详情点击链接 如何用GPT GPT4进行论文润色与改写 一OpenAI 1 最新大模型GPT 4 Turbo 2 最新发布的高级数据分析 AI画图 图像识别 文档API 3 GPT Store 4 从0到1创建自己的GPT应用 5 模型Ge
2023最新pytorch安装(超详细版)
前言 一 判断是否有Nvidia 英伟达显卡 二 CPU版 2 1 安装Anaconda 2 2 创建虚拟环境 2 3安装pytorch 2 4 验证pytorch是否安装成功 三 GPU版 3 1 安装Anaconda 3 2 创建虚拟环
基于节点电价的电网对电动汽车接纳能力评估模型研究(Matlab代码实现)
欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Matlab代码 数据
【GRNN-RBFNN-ILC算法】【轨迹跟踪】基于神经网络的迭代学习控制用于未知SISO非线性系统的轨迹跟踪(Matlab代码实现)
欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 2 1 第1部分 2 2 第2部分
考虑光伏出力利用率的电动汽车充电站能量调度策略研究(Matlab代码实现)
欢迎来到本博客 博主优势 博客内容尽量做到思维缜密 逻辑清晰 为了方便读者 座右铭 行百里者 半于九十 本文目录如下 目录 1 概述 2 运行结果 3 参考文献 4 Matlab代码 数据
两个月进口猛增10倍,买近百台光刻机,难怪ASML不舍中国市场
据统计数据显示 2023年11月和12月 中国从荷兰进口的光刻机设备同比猛增10倍 进口金额超过19亿美元 让ASML赚得盆满钵满 ASML早前表示中国客户在2023年订购的光刻机全数交付 2023年11月中国进口的光刻机达到42台 进口金
随机推荐
深入探索C++类的const成员函数
深入探索C 类的const成员函数 const 成员变量的用法和普通 const 变量的用法相似 只需要在声明时加上 const 关键字 初始化 const 成员变量只有一种方法 就是通过构造函数的初始化列表 const 成员函数可以使用类
【Unity】创建一个自己的AR脸部特效安卓程序
目录 1 创建一个换脸AR场景 2 下载官方提供的BasicFaceFilterAssets资源 3 设置AR面部追踪 4 配置AR Face Manager 5 配置AR Camera为前置摄像头 6 打包并测试 7 添加自己的材质 7
oracle 多值更新,oracle 同时更新(update)多个字段多个值
创建表A B create table A a1 varchar2 33 a2 varchar2 33 a3 varchar2 33 create table B b1 varchar2 33 b2 varchar2 33 b3 varch
pytest常用代码示例详细
test case py usr bin env python3 coding utf 8 File test case py Author sunyajun Creation Time 2023 7 31 9 41 Description
C++ 标准库值操作迭代器的常见函数
迭代器是C 标准库中的重要组件 特别是在容器内部 没有迭代器 容器也就无所谓存在了 例如 vector容器简而言之就是3个迭代器 start finish 以及end of storage vector的任何操作都离不开这3个迭代器 接下来
关于COCO数据集评价参数设置
在进行DETR like模型的实验过程中 考虑到原模型都是基于COCO数据集上进行的实验 因此博主在实验时也是将其全部都转换为COCO数据集的格式 但这就引发了一个问题 那就是不同的数据集中目标的数目是不同的 而最终结果却有一个不容忽视的指
怎么升级Android Studio版本,Android Studio更新的四种版本介绍
Android Studio在更新版本时 会有让选择升级源 如下 默认情况下选择的是Stable Channel 这几个Channel的版本是有一些差异的 在Android Studio下载官网上 有如下介绍 Android Studio
scrollIntoView() 方法的使用
在 JavaScript 中 scrollIntoView 方法是用于将指定元素滚动到可见区域内的方法 该方法可以接收一个 options 对象参数 提供了滚动时的一些控制选项 如平滑滚动的行为 下面我们来介绍一个应用 scrollInto
tradingview
文档地址 https b aitrade ga books tradingview index html 初始化 数据对接后的展示图 TV的数据格式 getbars time单位是S 10位数 ms的请除以1000 历史数据回来 塞给get
我的世界进服务器显示C1.8-1.11,我的世界坐标显示(Batty's Coordinates PLUS)Mod
Batty s Coordinates PLUS最好用的坐标显示Mod是为了你在游戏中方便的显示坐标或者帧数 这样你就不需要频繁的去按F3 并且还内置的定时器的功能 用法 在模式0坐标是隐藏的 模式1 显示了X Y Z坐标 也表明你面对的方
C# 添加Windows服务,定时任务。
源码下载地址 http files cnblogs com files lanyubaicl 20160830Windows E6 9C 8D E5 8A A1 zip 步骤 一 创建服务项目 步骤二 添加安装程序 步骤三 服务属性设置 s
MATLAB中均值、方差、标准差、协方差、相关性的计算
公式 1 均值 2 方差 3 标准差 均方差 4 协方差 5 相关性 6 加权均值 7 加权方差 8 加权标准差 MATLAB代码 样本定义 x 1 2 3 3 2 1 y 1 2 3 3 1 2 z 3 2 y 1 均值 均值 xmean
搭建spring-cloud-alibaba微服务项目:springBoot服务+nacos注册中心+nacos配置中心+feign服务交互+gateway网关
项目说明 从0 1 搭建cloud alibaba微服务项目 包括各个springBoot服务 nacos注册中心 nacos配置中心 feign服务交互 gateway网关 首先统一微服务种alibaba相关组件的依赖版本问题 官方参考文
Android中LocalSocket使用
http www cnblogs com bastard archive 2012 10 09 2717052 html 一 Socket Socket最初用在基于TCP IP网络间进程通信中 以客户端 服务器模式进行通信 实现异步操作 共
vue项目实现微信扫码登录
要在Vue项目中实现微信扫码登录功能 你可以按照以下步骤进行操作 注册微信开放平台账号并创建应用 首先 在微信开放平台上注册一个账号 并创建一个应用 获取到应用的AppID和AppSecret 安装 Axios 在Vue项目中使用Axios
python setup.py install报错“error: can‘t create or remove files in install directory”
运行python setup py install 报错 running install error can t create or remove files in install directory The following error
叶面积指数(LAI)介绍以及遥感估算方法
前言 叶面积指数精度是正确预测产量的重要参数之一 同时 还有那么多疑问 如何才能正确 以及如何使用最有效的方法计算叶面积指数 LAI 什么是最佳 LAI 哪些估算叶面积指数精度的方法比较好 本文为初学者做了简要介绍 并在文章末尾附了两种估算
史上最全的正则表达式-匹配中英文、字母和数字
1 匹配中文 u4e00 u9fa5 2 英文字母 a zA Z 3 数字 0 9 4 匹配中文 英文字母和数字及下划线 u4e00 u9fa5 a zA Z0 9 同时判断输入长度 u4e00 u9fa5 a zA Z0 9 4 10 5
vue3中将数据导出为excel表格
目标 将vue3接口中得到的数据转换为数组 然后利用Export2Excel导出为excel表 1 开始之前要准备 1 Export2Excel js文件 在后面标题4附上 我是放在until目录下 2 npm i xlsx 安装失败后面加
6.4-为何要深度学习
文章目录 一 模型对比 二 模块化 Modularization 三 语音辨识 3 1 类比 Analogy 3 2 端到端学习 End to end Learning 四 复杂任务 五 更多的原因 一 模型对比 在参数量相同的条件下 究竟
热门标签
5G安全
token文件
flickr30k
PTA天梯赛练习
关联数据库
频带效率
BER
调制方式比较
拆键盘
E540
kafka源码
前端文档分享
Vue20
IPC
视频流播放
Linux关闭防火墙
软件安装和相关操作