能拟合任何函数的神经网络只是个分段线性函数

2023-10-27

原文:https://mp.weixin.qq.com/s/XA1zS9bvgAfRkmTh_e-78g

阅读本文,你可以理解:能逼近(拟合)任何函数只是个分段线性函数,让你深刻理解神经网络能力的边界,消除你对神经网络的神秘感。

需要你具备的知识:
1)一次函数(线性函数)一般形式y=kx+b(k不为0) 【人教社初中二年级】
2)分段函数 【人教社初中二年级】
3)异或函数 【 数字电路课本或任何编程语言的课本】


 

有两个原因导致人们对神经网络的强大能力充满神秘感和顶礼膜拜。第一,很多讲解神经网络的文章,都会列很多公式,或者讲动物的神经元的特性,让人觉得很深奥。第二,当提到神经网络可以逼近任何函数时,往往只提到结论,并说有人已经证明[1],但说不清原理,这让人觉得很高深,让人不明觉厉。

 

其实,神经网络能逼近任何函数的原理很简单,分段线性函数能逼近任何函数,激活函数让神经网络具备了“分段函数”的能力,所以神经网络能逼近任何函数。本文首次通过一个具体的实例,让大家快速理解。

 

没有激活函数,神经网络是线性函数

 

线性函数在二维空间(输入和输出的数量都为1),表现为一条直线。一条直线不能解决任何线性不可分的问题,也不能很好的拟合曲线。

图片

图1 线性函数,可以解决线性可分的问题

图片

图2 线性函数,不能解决线性不可分的问题

 

如图2所示,在"异或"问题上找不到一条直线能把X和O分开,就是说这是一个不能用直线分类的问题,这类问题叫非线性问题。

 

类推到多维空间,即输入的数量从1个变成多个时,线性函数也不能解决多维空间的非线性问题。

 

如果不用激活函数,神经网络每一层输出都是上层输入的线性函数&#

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

能拟合任何函数的神经网络只是个分段线性函数 的相关文章

  • Sass 循环语句

    本节我们学习 Sass 中的循环语句 Sass 中的循环语句可以使用 for 指令和 while 指令来实现 for指令 for 指令可以用于循环生成样式 for 指令有两种类型 如下所示 第一种 for i from
  • jperf服务器报告文档,Iperf 简单试验报告

    实验环境 服务器1 hadoop6 CentOS 6 5 X64 PC 自己的 iperf 有windows 版本 服务器 hadoop CentOS 6 5 X64 下载 https iperf fr iperf download php
  • 嵌入式设备上打印输出不及时-----fflush

    嵌入式设备上打印输出不及时的情况遇到过几次 有许多业务或者功能是通过printf函数将一些信息输出给其他应用 或者有些功能模块通过监控日志来做一些判断 如果打印输出不及时可能会有问题 之前写过一个获取驱动中无线帧格式的小程序 就是通过pri

随机推荐

  • 地震学AI模型

    1 地震数据格式 1 1 SAC SAC波形数据是以数据处理为目的的格式 这种格式一般只包含单个台站单个分量或多分量的数据 在SAC用户指南中描述了SAC波形数据输入格式 利用读入的数据 可以进一步做其他处理 如绘制波形图 1 2 SEED
  • 习题2-6 排列 算法竞赛入门经典(C/C++)

    用1 9九个数字组成三个三位数abc def ghi 每个数字恰好使用一次 要求三个数abc def ghi 1 2 3的所有可能 按照 abc def ghi 格式输出所有解 一行为一个解 样例输出 192 384 576 数据量级不大
  • django rest framework系列03-get使用方式基于token基本用户登录状态认证

    1 先看代码后讲解 views部分 from rest framework views import APIView from django http import JsonResponse from API import models f
  • idea 自定义注释 -- 类注释 方法注释

    自定义注释可以按照我们自己喜欢的风格 快速创建注释 废话不多 动起手来 一 在setting界面 根据流程进行设置 1 类注释 设置自定义注释格式 author USER createTime DATE TIME description 2
  • c语言高精度加法

    今天遇到一道题 让我写高精度加法 钻研了一会 写下了代码 include
  • [深入研究4G/5G/6G专题-57]: L3信令控制-6-什么是无线承载DRB Profile

    目录 第1章 什么是DRB Profile 1 1 什么是DRB 1 2 什么是DRB Profile 1 3 DRB Profile的作用 1 4 QCI profile
  • PIM-SM协议初探(一)路由角色选举

    PIM是Protocol Independent Multicast 协议无关组播 的简称 表示可以利用静态路由或者任意单播路由协议 包括RIP OSPF IS IS BGP等 所生成的单播路由表为IP组播提供路由 组播路由与所采用的单播路
  • html输出xml纯文本,将XML转换为纯文本

    我的目标是构建一个引擎 它使用最新的HL7 3 0CDA文档 并使它们与HL7 2 5向后兼容 后者是一个完全不同的野兽 CDA文档是一个XML文件 当与匹配的XSL文件配对时 它会呈现适合最终用户显示的HTML文档 在HL7 2 5中 我
  • “定制化人才” 的悲哀

    这篇博客写得就是自己现阶段的一些感悟 今天看到一个微信公众号的文章推送 标题就是 24岁后 你更应该逼自己系统性成长 只是看到这个标题就很有感触啊 因为还有一个月就24了 但是很迷茫 完全不知道自己的竞争力在哪里 可能唯一的优势大概就是前后
  • REDIS19_zipList压缩列表详解、快递列表 - QuickList、跳表 - SkipList

    文章目录 压缩列表 zipList 快递列表 QuickList 跳表 SkipList 压缩列表 zipList ZipList是一种特殊的 双端链表 由一系列特殊编码的连续内存块组成 可以在任意一端进行压入 弹出操作 并且该操作的时间复
  • CSRF(跨站请求伪造)详细说明

    Cross Site Request Forgery CSRF 中文一般译作跨站请求伪造 经常入选owasp漏洞列表Top10 在当前web漏洞排行中 与XSS和SQL注入并列前三 与前两者相比 CSRF相对来说受到的关注要小很多 但是危害
  • java符号解释大全,太完整了!

    微服务是什么 微服务起源于2005年Peter Rodgers博士在云端运算博览会提出的微Web服务 Micro Web Service 根本思想类似于Unix的管道设计理念 2014年 由Martin Fowler 与 James Lew
  • python中使用pymongo操作mongo

    MongoDB是由C 语言编写的非关系型数据库 是一个基于分布式文件存储的开源数据库系统 其内容存储形式类似JSON对象 它的字段值可以包含其他文档 数组及文档数组 非常灵活 在这一节中 我们就来看看Python 3下MongoDB的存储操
  • Hibernate学习笔记 多表映射

    前面说了Hibernate的单表映射 由于是实体类和数据表之间一对一的映射 所以比较简单 现在就来说说多表映射 这需要涉及到多个实体类和数据表之间的关系 因此稍微复杂一点 建立实体类 我建立了两个实体类 一个作者类 一个文章类 其他方法都忽
  • Pytorch使用DDP加载模型时出现多进程在GPU0上占用过多显存的问题

    使用pytorch DDP DistributedDataParallel 分布式数据并行 可以进行多卡训练 涉及到模型保存与加载问题时 一般会涉及到以下两种需求 将多卡训练的模型保存到磁盘 从磁盘加载模型 在多卡上继续训练 如何无bug且
  • MySQL server安装流程

    1 进入到mysql官网MySQL 这里显示的是32位 但是实际下载的时候也会下载64位的 双击进行安装 然后一路点击next 配置保持默认 然后点击next 2 配置环境变量 如果想要在dos面板中使用mysql命令 需要到系统变量pat
  • 【牛客网】找出字符串中第一个只出现一次的字符

    题目描述 找出字符串中第一个只出现一次的字符 输入描述 输入一个非空字符串 输出描述 输出第一个只出现一次的字符 如果不存在输出 1 示例 输入 asdfasdfo 输出 o 完整代码 include
  • AddString[LeetCode]

    class Solution public string addStrings string num1 string num2 string res int m num1 size 1 记录字符串num1最后一位 int n num2 si
  • 阿里云飞天系统

    阿里云飞天系统 有幸在阿里云飞天部门工作几年 下面给出基础架构一览
  • 能拟合任何函数的神经网络只是个分段线性函数

    原文 https mp weixin qq com s XA1zS9bvgAfRkmTh e 78g 阅读本文 你可以理解 能逼近 拟合 任何函数只是个分段线性函数 让你深刻理解神经网络能力的边界 消除你对神经网络的神秘感 需要你具备的知识