程序员经验分享-hwhale

深度学习理论及运用（三）Deep feedforward network

2023-11-18

在这里插入图片描述
在这里插入图片描述
转化成非线性
（1）RBF径向基函数
在这里插入图片描述
（2）利用sift特征以及K-means
在这里插入图片描述
（3）用数据去训练
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
举例：异或门（使用非线性运算）
在这里插入图片描述
用图来表示实现线性可分的过程：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
目的：优化目标函数

Cost Functions（目标函数）

交叉熵
在这里插入图片描述
公式前加负号转化为求min

输出单元

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

隐藏单元

设计激活函数

ReLU函数
在这里插入图片描述
在这里插入图片描述
大块一致的梯度，容易优化
Positives:
Gives large and consistent gradients (does not saturate) when active
Efficient to optimize, converges much faster than sigmoid or tanh
Negatives:
Non zero centered output
Units “die” i.e. when inactive they will never update
（落到小于0的位置梯度死掉，参数不更新）

改进Relu

在这里插入图片描述
在这里插入图片描述
ELU处处可导，但是计算量大，所以用的并不多

Maxout Units
多个线性函数去逼近任意激活函数
在这里插入图片描述
参数增加比较多

Sigmoid
在这里插入图片描述
容易饱和，在区间大于5或者小于负5梯度为0，参数不更新，网络越深越不好用！
Tanh
在这里插入图片描述
扩展了区间，问题与sigmoid类似
一般都用Relu

Architecture Design

主要考虑网络的深度和宽度
MLP：多层感知机—可以近似任意二值函数，分类器和估值器
在这里插入图片描述
在这里插入图片描述
MLP可以逼近任意分类边界

在这里插入图片描述
MLP处理回归问题：
在这里插入图片描述
A one-layer MLP can model an arbitrary function of a single input

网络越深效果越好

Back-Propagation

有效扰动参数，保留变化
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
随机梯度下降：
在这里插入图片描述
参数初始化：
在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

深度学习理论

python

深度学习

神经网络

人工智能

深度学习理论及运用（三）Deep feedforward network 的相关文章

  • 如何在Python的SciPy中更改稀疏矩阵中的元素？

    我构建了一个小代码 我想用它来解决涉及大型稀疏矩阵的特征值问题 它工作正常 我现在要做的就是将稀疏矩阵中的一些元素设置为零 即最顶行中的元素 对应于实现边界条件 我可以调整下面的列向量 C0 C1 和 C2 来实现这一点 不过我想知道是否有

  • Google App Engine queue.yaml 无法在开发服务器中工作

    我无法让 dev appserver py 识别我使用queue yaml 创建的自定义队列 他们没有出现在http localhost 8000 taskqueue http localhost 8000 taskqueue 当我尝试向其

  • scipy 将一个稀疏矩阵的所有行附加到另一个稀疏矩阵

    我有一个 numpy 矩阵 想在其中附加另一个矩阵 这两个矩阵的形状为 m1 shape 2777 5902 m2 shape 695 5902 我想将 m2 附加到 m1 以便新矩阵的形状为 m new shape 3472 5902 当

  • python 中的并行处理

    在 python 2 7 中进行并行处理的简单代码是什么 我在网上找到的所有示例都很复杂 并且包含不必要的代码 我该如何做一个简单的强力整数分解程序 在每个核心 4 上分解 1 个整数 我真正的程序可能只需要2个核心 并且需要共享信息 我知

  • opencv水印周围的轮廓

    我想在图像中的水印周围画一个框 我已经提取了水印并找到了轮廓 但是 不会在水印周围绘制轮廓 轮廓是在我的整个图像上绘制的 请帮我提供正确的代码 轮廓坐标的输出为 array 0 0 0 634 450 634 450 0 dtype int

  • 使用 python 中的公式函数使从 Excel 中提取的值的百分比相等

    import xlrd numpy excel Users Bob Desktop wb1 xlrd open workbook excel assignment3 xlsx sh1 wb1 sheet by index 0 colA co

  • 检查 Python 中的可迭代对象中的所有元素的谓词是否计算为 true

    我很确定有一个常见的习语 但我无法通过谷歌搜索找到它 这是我想做的 用Java Applies the predicate to all elements of the iterable and returns true if all ev

  • Mac OS X 中文件系统的 Unicode 编码在 Python 中不正确？

    在 OS X 和 Python 中处理 Unicode 文件名有点困难 我试图在代码中稍后使用文件名作为正则表达式的输入 但文件名中使用的编码似乎与 sys getfilesystemencoding 告诉我的不同 采取以下代码 usr b

  • sklearn 中的 pca.inverse_transform

    将我的数据拟合后 X 我的数据 pca PCA n components 1 pca fit X X pca pca fit transform X 现在 X pca 具有一维 当我根据定义执行逆变换时 它不是应该返回原始数据 即 X 二维

  • 搜索多个字段

    我想我没有正确理解 django haystack 我有一个包含多个字段的数据模型 我希望搜索其中两个字段 class UserProfile models Model user models ForeignKey User unique

  • Gspread如何复制sheet

    在 Stackoverflow 上进行谷歌搜索和搜索后 我想我找不到有关如何复制现有工作表 现有模板工作表 并将其保存到另一个工作表中的指南 根据文档 有重复表 https gspread readthedocs io en latest

  • 通过索引访问Python字典的元素

    考虑一个像这样的字典 mydict Apple American 16 Mexican 10 Chinese 5 Grapes Arabian 25 Indian 20 例如 我如何访问该字典的特定元素 例如 我想在对 Apple 的第一个

  • 使用 Pandas 计算 delta 列

    我有一个数据框 如下所示 Name Variable Field A 2 3 412 A 2 9 861 A 3 5 1703 B 3 5 1731 A 4 0 2609 B 4 0 2539 A 4 6 2821 B 4 6 2779 A

  • 在 keras 中保存和加载权重

    我试图从我训练过的模型中保存和加载权重 我用来保存模型的代码是 TensorBoard log dir output model fit generator image a b gen batch size steps per epoch

  • Mac OSX 10.6 上的 Python mysqldb 不工作

    我正在使用 Python 2 7 并尝试让 Django 项目在 MySQL 后端运行 我已经下载了 mysqldb 并按照此处的指南进行操作 http cd34 com blog programming python mysql pyth

  • 在系统托盘中隐藏 tkinter 窗口 [重复]

    这个问题在这里已经有答案了 我正在制作一个程序来提醒我朋友的生日 这样我就不会忘记祝福他们 为此 我制作了两个 tkinter 窗口 1 First one is for entering name and birth date 2 Sec

  • 混淆矩阵不支持多标签指示符

    multilabel indicator is not supported是我在尝试运行时收到的错误消息 confusion matrix y test predictions y test is a DataFrame其形状为 Horse

  • python 线程安全可变对象复制

    Is 蟒蛇的copy http docs python org 2 library copy html模块线程安全吗 如果不是 我应该如何在 python 中以线程安全的方式复制 deepcopy 可变对象 蟒蛇的GIL http en w

  • 查找总和为给定数字的值组合的函数

    这个帖子查找提供的 Sum 值的组合 https stackoverflow com a 20194023 1561176呈现函数subsets with sum 它在数组中查找总和等于给定值的值的组合 但由于这个帖子已经有6年多了 我发这

  • Apache Beam Pipeline 写表后查询表

    我有一个 Apache Beam Dataflow 管道 它将结果写入 BigQuery 表 然后我想查询该表以获取管道的单独部分 但是 我似乎无法弄清楚如何正确设置此管道依赖性 我编写的新表 然后想要查询 与一个单独的表连接以进行某些过滤

随机推荐

  • 欢欢喜喜: 在lenovo网站购T61的经历

    1月3日 在lenovo网站购T61的经历 一直以来对IBM的小黑情有独钟 不过考虑国内昂贵的价格和需求的迫切性不高 所以 也只是观望中 上次去米果的时候 看到lenovo网上卖的T61笔记本 标的价格比平时都低300 于是动了心 开始在

  • 使用 PullToRefresh 的总结

    前言 关于下拉刷新 上拉加载的框架现在有很多 这里奉上别人收集的一些框架 下拉刷新框架收集 但是笔者一直还在使用 PullToRefresh 个人觉得 PullToRefresh 使用起来还是比较简洁方便的 关于 PullToRefresh

  • unity-ugui-eventsystem

    EventSystem对象的说明 当我们在场景中创建任一UI对象后 Hierarchy面板中都可以看到系统自动创建了对象EventSystem 可以看到该对象下有三个组件 EventSystem StandaloneInputModule

  • 七天引爆社交新零售（助你提高十倍业绩）——前言

    2019年对于中小企业主 创业者 实体店主最大的机遇就是社交新零售 为什么这么说呢 随着日益上涨房租成本 人工成本的上升 实体生意利润空间越来越小了 而传统线上电商企业流量广告费也越来越贵了 大家一直在探索有没有一种低成本高收益的销售方式出

  • stream()转map转list、distinct()去重、判断空值、sorted排序正序多字段排序

    package demo io import demo api JavaBean Student import org junit platform commons util StringUtils import java util imp

  • 镜头快速精准反馈位置硬件环境搭建

    目录 概述 一 检测部分 1 原理图 2 PCB板 二 驱动部分 1 原理图 2 PCB板 概述 本篇只要介绍 硬件电路搭建 这次是项目的需要 重新捡起好多年没使用 Altium Designer 软件了 熟悉又陌生 经过2 3天时间 终于

  • 想要精通算法和SQL的成长之路 - 最长回文子序列

    想要精通算法和SQL的成长之路 最长回文子序列 前言 一 最长回文子序列 前言 想要精通算法和SQL的成长之路 系列导航 一 最长回文子序列 原题链接 首先 我们看下动态规划方程的定义 我们用dp i j 来代表 字符串s在下标区间为 i

  • Django连接MySQL数据库时出错：django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: No mo

    基于python3解释器的虚拟环境中创建的Django项目 Django中默认连接的是SQLite3数据库 现更改为MySQL数据库 执行迁移文件时报错 django core exceptions ImproperlyConfigured

  • html5 调用本地街景,H5案例分享：在移动端调用腾讯街景

    在移动端调用腾讯街景 腾讯地图街景组件可以通过多种方式调起 来展示3D街景信息 腾讯街景API 是构建在v2版本上的全新应用接口 对于目的地 可以让用户足不出户 得到更直观 更真切 的身临其境的体验 比如 您可以就用在 房产 酒店 餐饮 娱

  • 使用Java 8函数式编程生成字母序列

    在 Java 8 中使用函数式编程生成字母序列是一个很大的挑战 Lukas Eder 愉快地接受了这个挑战 他将告诉我们如何使用 Java 8 来生成ABC的序列 当然 肯定不是一种蹩脚的方式 我被 Stack Overflow 上网友 m

  • C++ xml库的选择

    自从触及xml文件的读写 一直以来都是用的tinyxml2 接口简单 然而近期项目频繁出错 跟踪调试发现 问题出在了xml文件的读写上 当节点数超过百万级别的时候 内存暴增到G的当量 很显然程序会由于内存申请不足崩掉了 果断寻找替代品 百度

  • Android开源框架之Picasso(图片加载框架)

    简介 Picasso是Square公司出品的一个强大的图片下载和缓存图片库 在adapter中需要取消已经不在视野范围的ImageView图片资源的加载 否则会导致图片错位 Picasso已经解决了这个问题 使用复杂的图片压缩转换来减少内存

  • ue4 蓝图通信的几种方式

    一 设置公有变量 完成通信 1 蓝图类Door bp中声明变量NewVar 1 为公有 确定好变量类型 编译 2 关卡视口中选中这个蓝图类Door bp的实例 世界大纲视图下的细节面板中 默认下出现公有变量名称NewVar 1 用吸管吸取关

  • springboot+poi开发excel导出 加载Excel模板导出 Excel导出详解

    提到Excel导出功能 可能很多人都使用springmvc框架做过 笔者今天要给大家分享的是基于springBoot开发Excel复杂模板导出功能 所谓复杂模板指在模板里的特定表头里有不同的单元格合并以及背景色 字体颜色的填充 文本内容的对

  • linux下libpcap抓包分析

    linux下libpcap抓包分析 一 首先下载libpcap包http www tcpdump org latest release 然后安装 安装完成后进入安装根目录的tests文件夹 编译运行findalldevstest c 编译时

  • 实现mnist手写数字识别（第一周）

    本文为 365天深度学习训练营 中的学习记录博客 参考文章 365天深度学习训练营 第P1周 实现mnist手写数字识别 Pytorch实战 第P1周 实现mnist手写数字识别 qq com 原作者 K同学啊 接辅导 项目定制 我的环境

  • 使用codestriker搭建代码评审平台

    codestriker是用perl语言开发的 可以使用apache cgi进行访问的代码评审web站点 搭建过程如下 1 yum install perl 2 yum install highlight 3 配置codestriker co

  • k8s部署minio

    安装krew插件 官网地址 https krew sigs k8s io docs user guide setup install set x cd mktemp d OS uname tr upper lower

  • 图论算法＜三＞：判断有向图中是否有存在循环 ，以及环的个数和各个环中的元素

    1 目的 判断有向图中是否有存在循环 以及环的个数和各个环中的元素 2 示例效果 2 1 原始数据 路线起终点整理如下 共计12个顶点 19条边 起点 终点 1 最后的1代表起点终点是连通的 起点 终点 1 2 4 1 起点 终点 1 9

  • 深度学习理论及运用（三）Deep feedforward network

    转化成非线性 1 RBF径向基函数 2 利用sift特征以及K means 3 用数据去训练 举例 异或门 使用非线性运算 用图来表示实现线性可分的过程 目的 优化目标函数 Cost Functions 目标函数 交叉熵 公式前加负号转化为

热门标签