程序员经验分享-hwhale

ML-逻辑回归-Softmax-交叉熵（小航）

2023-11-14

在分类问题中，

交叉熵的本质就是【对数】似然函数的最大化

逻辑回归的损失函数的本质就是【对数】似然函数的最大化

最大似然估计讲解： https://www.jianshu.com/p/191c029ad369

参考统计学习方法笔记 P79

softmax 

通过Softmax回归，将logistic的预测二分类的概率的问题推广到了n分类的概率的问题。通过公式 

softmax损失函数-交叉熵

Loss = -\sum_{i}y_{i}lna_{i}        (y代表我们的真实值，a代表我们softmax求出的值)

举例十分类：对使用softmax进行mnist数据集的多分类任务时，我们使用交叉熵作为损失函数

y_{1} = [0,1,0,0,0,0,0,0,0,0]   (真实值为数字“1”,one-hot编码)

a_{1}=[0.2,0.7,0,0,0,0,0,0,0,0.1]（预测值是70%的概率是数字“1”，这个a值是由softmax得到的）

求解Loss = -（0*ln0.2+1*ln0.7+0*ln0+0*ln0+...）  式1

cross_entropy = -tf.reduce_sum(y_ * tf.log(y_conv))

逻辑回归模型

单分类逻辑回归模型：

逻辑回归损失函数：

举例二分类：判断数字是0还是1（交叉熵计算）

y_{1} =[1,0] (真实值为数字“0”，采用one-hot编码)

a_{1} = [0.9,0.1]（预测数字是“0”的概率是90%）

Loss = -(1*ln0.9+0*ln0.1)   式2

举例二分类：判断数字是0还是1，且计算是0的概率为0.9（逻辑回归损失函数计算）

Loss = -(0*ln0.9+1*ln0.9)  式3

发现式2与式3一样，所以逻辑回归的损失函数与交叉熵一样

多分类逻辑回归模型：

设 Y ∈ {1,2,..K}，则多项式逻辑斯蒂回归模型为：

统计学习方法

已知观测的数据属于二项逻辑斯蒂回归模型，求模型的参数

逻辑回归是一个判别模型，直接计算条件概率分布P(Y|X)

我们最终求的就是P(Y=1|X;theta)  即在给定X的条件下，Y是正例的概率

  • P(Y=1|X;theta) = g(theta0 + theta1x1 + theta2x2 + ... +thetanxn)
  • P(Y=0|X;theta) = 1 - P(Y=1|X;theta)  

最大似然估计的使用场景：已知观测的数据属于某种模型，求模型的参数

计算模型（求参数）

  • 使用最大似然估计，似然函数就是每个观测数据的概率密度函数的成绩
  • 使用最大似然估计，引出最小化损失函数
  • 最小化损失函数，引出梯度下降，求模型参数

吴恩达教学逻辑回归

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ML

ML-逻辑回归-Softmax-交叉熵（小航） 的相关文章

  • steps_per_epoch=2000,epochs=100之间的区别

    第一种解释 batchsize 中文翻译为批大小 批尺寸 在深度学习中 一般采用SGD训练 即每次训练在训练集中取batchsize个样本训练 iteration 中文翻译为迭代 1个iteration等于使用batchsize个样本训练一

  • cuda/cudnn/cuda 10.1安装教程

    方法1 NVIDIA 显卡驱动安装示例 ubuntu系统刚装好 推荐 Ubuntu 18 04 安装 NVIDIA 显卡驱动 ps 1 新系统的签名要重新注册 2 要禁用nouveau 新安装方法 其他参考 https zhuanlan z

  • pytorch/torch安装简明教程

    LINUX上安装 0 进入官网https pytorch org 按照你的系统以及配置 获取安装命令 1 安装gpu版本的torch cuda包 用于torch调用gpu加速库 pip install torch 1 5 0 cu101 t

  • Anaconda打开Navigator报错-Navigator Error An unexpected error occurred on Navigator start-up

    问题如图 Windows下 1 使用管理员运行 conda prompt 2 执行命令 conda update anaconda navigator 3 还是不行就试试命令 anaconda navigator reset 来源 Navi

  • python或anaconda下安装opencv提示Error：No matching distribution found for opencv

    python或anaconda下安装opencv提示Error No matching distribution found for opencv 错误提示 ERROR Could not find a version that satis

  • 逻辑回归、激活函数sigmoid、损失及优化、案例代码实现

    一 逻辑回归 逻辑回归 Logistic Regression 是机器学习中的一种分类模型 是一种分类算法 与回归之间有一定的联系 由于算法的简单和高效 在实际中应用非常广泛 应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账

  • graphviz安装及使用、决策树生成

    一 graphviz下载安装 下载网址 http www graphviz org download 选择合适版本下载 1 1 双击安装 1 2 点击下一步 1 3 点击我接受 1 4 添加至系统路径 勾选添加至当前用户的系统路径 创建桌面

  • 朴素贝叶斯解决天气问题

    朴素贝叶斯是一种基于贝叶斯定理的分类方法 该算法是有监督的学习算法 解决分类问题 在该算法中 我们假设给定目标值时 属性之间相互条件独立 即 贝叶斯定理 对于分类问题 样本x属于类别y的概率 其中 P y 是指未使用数据训练分类器之前的y的

  • kmeans总结

    1 关于分类和聚类 kmeans属于聚类算法中的一种 分类和聚类是不同的概念 虽然两者的目的都是对数据进行分类 但是却有一定的区别 分类是按照某种标准给对象贴标签 再根据标签来区分归类 聚类是事先没有给出标签 刚开始并不知道如何对数据分类

  • 单变量线性回归实现波士顿房价预测

    1 预测过程 1 波士顿地区房价数据获取 数据来自于sklearn自带数据集 2 波士顿地区房价数据分割 3 训练与测试数据标准化处理 4 使用最简单的线性回归模型LinearRegression对房价进行预测 2 回归算法的评价指标有MS

  • 周志华《Machine Learning》学习笔记（17）--强化学习

    上篇主要介绍了概率图模型 首先从生成式模型与判别式模型的定义出发 引出了概率图模型的基本概念 即利用图结构来表达变量之间的依赖关系 接着分别介绍了隐马尔可夫模型 马尔可夫随机场 条件随机场 精确推断方法以及LDA话题模型 HMM主要围绕着评

  • k-means算法Python实现--机器学习ML

    k means algorithm 一些概念 partial clustering 每一簇的数据不重叠 至少一簇一个数据 hieraichical clustering 通过构建层次结构来确定聚类分配 density based clust

  • GBDT&GBRT与XGBoost

    在看清华学霸版 Python大战机器学习 的过程中 集成学习章节中出现了两个新的名词 GBDT GBRT 也许是西瓜书定位于全面 而没有拘泥于细节 后来科普发现 这两个东西和陈天奇大神的XGBoost紧密相连 于是估摸着花时间弄懂这两个东西

  • 常见特征工程操作

    常见的特征工程包括 异常处理 1 通过箱线图 或 3 Sigma 分析删除异常值 2 BOX COX 转换 处理有偏分布 3 长尾截断 特征归一化 标准化 1 标准化 转换为标准正态分布 2 归一化 抓换到 0 1 区间 3 针对幂律分布

  • ML-数据分析模板

    文章目录 机器学习 数据分析模板 Objective Data Set Information Attribute Information INPUT 单特征与缺失值展示 Feature Cleaning Engineering 标签转换

  • 手写数字识别代码详解

    文件目录如下 其中数据集data目录运行时在与手写数字识别同级目录自动生成 具体文件内代码见下文 一 conf py文件 项目配置 import torch train batch size 128 训练批次大小 表示每次训练神经网络时每次

  • 机器学习2018-12-28

    机器学习 组成 主要任务 分类 classification 将实例数据划分到合适的类别中 应用实例 判断网站是否被黑客入侵 二分类 手写数字的自动识别 多分类 回归 regression 主要用于预测数值型数据 应用实例 股价价格波动的预

  • Compressed Sparse Column format(CSC)

    CSR Compressed Sparse Row format 和CSC Compressed Spare Column format 都是一种稀疏矩阵的存储格式 这里分别给出实例 假设有如下矩阵 1360

  • fn 类型的 ml 函数：'a -> 'b

    功能 fn a gt b 现在 有没有可以定义并具有这种类型的函数 标准机器学习中该函数签名有两种可能的实现 一种使用异常 另一种使用递归 val raises a gt b fn a gt raise Fail some error In

  • 何时在 SML 中使用分号？

    我知道分号在 REPL 中用作终止符 但我对何时在源文件中使用它们感到困惑 例如 之后不需要val x 1 但如果我之后省略它use foo sml 编译器会抱怨它 那么 分号的使用规则是什么呢 分号用于 SML 中的许多语法实体 它们通常

随机推荐

  • Android完全退出应用程序 ，【Android面试题】

    activity finish activityStack remove activity activity null 获得当前栈顶Activity public Activity currentActivity Activity acti

  • Vue自定义指令的使用详解

    自定义指令 vue官方提供了v text v for v model v if等常用的指令 还允许开发者自定义指令 在使用自定义指令前 须在自定义名称前加v 名称 私有自定义指令

  • android audio/linux alsa音频-硬件

    接着以前的文章继续写音频方面的分析 因为学得快忘得也快 如果不加以总结和记录 很快自己也不记得了 要完全了解一个音频器件 如ES8396 wm8998 首先得了解它的硬件原理 一般在嵌入式领域 音频的编解码芯片主要有两种 1 在单片机应用方

  • I/O接口

    I O接口 结构和作用 数据缓冲寄存器DBR 暂存即将输入输出的数据 主机和外设的速度匹配 状态 控制寄存器 命令字 CPU对设备发出的具体命令 状态字 设备的状态信息 供CPU检查 串 并转换机构 数据格式的转换 I O控制逻辑 根据命令

  • 网络QoS解决方案

    网络QoS解决方案 在网络带宽不足时 对网络流量做区别服务 优先传输那些重要的 要求网络延迟小的 如果丢弃会导致更大业务代价的数据 并对不同应用的数据做合理的带宽分配与控制 如果一定需要丢弃一些数据 则丢弃那些代价比较低的 这就是网络 Qo

  • pnpm install出现：ERR_PNPM_PEER_DEP_ISSUES Unmet peer dependencies

    使用 pnpm install 安装项目依赖时出现 ERR PNPM PEER DEP ISSUES Unmet peer dependencies 在 pnpm github issues 中找到相关解决方案 一 前言 完整日志 ERR

  • Git修改IP重新定位的方法

    进入已clone项目的 git文件夹 打开config文件 打开config 如图显示 修改url中的IP为192 168 6 102 然后保存 在项目上右击选择属性 R 然后选择Git 即可看到当前项目的跟踪远端网址 转载于 https

  • js vue上传文件判断文件格式 GIF JPG PNG

    根据文件识别头信息获取图片文件的类型 JPG 文件头标识 FF D8 文件尾标识 FF D9 PNG 文件头标识 8 bytes 89 50 4E 47 0D 0A 1A 0A GIF 文件头标识 6 bytes 47 49 46 38 3

  • 计算机二级试题及分值分布,计算机二级各部分分值分布

    计算机二级考试分选择题和操作题两大类 其中选择题10题 每题2分 一共20分 操作题分字处理题 电子表格题 演示文稿题三大类 其中字处理题30分 电子表格题30分 演示文稿题20分 共计80分 计算机二级各科目考试题型及分值 二级 MS O

  • java垃圾回收机制概述以及优缺点

    Java中的垃圾回收机制是自动内存管理的一部分 它负责在程序运行时自动回收不再使用的内存对象 以便为程序提供可用的内存空间 基于所谓的 垃圾收集器 它是Java虚拟机 JVM 的一部分 以下是Java垃圾回收机制的主要特点 1 对象生命周期

  • 教室管理系统（相关技术和设备：stm32、w5500、mqtt）

    背景 某学校对新建的实验楼有门禁管理需求 因此我们项目组借助KOB门锁 某宝销量较高的电吸锁和电插锁品牌 搭建了前端 微信小程序和网页 服务器 java服务器和mqtt服务器 单片机 基于stm32 用于控制电插锁 实现了一套完整的门禁管理

  • 关于RuoYi-Vue和ruoyi-vue-pro的基本使用理解

    文章目录 概要 前后端分离架构 技术栈 技术细节 小结 概要 提示 这里是本文概要 RuoYi Vue和ruoyi vue pro两个Web开源项目都是基于当下主流技术栈的前后端分离版本 后端采用SpringBoot多模块架构 前端使用Vu

  • 秋叶一键重装系统连接服务器失败,秋叶一键重装系统win7系统安装和使用DAEMONToolsLite的方法【图文教程】...

    DAEMON Tools Lite是一款虚拟光驱工具 装完不需启动即可用 是一个非常先进的模拟备份以及合并保护盘的软件 但是有部分win7秋叶系统用户还不知道要怎么安装和使用DAEMON Tools Lite 针对这个情况 小编这就给大家分

  • 保研日记v

    目录 个人情况 夏令营情况 预推免情况 希望能对学弟学妹们能有一定的参考价值 同样也是为了本科前三年画上一个句号 有问题可以直接留言哈 认识我的话可以直接小窗私戳我 即便困惑你的是很小的问题也希望大家能够勇敢的开口问 因为走了很多弯路 也在

  • 我优化了进度条，页面性能竟提高了70%

    前言 大家好 我是零一 最近我准备在组里进行代码串讲 所以我梳理了下项目之前的业务代码 在梳理的过程中 我看到了有个进度条组件写的非常好 这又想起我刚开始学前端时写的进度条的代码 跟这个比起来真的差距太大了 大部分的初学者应该都想不到 而且

  • 程序员常用的命令

    写在前面 你们好 我是小庄 很高兴能和你们一起学习常用命令 如果您对Java感兴趣的话可关注我的动态 写博文是一种习惯 在这过程中能够梳理和巩固知识 常用的Linux命令 cd 改变目录 cd 回退到上一级目录 直接cd进入默认目录 pwd

  • Vulkan_片元着色器特效5(泛光Bloom)

    本部分主要结合上一部分的Vulkan 片元着色器特效4 高动态范围HDR 来综合展示HDR 泛光场景 主要参照 LearnOpenGL中的Bloom章节 一 基本原理 Bloom使我们能够注意到一个明亮的物体真的有种明亮的感觉 泛光可以极大

  • ctfshow web入门——web2

    无法查看源代码 点击右键确实不行 直接ctrl u查看即可 但这个也可以用另一种方法查看网页源代码 即在网页url前面 view source

  • stream详解

    Java中的Stream流 公司中用了很多Stream流 经常用来筛选出PO类型的List中想要的数据 所以还是比较常用的 Stream是Java8的新成员 允许以声明式方式处理数据集合 代码简洁 函数式编程写出的代码简洁且意图明确 使用s

  • ML-逻辑回归-Softmax-交叉熵（小航）

    在分类问题中 交叉熵的本质就是 对数 似然函数的最大化 逻辑回归的损失函数的本质就是 对数 似然函数的最大化 最大似然估计讲解 https www jianshu com p 191c029ad369 参考统计学习方法笔记 P79 soft

热门标签