程序员经验分享-hwhale

Softmax到AMSoftmax(附可视化代码和实现代码)

2023-05-16

Softmax

 

个人理解：在训练的时候，加上角度margin，把预测出来的值减小，往0那里挤压，离标注距离更大，减少训练得分，加大loss，增加训练收敛难度。

不明白的有个问题？减去m后，如果出现负数怎么办？

 

 

以下有的内容参考：

https://zhuanlan.zhihu.com/p/97475133

softmax是归一化指数函数。首先，它是一个归一化函数，因为它的分母是  ；再次，它是指数函数，因为有函数  。所以我们使用Softmax的作用有两点：
一. 将所有值的范围归纳到[0, 1]之间；
二. 通过指数函数可以扩大分布间的差异性，即达到“马太效应”——强者越强，弱者越弱。

softmax公式如下：

 

下图1是线性函数 yi=xiwj  (红线)和Softmax函数

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Softmax

AMSoftmax

附可视化代码和实现代码

Softmax到AMSoftmax(附可视化代码和实现代码) 的相关文章

随机推荐

  • sql获取两个时间戳之间的时间差以及报错 [Err] 1292 - Truncated incorrect time value: '932:13:47'

    前段时间再项目开发过程中写到一个update语句 xff0c 需求两个时间戳之差作为where条件但是用了 HOUR TIMEDIFF expr1 expr2 方法成功了 UPDATE work order complaint SET 96

  • HTML5 基础知识总结(全)

    文章目录 1 文档类型2 字符集3 标签 lt h1 gt 到 lt h6 gt 4 文本格式化标签 xff08 熟记 xff09 5 标签属性6 图像标签img7 链接标签8 锚点定位9 base标签10 特殊字符11 注释标签12 相对

  • IntelliJ IDEA集成maven

    一 idea中maven的配置 1 maven配置 首先需要在idea中对maven进行集成 xff0c 目录为File Setting Build Execution Deployment Build Tools maven xff0c

  • centos7防火墙配置详细（转载）

    一 条件防火墙是开启的 systemctl start firewalld 1 查看防火墙的配置 firewall cmd state firewall cmd list all 2 开放80端口 firewall cmd permanen

  • JAVA简单快速排序讲解

    首先 xff0c 我们来了解一下什么是快速排序 xff1a 所谓快速排序 xff0c 就是在冒泡排序的基础上进行改进 xff0c 延伸出来的一种跳跃性的排序方法 xff0c 我们都知道 xff0c 冒泡排序 xff0c 就是相邻两个数之间进

  • 基于 CentOS7 的 KVM 部署 + 虚拟机创建

    目录 一 实验环境二 部署 KVM三 创建虚拟机四 远程管理 KVM 虚拟机FAQ 一 实验环境 实验环境 xff1a VMware Workstation 16 Pro 打开虚拟机之前 xff0c 首先开启 VMware Workstat

  • 云原生|kubernetes|网络插件flannel二进制部署和calico的yaml清单部署总结版

    前言 xff1a 前面写了一些关于calico的文章 xff0c 但感觉好像是浅尝辄止 xff0c 分散在了几篇文章内 xff0c 并且很多地方还是没有说的太清楚云原生 kubernetes kubernetes的网络插件calico和fl

  • 在PROC程序中出现 "error: break statement not within loop or switch" 的原因。

    今天碰到一个问题 xff0c 如果proc预编译后生成的 c文件中有下面代码 xff1a if sqlca sqlcode 61 61 1403 break 如果在gcc编译时出现 error break statement not wit

  • Ubuntu18.04下ROS安装

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 Ubuntu操作系统版本对应二 安装ROS1 换源2 添加国内源3 设置密钥4 安装ROS5 初始化 rosdepc6

  • jdbc连接MySQL数据库的简单应用

    jdbc连接MySQL数据库和连接Oracle数据库大体步骤一样 xff0c 首先加载数据库驱动包 xff0c 然后创建数据库连接 xff0c 接着执行sql语句 xff0c 最后返回结果集 但连接MySQL我们需要导入的驱动包是mysql

  • Matlab学习笔记4——readtable

    Matlab学习笔记4 readtable 基于文件创建表 xff0c 第一行就作为表头 xff0c 如果取的表头符合matlab的命名规则 xff0c 那么该列直接如此命名 语法 T 61 readtable filename T 61

  • 【Mysql细节】插入日期数据报格式错误：Data truncation: Incorrect datetime value

    看图吧 xff1a 为什么会在插入的第四条数据报格式错误呢 xff1f 首先这些插入数据是直接复制的 xff08 不是纯手写 xff09 看到报错第一反应是不是觉得自己的数据格式有问题啊 xff0c 细看又没有发现有啥问题 那我是如何解决的

  • 联合索引的最左前缀匹配原则

    目录 联合索引 最左前缀匹配原则 最左匹配原则的成因 联合索引 所谓的联合索引就是指 xff0c 由两个或以上的字段共同构成一个索引 本文测试用例的数据表结构如下 xff0c 一张简简单单的学生信息表 tb student xff0c 仅包

  • KEIL下载程序失败系列问题

    发现问题 xff1a 例如 xff1a 当你使用keil下载程序时 xff0c 往往会出现以下类似问题 xff0c 下面带你解决问题 1 电源 xff1a one 首先 xff0c 当你做嵌入式方面工作 xff0c 出了问题重中之重就是检查

  • js各进制之间的相互转换

    size 61 medium 十进制转二进制 parseInt num toString 2 十进制转八进制parseInt num toString 8 十进制转十六进制parseInt num toString 16 二进制转十进制pa

  • linux|奇怪的知识---账号安全加固，ssh安全加固

    前言 xff1a 一般情况下 xff0c 我们对于账号的安全是比较随意的 xff0c 因为在生产环境里 xff0c 基本都是使用堡垒机这样的带有安全审计功能的工具对各个主机进行监控 xff0c 管理 xff0c 并且结合prometheus

  • Python 自学笔记

    前言 此Python3笔记仅为本人自学网络教学视频总结的笔记 xff0c 初衷仅为个人的学习和复习使用 xff0c 本人使用的编译器为Pycharm xff0c 内容仅供参考 xff08 俺是小白 xff0c 有不对的地方希望各位大佬指出

  • libcli工具的使用-命令行修改输入参数

    libcli工具的使用 命令行修改输入参数 libcli工具介绍 Libcli 提供了一个共享的 C 库 xff0c 用于将类似 Cisco 的命令行界面包含到其他软件中 它是一个 telnet 接口 xff0c 支持用户可定义的功能树的命

  • STM32无法连接JLink(Flash读写保护) 解决方法

    By Ailson Jack Date 2020 12 12 个人博客 xff1a 首页 说好一起走 本文在我博客的地址是 xff1a STM32无法连接JLink Flash读写保护 解决方法 说好一起走 xff0c 排版更好 xff0c

  • Softmax到AMSoftmax(附可视化代码和实现代码)

    Softmax nbsp 个人理解 在训练的时候 加上角度margin 把预测出来的值减小 往0那里挤压 离标注距离更大 减少训练得分 加大loss 增加训练收敛难度 不明白的有个问题 减去m后 如果出现负数怎么办 nbsp nbsp 以下

热门标签