FPGM(Filter Pruning via Geometric Median)笔记

2023-11-19

原文地址

1.创新点

​ 提出了一种新的过滤器剪枝方法,即通过几何中值的过滤器剪枝(FPGM)来压缩模型。

​ 与以前的方法不同,FPGM 通过修剪带有冗余信息的过滤器而不是那些重要性“相对较低”的过滤器来压缩 CNN 模型

​ 与之前修剪贡献相对较少的过滤器的方法不同,FPGM 选择具有最大可替换贡献的过滤器。具体来说,我们计算同一层内过滤器的几何中值 (GM) [8]。根据 GM 的特性,它附近的滤波器 F 可以用剩下的滤波器来表示。因此,修剪这些过滤器不会对模型性能产生实质性的负面影响。

2.解决了哪些问题

​ 基于范数的剪枝方法,依赖两个并不总是满足的要求:(1)滤波器的范数偏差应该很大; (2) 滤波器的最小范数应该很小。而 FPGM 不需要这两个要求。

​ 将修剪操作与正常训练过程相结合,因此不需要额外的微调

3.原理和算法流程

先求出第 i 层的几何中值,在从第 i 层找出最接近该几何中值的滤波器,将它们置 0

​ 为了摆脱基于范数标准中的约束,我们提出了一种受几何中值启发的新过滤器修剪方法。几何中值 [8] 的中心思想如下:给定一组 n 个点 a ( 1 ) , . . . , a ( n ) a^{(1)},...,a^{(n)} a(1),...,a(n),每个点 a ( i ) ∈ R d a^{(i)} ∈ R^d a(i)Rd,找到一个点 x ∗ ∈ R d x^∗ ∈ R^d xRd 最小化到它们的欧几里得距离之和:

在这里插入图片描述
其中 [1, n] = {1, …, n}。

​ 由于几何中值是欧几里得空间中数据中心性的经典鲁棒估计量[8],我们使用几何中值来获取单个第 i 层内所有滤波器的公共信息:

在这里插入图片描述

在第 i 层中,找到最接近该层几何中值的滤波器:
在这里插入图片描述

那么 F i , j ∗ F_{i,j}∗ Fi,j 可以由同一层中的其他过滤器表示,因此,修剪它们对网络性能几乎没有负面影响。

在这里插入图片描述

​ 由于几何中值是欧几里得空间中数据中心性的经典鲁棒估计量,因此所选滤波器 F i , x ∗ F_{i, x}* Fi,x 和剩余滤波器共享最有共通性的信息。这表明过滤器 F i , x ∗ F_{i,x}* Fi,x 的信息可以被其它滤波器替换。经过微调,网络可以轻松恢复其原始性能,因为修剪后的过滤器的信息可以由剩余的过滤器表示。因此,过滤器 F i , x ∗ F_{i,x}* Fi,x 可以被修剪,对神经网络的最终结果的影响可以忽略不计。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

FPGM(Filter Pruning via Geometric Median)笔记 的相关文章

  • 阿里云CDN架构接入WAF应用防火墙案例实践

    文章目录 1 网站架构变化 2 配置WAF应用防火墙 2 1 配置网站接入WAF防火墙 2 2 WAF防火墙生成CNAME地址 2 3 配置WAF防火墙HTTPS证书 2 4 WAF防火墙开启HTTP回源SLB 3 配置CDN加速器回源WA
  • 高德地图之地理编码

    首先申明是地理编码呢 地理编码 又称为地址匹配 是从已知的地址描述到对应的经纬度坐标的转换过程 该功能适用于根据用户输入的地址确认用户具体位置的场景 常用于配送人员根据用户输入的具体地址找地点 既地理编码 地址转坐标 下面一步步来看怎么实现
  • 面试题——Java中的锁

    文章目录 谈谈你对线程安全的理解 1 synchronized 关键字是怎么用的 1 1 构造方法可以使用 synchronized 关键字修饰么 1 2 使用 String 作为锁对象 会有什么问题 1 3 synchronized 的底
  • 单元测试到底是什么?应该怎么做?

    一 什么是单元测试 单元测试 unit testing 是指对软件中的最小可测试单元进行检查和验证 至于 单元 的大小或范围 并没有一个明确的标准 单元 可以是一个函数 方法 类 功能模块或者子系统 单元测试通常和白盒测试联系到一起 如果单
  • 微信小程序open-data组件功能调整

    这里我开源了一个微信小程序的案例 https gitee com xiaoshixiaoran wechat applet 相关后台接口我会有空用SSM重写一遍再挂上去 由于微信小程序官网在2021 12 27号发布了组件功能调整 原来的获
  • 1-100之间的所有能被3整除的数字的和,偶数和奇数的和 ,平均值

    1 求 1 100 之间的所有平均值 需要一个 sum 和的变量 还需要一个平均值average变量 var sum 0 var average 0 for var i 1 i lt 100 i sum sum i average sum

随机推荐

  • 配置SourceTree

    一 从官网下载安装包 二 添加账户 选择这一个 否则看不到private仓库 用户名是自己github的用户名 密码需要在github生成 在这个位置点击 配置权限后就成功了 然后输入密码就行
  • HarmonyOS-开发避坑指南——源码下载和编译,企业级项目实战讲解

    安装文件系统打包工具 运行 mkfs vfat 如果未找到该命令 需要安装 运行 mcopy 如果未找到该命令 需要安装 sudo apt get install dosfstools mtools 官方文档说明的两个文件系统打包工具sud
  • windows终端的bash配置

    个人记录 现在json文件中加入 guid 00000000 0000 0000 ba54 000000000002 closeOnExit true commandline PROGRAMFILES git usr bin bash ex
  • 牛客网左神算法中级班学习笔记(第三章)

    本文是牛客网左神算法中级班学习笔记 分析 宏观考虑 搞两个点A B 起始都在左上角 B往右走 走到最右边就往下走 A往下走 走到最下边就往右走 A B每次一起走一步 打印A B两点连线即可 用一个Boolean控制下 交替打印顺序 publ
  • java简易聊天程序

    目录 项目结构 TCP 窗体组成 server client properties 项目结构 TCP 窗体组成 server package cn itcast chat import javax swing import java awt
  • ChatGPTBox 沉浸式的感受ChatGPT带来的快感

    ChatGPT基础功能 1 自然流畅的对话 ChatGPT通过对海量对话数据的学习 具有自然流畅的对话能力 能够与用户进行逼真的自然语言交互 2 能够理解语境 ChatGPT能够理解语境 不仅能根据上下文生成回答 还能识别当前对话的主题 更
  • LabVIEW 读写和缩放音频文件

    LabVIEW 提供了多种方式来读取和写入 WAV 格式的音频文件 完成本模块后 您将能够使用位于 Programming Graphics Sound Sound Files 中的 Simple Read 和 Simple Write 用
  • 感性是什么意思

    感性是什么意思 2005 09 25 15 55 xinghuali 分类 恋爱 有人说自己很感性 不知到底是什么意思 人在这方面分两种 一种是理性 一种就是感性 理性是很理智的那种 就是做事都依据道理 不会冲动 而感性的就是凭着感觉来的那
  • 如何让学习变得有效率

    最近一直在反思这样一个问题 为什么我的学习如此的没有效率 来提高班近三年的时间 我几乎都在全日制学习中度过 可是我的速度并不快 原因在哪 在这里学习 米老师一遍遍强调 如何学习 如何打包 全局观才是我们在这里真正应该学的 可这些在我这些年的
  • redis HyperLogLog原理

    假设现在有一个这样的需求 我们想要实时统计有多少用户访问我们的网站 一个简单的解决方案是用一个set集合来存储用户ID 然后计算任意时刻集合中不同ID的个数即为网站实时访问量 这是一种简单可行的做法 但是假如这个网页访问量很大加上随着时间推
  • C++琐碎知识整理

    C 琐碎知识整理 二 1 C 与C一样 用终止符 terminator 将两条语句分开 终止符是一个分号 它是语句的结束标记 是语句的组成部分 而不是语句之间的标记 所以C 语句一定不能省略分号 2 通常 main 被启动代码调用 而启动代
  • HTML innerHTML属性用法及分析

    innerHTML 设置或返回表格行的开始和结束标签之间的 HTML 看它的英文单词也可以明白就是里面的字符按html标记的语言格式取出来或重新设置 innerHTML属性w3c标准不支持的 但是各大浏览器支持它的实现 innerHTML的
  • ModelAndView,Model和httpServletRequest

    一 参数绑定 1 默认支持类型 springmvc中 有支持默认类型的绑定 也就是说 直接在controller方法形参上定义默认类型的对象 就可以使用这些对象 HttpServletRequest对象 HttpServletRespons
  • WWW 2022 弯道超车:基于纯MLP架构的序列推荐模型

    作者 于辉 机构 中国科学院大学地质与地球物理研究所 研究方向 人工智能与固体地球物理学 作者 周昆 机构 中国人民大学信息学院 研究方向 序列表示学习 本文主要提出了一个基于纯MLP架构的序列化推荐模型 其通过可学习滤波器对用户序列进行编
  • 《Linux基础》02. 目录结构 · vi、vim · 关机 · 重启

    目录结构 1 目录结构 2 vi vim快速入门 2 1 vi 和 vim 的三种模式 2 1 1 一般模式 2 1 2 编辑模式 2 1 3 命令模式 2 2 常用快捷键 2 2 1 一般模式 2 2 2 命令模式 2 2 3 键盘图 3
  • 有关AngularJS请求Web API资源的思路

    页面部分大致如下 div div productManagement是页面module的名称 页面内容通过ng include加载productListView html这个页面 注意 ng include属性值是字符串 app produ
  • NUC980开源项目32-显示内核调试信息

    上面是我的微信和QQ群 欢迎新朋友的加入 编写一个简单的驱动代码 hello c include
  • C++ 面向对象三大特征总结(详解)

    1 面向对象的三大特征 1 封装 封装 将一个对象的全部的属性变量和行为方法进行包装 集中到一个类中 并用权限对其成员属性和成员方法加以限制 使得外部对其访问时 不能随意改变该包装 include
  • 5/26 博客 第四章 交换机基本原理与配置

    交换机 数据链路层的设备 数据帧数据链路层的作用 1 物理地址 网络拓扑的建立 维护 拆除 2 把数据封装在帧中 按顺序传送 3 差错恢复 重传 重新再发一次 4 流量控制 确保中间传输设备的稳定以及双发传输速率的匹配 数据链路层主要的工作
  • FPGM(Filter Pruning via Geometric Median)笔记

    原文地址 文章目录 1 创新点 2 解决了哪些问题 3 原理和算法流程 1 创新点 提出了一种新的过滤器剪枝方法 即通过几何中值的过滤器剪枝 FPGM 来压缩模型 与以前的方法不同 FPGM 通过修剪带有冗余信息的过滤器而不是那些重要性 相