程序员经验分享-hwhale

论文理解：Defense-GAN

2023-05-16

由于首次接触对抗训练方面的内容,在此借着Defense-GAN中的相关内容先对对抗训练相关知识做一个简要的整理。
对抗训练基本说明见https://www.leiphone.com/news/201702/Jpb0uiOt9RTwcB8E.html

对抗攻击大致分为3种：
黑盒攻击：攻击者无权接触到分类模型参数，同时无法接触到分类模型的训练数据集。目前通常采用训练一个攻击目标分类器的替代模型，在其上训练并攻击以找出对抗样本。这些对抗样本往往能够被目标分类器误分类。这也证明了黑盒攻击的可迁移性。替代模型的训练集获得方式：将一小部分数据集送入目标分类器中，获得输出label并对此进行数据增强。
白盒攻击：攻击者能够获得分类模型的所有参数，例如网络结构和权限，防御机制的细节等。攻击模型得到loss函数表达，因而能够将扰动指向某一特定分类类别。
指向特定类别的攻击有Iterative FGSM,JSMA,Deepfool等。
不指向特定类别的攻击有FGSM,RAND+FGSM,CW（目前最强白盒攻击之一，参考见https://zhuanlan.zhihu.com/p/39285664）等。
灰盒攻击：上述两者的折中。攻击者知道网络结构和防御机制，但是不知道具体参数。

对抗防御大致分为3类：
1.调整训练数据使得分类器对攻击更鲁棒，比如用对抗样本进行数据增强。由于对抗样本由攻击产生，显然在攻击策略更换后，这种防御方式将会表现不佳。同时由于gredient masking这种防御方式对白盒攻击的防御效果优于黑盒攻击。
2.对分类器进行防御蒸馏训练。利用这种方式使得网络更加平滑，输入点附近的梯度较小，从而难以生成对抗样本。这种防御方式对白盒攻击防御效果好，但是对黑盒攻击效果不好。
3.尝试去除输入中的噪声。MagNet训练了一个reformer network(一个或者一系列的auto-encoder)使得对抗样本接近真实样本的分布主体。当使用了一系列的auto-encoder时，在测试时每一次只随机选取其中的一个，因此加强了防御效果。实验表明其对灰盒攻击尤其有效。

作者指出，MagNet(https://zhuanlan.zhihu.com/p/30934360)中试图reform对抗样本的做法与Defense-GAN特别相似。与之不同的是：1.Defense-GAN使用的是GAN而不是auto-encoder。 2.Defense-GAN中使用GD minimization而不是前馈的encoder network以寻找lantent code。
作者在WGAN(https://zhuanlan.zhihu.com/p/25071913)的基础上进行改进，提出Defense-GAN，算法如下：
DefenseGAN
GAN在真实图片训练集上进行无监督训练，方法如同GAN中的介绍，损失函数遵循WGAN的loss设计。分类器在相同的真实数据集上训练。如果GAN训练较好并且能够表示原始数据分布的话，原始的图像和他们的重构应该不会存在较大区别。
至于z*的选出采用如下的L次GD(Gradient Descent)算法：
在这里插入图片描述

作者指出Defense-GAN与其他防御机制的几个不同点：
1.可以连同任意分类器使用并且不会影响分类器结构，可以看作是一个分类任务之前的预处理。
2.如果GAN表达能力足够好，则没必要重新训练分类器。
3.对任意形式的攻击都能起到防御效果。
4.Defense-GAN高度非线性，基于梯度的白盒攻击将很难实现。作者对此解释如下：
在这里插入图片描述
Defense-GAN网络结构如下：
在这里插入图片描述
MagNet的encoder网络结构如下：
在这里插入图片描述
可以看到Defense-GAN中的Discriminator结构直接参考了这里

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Defense

GaN

论文理解

论文理解：Defense-GAN 的相关文章

  • 论文理解：Defense-GAN

    由于首次接触对抗训练方面的内容 在此借着Defense GAN中的相关内容先对对抗训练相关知识做一个简要的整理 对抗训练基本说明见https www leiphone com news 201702 Jpb0uiOt9RTwcB8E htm

  • GAN系列

    paper GAN开山之作 xff1a Generative Adversarial Networks GAN翻译

  • 【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

    有关蒸馏 Distillation 的论文 xff1a 2006 Model Compression 2014 Do Deep Nets Really Need to be Deep 论文笔记 2015 Distilling the Kno

  • 一文读懂GAN, pix2pix, CycleGAN和pix2pixHD

    本文翻译 总结自朱俊彦的线上报告 xff0c 主要讲了如何用机器学习生成图片 来源 xff1a Games2018 Webinar 64期 xff1a Siggraph 2018优秀博士论文报告 人员信息 主讲嘉宾 姓名 xff1a 朱俊彦

  • SRGAN——使用与超分辨率重建的GAN

    SRGAN数据GAN理论在超分辨率重建 SR 方面的应用 一 超分辨率技术 1 SR技术介绍 SR技术 是指从观测到的低分辨率图像重建出相对应的高分辨率图像 在监控设备 卫星图像和医学影像等领域都有重要的应用价值 也可以应用于马赛克图片的恢

  • 简单理解与实验生成对抗网络GAN

    原文 https blog csdn net on2way article details 72773771 GAN网络是近两年深度学习领域的新秀 火的不行 本文旨在浅显理解传统GAN 分享学习心得 现有GAN网络大多数代码实现使用pyth

  • PyTorch和TensorFlow生成对抗网络学习MNIST数据集

    介绍 生成对抗网络 简称GAN 是最近开发的最受欢迎的机器学习算法之一 对于人工智能 AI 领域的新手 我们可以简单地将机器学习 ML 描述为AI的子领域 它使用数据来 教 机器 程序如何执行新任务 一个简单的例子就是使用一个人的脸部图像作

  • 基于MNIST实现GAN（pytorch）

    基于MNIST实现生成对抗网络 pytorch逐行实现 本文是pytorch逐行实现GAN网络 作为一个基础GAN框架来学习 以后编写复杂的GAN的衍生网络框架都是同样的思想 import numpy as np import torch

  • SPADE: Semantic Image Synthesis with Spatially-Adaptive Normalization

    目录 介绍 相关工作 1 Unconditional normalization layers 2 Conditional normalization layers 这一部分挺重要的 方法 3 1 Spatially adaptive de

  • 李宏毅对抗生成网络 (GAN)教程（3）Unsupervised Conditional Generation

    文章目录 两大类做法 一 Direct Transformation Cycle GAN Star GAN 二 Projection to Common Space 1 共享参数 2 加一个domain discriminator 3 Cy

  • GAN与CycleGAN的结构解析

    原文链接 当下神经网络三大主流子领域 CNN RNN和GAN 今天咱们主要分享一下生成对抗网络 GAN的一些核心思想 并以CycleGAN为例进行阐述 借自 https github com eriklindernoren Keras GA

  • 深度对抗学习在图像分割和超分辨率中的应用

    原文 http blog csdn net shenziheng1 article details 72821001 深度对抗学习在图像分割和超分辨率中的应用 原创 2017年05月31日 16 43 15 1982 1 前言 深度学习已经

  • GAN学习之路（四）：马尔可夫判别器（PatchGAN）

    概念 马尔可夫判别器是判别模型的一种 基于CNN的分类模型有很多种 很多网络都是在最后引入了一个全连接层 然后将判别的结果输出 输出结点 马尔可夫判别器则是不一样 直观来看 它完全由卷积层构成 最后输出的是一个n n的矩阵 最后取输出矩阵的

  • GAN生成MNIST数据-PyTorch

    摘抄别处 供自己学习用 直接上代码 代码如下 coding utf 8 import torch autograd import torch nn as nn from torch autograd import Variable from

  • 【GAN 04】可解释性GAN

    本文是对http www seeprettyface com research notes html的学习笔记 不想让GANs随机生成图片 希望通过控制输入的参数去生成特定的图片 例如 在手写数字图片的生成中 希望通过输入 控制数字 高度以

  • 生成式对抗网络（GAN）-（Generative Adversarial Networks）算法总结（从原始GAN到....目前）

    本文将按时间顺序总结gan的paper 非所有 会挑选个人认为比较重要的 并将参考其它博客 会给出链接 如有侵权 请私信删除 更新于 19 IS 可以反应图像的生成质量 越大越好 FID 则会更假注重生成的多样性 越小越好 IS score

  • StyleGAN系列学习笔记

    StyleGAN可以无监督地分离高级属性 例如 姿态 身份 和生成图像中的随机变化 例如 雀斑 头发 控制图像不同层次的视觉特征 StyleGAN v1 Figure 1 传统生成器 vs Style based生成器 给定输入latent

  • 生成对抗网络GANs理解（附代码）

    生成对抗网络GANs理解 附代码 原文地址 http blog csdn net sxf1061926959 article details 54630462 生成模型和判别模型 理解对抗网络 首先要了解生成模型和判别模型 判别模型比较好理

  • 【StyleGAN论文精读CVPR_2019】A Style-Based Generator Architecture for Generative Adversarial Networks

    StyleGAN论文精读CVPR 2019 A Style Based Generator Architecture for Generative Adversarial Networks 一 前言 Abstract 1 Introduct

  • VAE-GAN学习记录

    一 遇到的问题以及学习目的 学习VAE GAN主要是因为最近在做故障诊断相关的东西 之前在某篇论文里得知 使用GAN算法时 可以使用判别损失 重构损失对异常样本进行检测 然而 那篇论文 基于 LSTM GAN 的加油时序数据异常检测 里面

随机推荐

  • 定时器产生PWM

    1 用两个定时器 计数器产生矩形波 这种方法的基本原理就是用T0作为矩形波的周期的定时器 xff0c 每一周期产生一次中断 xff0c 用T1作为矩形波的高电平的计时器 xff0c 每到T0的定时中断 xff0c 输出矩形波的引脚输出高电平

  • Windows下的汉字到了Linux下成了乱码

    Linux和Windows下面的汉字编码不一样 xff0c Linux下面是UTF 8 xff0c Windows下面是GB2312 xff0c 正是由于编码格式不相同从而导致乱码 几种解决方法如下 xff1a 1 在Windows上用记事

  • 调整树莓派4B使用VNC View的分辨率的一个方法

    这几天在摆弄树莓派4B xff0c 一直被一个问题困扰 xff1a 刚装上系统时 xff0c 用VNC Viewer连接可以达到1920x1080的分辨率 xff0c 就算什么都不做 xff0c 重启一下 xff0c 分辨率就成1024x7

  • VMM插件和OpenStack nova集成（华三CAS插件处理虚拟化流程及源码分析）

    插件组成 华三目前依托OpenStack有以下几个插件 xff1a l openstack cas nova version tar gz 虚拟化 l openstack cas cinder version tar gz 为用户提供统一的

  • 基于Jetson TX1的R-FCN的算法搭建

    Data 2017 03 13 Author cjh Theme Set up the R FCN environment 由于毕设要求最近都在开发板上尝试搭建各种深度学习的算法 xff0c 由于JetsonTX1对于caffe的支持还不错

  • 对抗样本（三）FGSM

    文章目录 一 论文相关信息 1 论文题目 2 论文时间 3 论文文献 二 论文背景及简介三 论文内容总结四 论文主要内容1 Introducttion2 Releated Work3 The Linear Explanation Of Ad

  • 对抗样本（四）BIM&ILLC

    文章目录 一 论文相关信息 1 论文题目 2 论文时间 3 论文文献 二 论文背景及简介三 论文内容总结四 论文主要内容1 Introduction2 Methods Of Generating Adversarial Images3 Ph

  • Oracle建立表空间和用户

    Oracle建立表空间和用户 建立表空间和用户的步骤 xff1a 用户 建立 xff1a create user 用户名 identified by 34 密码 34 授权 xff1a grant create session to 用户名

  • Ubuntu 16.04 Qt clang-format 插件安装使用教程

    Ubuntu 16 04 Qt clang format 插件安装使用教程 Qt安装下载安装修改qt环境变量 LLVM安装安装clang format配置qt打开工程文件配置clang format Qt安装 最新的qt5 12支持保存代码

  • AIADATA 独家深度解密：百度XuperChain开源区块链基础平台

    AIADATA 独家深度解密 xff1a 百度XuperChain开源区块链基础平台 百度超级链Xuperchain正式宣布开源 根据官网显示 xff0c 链内并行技术 可插拔共识机制 一体化智能合约等四大技术支撑开源 xff0c 让区块链

  • 应用集成实战系列：服务总线中的发布订阅业务模式

    在应用集成项目中 xff0c 如果有数据同步的需求 xff0c 尤其是主数据同步的需求 xff0c 经常会用到发布订阅模式进行数据的发布 发布订阅模式多用于消息分发业务 xff0c 比如源系统数据更新 xff0c 需要同步到多个业务系统 员

  • docker for windows pull镜像文件的安装位置改变方法

    发生现象 xff1a 在windows10下安装docker for windows xff0c 随着用docker pull image文件后 xff0c C盘的容量越来越小了 xff0c 你可能也有一种跟我一样的想法 xff0c 想改变

  • 树莓派3b+ ubuntu 18.04添加SSH服务

    树莓派3b 43 ubuntu 18 04添加SSH服务 手头有个一年没用的树莓派3B 43 上官网发现ubuntu 18 04已经支持 xff0c 并且有相应的镜像 成功安装ubuntu后需要配置ssh供使用 xff0c 在网上找了一些流

  • 使用 Ctrl + R 命令反向查找/搜索历史【笔记】

    反向查找 搜索历史命令 反向查找 搜索执行过的命令 1 reverse search history Ctrl 43 R 从当前行开始向后搜索 xff0c 并根据需要在历史记录中向上移动 这是一个增量搜索 此命令将区域设置为匹配的文本并激活

  • 最简单的Word公式编号方法

    1 使用Word自带的公式编辑器时 xff0c 在公示后面输入 即可对公式编号 2 使用Mathtype进行公式编辑时 xff0c 需要制定制表位进行公式编号 xff0c 具体设置如下 xff08 1 xff09 样式库新建样式命名为公式A

  • 基于Jetson TX1的faster-rcnn的算法搭建

    Data 2016 12 19 Author cjh Theme Set up the faster rcnnenvironment 由于R FCN运行内存较大 xff0c TX1貌似性能不够 xff0c 又在开发板上尝试faster rc

  • C++子类的构造函数后面加:冒号的作用（转）

    在C 43 43 类的构造函数中经常会看到如下格式的写法 xff1a MyWindow span class token operator span span class token function MyWindow span span

  • C51单片机控制蜂鸣器

    在单片机应用上 xff0c 蜂鸣器可以作为报警信号或者提示信号 单片机控制蜂鸣器发声的基本原理和方法 xff1a 只需对驱动口输出驱动电平并通过放大电路放大驱动电流就能使蜂鸣器发出声音 改变引脚的频率 xff0c 就可以调整蜂鸣器的音调 x

  • Ubuntu20.04安装微信详细步骤，解决显示异常，无法显示输入内容问题和状态栏问题

    Ubuntu20 04安装微信 xff0c 解决显示异常 xff0c 无法输入问题和状态栏问题 最要提示最终效果 xff0c 输入窗口正常 xff0c 应用图标收纳在状态栏中步骤一 xff1a 安装wine步骤二 xff1a 安装字体 xf

  • 论文理解：Defense-GAN

    由于首次接触对抗训练方面的内容 在此借着Defense GAN中的相关内容先对对抗训练相关知识做一个简要的整理 对抗训练基本说明见https www leiphone com news 201702 Jpb0uiOt9RTwcB8E htm

热门标签