程序员经验分享-hwhale

《Semi-Supervised Semantic Segmentation with Cross-Consistency Training》 2020CVPR 论文阅读

2023-10-26

在这项工作中，作者首先观察到，对于语义分割，低密度区域在隐藏表示中比在输入中更明显。

作者提出了交叉一致性训练，其中预测的不变性是施加不同的扰动在编码器输出上

 

Cross-Consistency Training

该模型包含一个共享的encoder，一个main decoder和K个辅助decoder

对于有标签的数据，使用Cross-Entropy (CE)来进行训练

对于无标签的数据，使用共享的encoder得到中间特征

使用扰动函数pr对encoder的输出进行扰动，每一个扰动可以用于多个辅助decoder，

将K个扰动版本的输出 输入到辅助decoder中

使用mean squared error (MSE)作为距离衡量，旨在缩小main decoder和辅助decoder之间的差异

为了避免使用主编码器的初始噪声预测，Wu沿着高斯曲线从零开始上升到一个固定的权重λu。具体地，在每次训练中，有无标签的样本数量是相同的

Note：无标签的loss不反向更新main-decoder，只有有标签的才会用来训练main-decoder

Prediction based perturbations.

Feature based perturbations

F-Noise：

F-Drop：

Prediction based perturbations.

Guided Masking：

使用掩码将检测到的object或者上下文mask掉

Guided Cutout (G-Cutout):

Intermediate VAT (I-VAT):

注入对抗扰动

Random perturbations.

 

Practical considerations

在每次迭代训练中，label 和 unlabel 采样数量相同，并且在label的数据上迭代的次数更多，因此过拟合的风险更大

Avoiding Overfitting.

作者发现在训练中逐渐释放监督信号有助于性能提升

将output表示为在像素上的分布概率

作者仅使用分布概率小于某一阈值的，

在训练期间逐渐增大阈值

Exploiting weak-labels

使用一些弱标签样本，比如image-level label，来进一步增强特征编码器H

引入了一个分类分支，使用一个pooling层，然后接一个分类器，使用binary CE loss在分类任务上预训练encoder

预训练的encoder和分类分支可用于生成pixel-level 伪标签

 

Cross-Consistency Training on Multiple Domains

 

 

 

 

 

 

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

深度学习

机器学习

《Semi-Supervised Semantic Segmentation with Cross-Consistency Training》 2020CVPR 论文阅读 的相关文章

  • 利用OpenLayers创建wkt字符串

    var polygon OpenLayers Geometry Polygon createRegularPolygon new OpenLayers Geometry Point 6 49 2 18 0 var feature new O

  • blob （Binary Large Object）

    在深度学习中 二进制大对象 Binary Large Object BLOB 通常指的是存储模型权重或预训练模型的文件 这些文件可以非常大 通常以二进制格式存储 并在深度学习框架中用于加载和保存模型 在深度学习中 模型的权重是模型在训练过程

  • recyclerView的滑动

    1 无感知滑动 layoutManager scrollToPositionWithOffset int position int offset 第一个参数是指第几项 第二个参数是跟顶部的距离 当你的屏幕只能显示10项就满了 但是你的dat

  • 数组以及指针数组遍历&Demo

    遍历数组以及指针数组 Demo By C include

随机推荐

  • 【以太坊开发】 问题 etherbase must be explicitly specified

    1 使用geth启动在私有链环境下 提示如下问题 html view plain copy Updated mining threads threads 0 INFO 08 17 21 31 30 Transaction pool pric

  • flutter pubspec添加依赖无法获取flutter_test

    pubspec yaml 文件初次添加的时候拷过来没格式化 packages get 一直失败各种尝试无果 后来格式化了一下 就可以了

  • 【rust】

    系列文章目录 rust 00 开发环境搭建 rust 01 编译并运行第一个rust程序 rust 02 语法基础 变量 不可变 和常量 rust 03 语法基础 数据类型 rust 04 语法基础 函数 rust 05 语法基础 流程控制

  • windows下启动nacos（单机配置）

    windows下启动nacos 下载nacos 找到github地址 并根据对应的版本进行下载 如果下载过慢的话 可以使用迅雷下载 1下载完成后 进行解压 之后打开 conf application properties文件 2 打开后 我

  • 机器学习实战——朴素贝叶斯

    目录 一 朴素贝叶斯理论 1 概述 2 朴素贝叶斯特点 3 贝叶斯决策理论 4 条件概率与全概率公式 5 贝叶斯推断 二 朴素贝叶斯分类器应用 拉普拉斯修正 三 垃圾邮件分类 一 朴素贝叶斯理论 1 概述 朴素贝叶斯算法是有监督的学习算法

  • vue3.0模板

    GitHub Mstian Vue Onepiece Admin vue3 elementPlus后台管理简单模板https github com Mstian Vue Onepiece Admin

  • null，default关键字

    一 null关键字 1 null是空的意思 在表中 默认情况下 所有的字段值都可以为空 1 建表期间 可以对某一字段进行非空约束 not null 在insert时 此字段必须要有数据 create table temo id number

  • libuv之基础

    TCP客户端连接步骤 连接方法 Uv loop t loop uv default loop uv tcp t client malloc uv connect t connect req malloc uv tcp init loop c

  • C++ 仿函数(一)

    目录 一 仿函数是什么 二 仿函数的特点 1 仿函数在使用时 可以像普通函数那样调用 可以有参数 可以有返回值 2 仿函数超出普通函数的概念 可以有自己的状态 编辑3 仿函数可以作为参数传递 三 谓词 一元谓词示例 二元谓词示例 总结 一

  • 银行股的分红是不是比利率要高，投十万银行股一年分红有多少啊？

    工农交建中目前股息均超5 以上 10万元投资银行股 一年分红收益能达到5500左右 银行一年定期存款1 5 10万存款年利息1500 买银行股比存银行一年多收益4000左右

  • dell服务器重装win10,戴尔dell重装win10系统后无法引导的解决方法(原创)

    戴尔新机型都采用 Intel 酷睿第八代以上处理器 戴尔8代以上cpu都不支持传统模式了 默认预装了win10系统不是很好用 想重新安装win10 但是预装win10的机型默认是UEFI引导 但戴尔电脑装win10后出现不能引导情况 一般出

  • OpenFeign配合logback链路追踪

    创建MDC上下文 public class MdcContext MDC上下文 存储tId private static final ThreadLocal

  • 多线程（十）多线程编程示例

    文章目录 一 交替输出1A2B3C4D5E 1 1 synchronized wait notify 1 2 Condition await signal 二 生产者 消费者问题 2 1 synchronized wait notify 2

  • java final关键字修饰局部变量,final关键字的这8个小细节，你get到几个?

    今天来聊 final 关键字 因为最近在看的几本书都讲到了 final 关键字 发现好多小细节自己都忽视了 抽空总结了一下 分享给大家 正文 final关键字是一个常用的关键字 可以修饰变量 方法 类 用来表示它修饰的类 方法和变量不可改变

  • 数据在底层的存储模式

    1 数据的存储模式 大端存储模式 常见于我们的手机等 低地址放高数据 小端存储模式 比如PC 低地址存放低数据 面试题 设计程序判断大小端 这里可以有两种方式 1 写一个函数通过数据类型 int main int a 0x11223344

  • 我的服务器开发之路-安装mysql之mariadb并更改数据库路径

    centos最好安装mariadb 输入rpm qa grep mariadb 并没有显示版本号 则说明并没有安装mariadb 输入yum remove mysql mysql server mysql libs可完全卸载mysql相关

  • K8S个人学习之路

    服务器预备环境 1 永久禁用swap空间 1 临时关闭swap分区 重启失效 swapoff a 2 永久关闭swap分区 sed ri s swap etc fstab 2 修改k8s gcr io 路径的镜像 其他的镜像仓库 MY RE

  • Spark-RDD编程

    Spark在进行计算的时候通常会包含以下几个步骤 创建SparkContext上下文对象 使用SparkContext加载数据创建RDD RDD的转换算子transfotmations RDD的行动算子actions RDD的缓存和持久化

  • 反射获取字段的值与非空校验

    获取指定字段的值 通过字段对应的get方法 public Object getFieldValueByName1 String fieldName Object obj try String firstLetter fieldName su

  • 《Semi-Supervised Semantic Segmentation with Cross-Consistency Training》 2020CVPR 论文阅读

    在这项工作中 作者首先观察到 对于语义分割 低密度区域在隐藏表示中比在输入中更明显 作者提出了交叉一致性训练 其中预测的不变性是施加不同的扰动在编码器输出上 Cross Consistency Training 该模型包含一个共享的enco

热门标签