[风格迁移系列五: WaveCT-AIN] 医学图像的风格迁移和跨域自适应(泛化性)

2023-11-13

不同于自然图像的风格迁移,在临床应用上,医学图像更加注重图像生成的纹理细节,并且需要实时的推理速度。因此提出一个实时且高质量的风格迁移方法非常重要,这篇论文实现了这个方法:
Remove Appearance Shift for Ultrasound Image Segmentation via Fast and Universal Style Transfer
大家在无法提升模型准确率的情况下,何不尝试下该方法,只需要额外的0.1s左右的处理时间(下文有代码)。

一、背景介绍

在这里插入图片描述
该论文采用的数据是调整了不同TGC协议的图像。其中,每组数据包含一张原始图像和对应的四种不同TGC协议图像。上图展示的是仅在原始图像上训练好的分割网络,采用四种不同协议图像的分割测试结果。可以很明显的看出分割性能的下降,因此该文的目标是仅通过原始图像的训练集,来提升分割模型的泛化性能。

二、方法介绍

在这里插入图片描述
该方法包括三个部分,首先是一个基于LBP特征的风格选择模块,然后是一个预训练好的风格迁移网络和在源域数据(原始图像数据)上训练好的分割网络。总的前向流程如下:通过风格选择模块为每一个测试图像(内容图:content)选择一个风格图(源域数据)。然后通过预训练好的风格迁移网络将源域数据的风格传递给内容图,得到风格化后的结果。最后再输入预训练好的分割网络中进行分割。下面依次对每个模块做出简单介绍:

风格选择模块
由于LBP特征具有灰度不变性和旋转不变性等显著优点,该文采用此经典方法来选择合理的风格图。具体的算法细节可以参考如下博客:

  1. LBP特征
  2. LBP特征及其变体和python实现

风格迁移网络
该网络的主要架构是一个VGG和反VGG的对称结构,在此基础上加入了跳跃连接。该网络的核心思想采用了Harr滤波器,将表示边、角等高层语义信息的高频信号通过跳跃连接传到解码器中,防止高频信号的丢失;在网络的主枝干中仅传入表示低层纹理信息的低频信号,从而来实现风格纹理的的传输。具体可参考这篇文章:
Photorealistic Style Transfer via Wavelet Transforms

三、实验介绍

实验数据集共包含180组胎儿头部和198胎儿腹部超声图像,每一组由一张原始图像(训练集)和四种不同TGC协议的图像(测试集)组成。以下表格依次是在胎儿腹部和胎儿头部的不同方法对比结果:
在这里插入图片描述
在这里插入图片描述
可以看出,该作者提出的方法能够以非常快的处理速度,实现分割网络泛化性能的显著提升。
不过作者只公布了base的代码,完整的代码尚未公布,大家可以尝试在此基础上进行修改。

~~~~~~~~~~~~~

相关代码:pytorch 代码

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

[风格迁移系列五: WaveCT-AIN] 医学图像的风格迁移和跨域自适应(泛化性) 的相关文章

随机推荐

  • linux删除某个目录下旧文件只保留最新的10个

    find aaa bbb ccc d name mingcheng sort head n 10 xargs rm rf 指令解析 find aaa bbb ccc d 意思是 在 aaa bbb ccc查找文件夹 name mingche
  • Redis-应用问题解决

    缓存穿透 缓存穿透现象 应用服务器压力变大 redis命中率降低 一直查询数据库 原因 redis查询不到数据库 出现很多非正常url访问 解决方案 1 对空值缓存 如果一个查询返回的数据为空 不管是数据是否不存在 我们仍然把这个空结果 n
  • 【C++设计模式】详解装饰模式

    2023年8月31日 周四上午 这是我目前碰到的最难的设计模式 非常难以理解而且比较灵活多半 学得贼难受 写得贼费劲 2023年8月31日 周四晚上19 48 终于写完了 花了一天的时间来学习装饰模式和写这篇博客 虽然基本上把我今天的收获都
  • 点在多边形内的判断

    c语言代码 typedef struct tagVERTEX double x double y VERTEX 判断点与多边形关系 0 外 1 上 2 内int PointInPolygon VERTEX pt VERTEX vtx int
  • Pgsql报错:PostgreSQL的SQL语句参数上限报错

    org postgresql util PSQLException An I O error occurred while sending to the backend Caused by java io IOException Tried
  • maven 全入门

    使用SPRINGSOURCE TOOL SUITE创建maven web project 推荐使用springsource的sts 一款基于eclipse整合的ide sts下载地址 安装好m2clipse插件后 在ide菜单栏点击 win
  • mssql sqlserver 获取指定日期为本月第几个工作日

    转自 https www cnblogs com lairui1232000 p 9286104 html 摘要 下文讲述工作中 需要获取指定日期在当月的工作日 下文讲述常规的指定工作日所在月的天数分析 实现思路 1 生成一个国家法定假日表
  • C#的笔记属性索引器,委托事件,泛型集合,异常捕捉

    C 有一些与其他语言C Java不同的特性这里特别记一下 他们大部分基本的内容是相同的 C 有属性索引器 委托事件 泛型集合 trycatchfinally异常捕捉 属性Property 属性时一种很像字段的方法 他有getset访问器 使
  • 高并发高可用(二)架构

    4 大型网站架构模式 模式词汇来源于建筑学 定义 每个模式描述一个在我们周围不断重复发生发生的问题及该问题解决方案的核心 这样你就能一次又一次使用该方案而不必做重复的工作 为解决大型网站所遇到的高并发访问 海量数据处理 高可用运行等系列问题
  • MySQL的预读机制

    一 预读机制 InnoDB在I O的优化上有个比较重要的特性为预读 预读请求是一个i o请求 它会异步地在缓冲池中预先回迁多个页面 预计很快就会需要这些页面 这些请求在一个范围内引入所有页面 InnoDB以64个page为一个extent
  • 网上书店管理系统 课程设计

    数据库原理及应用 综合设计报告 第一章 绪论 随着计算机技术的发展以及计算机网络的逐渐普及 因特网成为了人们查找信息的重要场所 二十一世纪是信息的时代 所以信息的交换和信息的流通就显得特别的重要 因此网上书店的出现成为必然 实体书店在正常运
  • pytorch 入门 DenseNet

    知识点0 dense block的结构 知识点1 定义dense block 知识点2 定义DenseNet的主体 知识点3 add module 知识点 densenet是由 多个这种结构串联而成的 import torch import
  • Retrofit2 使用@Multipart上传文件

    1 上传单个文件 1 1定义接口 Multipart POST uploadImgs Call
  • Laravel5.6 实现小程序使用openid登陆、手机号验证码登陆、账户密码登陆三种登陆方式

    我的个人博客 逐步前行STEP 目前开发小程序 按需求要实现3种登陆方式 1 微信授权登陆 2 账户密码登陆 3 手机号 验证码登陆 我使用laravel自带的Auth认证机制 通过attempt方法进行账户验证 但是默认的认证机制必须包含
  • YOLOv6网络结构详解

    网络结构 根据官方代码使用Drawio绘制的YOLOv6 s网络结构图 官方资源 美团技术团队对于YOLOv6的介绍 文章 文章 文章 论文地址 YOLOv6 A Single Stage Object Detection Framewor
  • Java基础——大杂烩

    今天阿Q给大家来一节大杂烩 讲一下专题性不强的java基础知识 main方法详解 public static void main String args 这里面只有args能改变 public 被jvm调用 访问权限足够大 static 被
  • 记一次结构体字节对齐引起的严重问题

    头文件自定义了bool类型 4个字节 ifndef bool define bool int define true 1 define false 0 endif typedef struct bool automaticActivatio
  • 微信小程序消息订阅的实现——后端是nodejs的koa框架

    在做毕设中 我遇到这么一个使用场景 当顾客购买某个商家的商品后 那这个商家应该要收到通知信息 提示你家商品被购买了 故有了以下代码 微信小程序js代码 onSubmit function 用户点击确认支付 用户应该点击允许 同意提醒信息订阅
  • window 7 平台上 MXNET 源码编译

    目的 本文主要描述怎么在windows上编译mxnet源码 得到可用的libmxnet dll和libmxnet lib文件 版本 mxnet x64 release CPU版 运行环境 windows 7 64bit visual stu
  • [风格迁移系列五: WaveCT-AIN] 医学图像的风格迁移和跨域自适应(泛化性)

    不同于自然图像的风格迁移 在临床应用上 医学图像更加注重图像生成的纹理细节 并且需要实时的推理速度 因此提出一个实时且高质量的风格迁移方法非常重要 这篇论文实现了这个方法 Remove Appearance Shift for Ultras