【论文阅读笔记】BTS-ST: Swin transformer network for segmentation and classification of multimodality breast

Iqbal A, Sharif M. BTS-ST: Swin transformer network for segmentation and classification of multimodality breast cancer images[J]. Knowledge-Based Systems, 2023, 267: 110393. [代码开源]

本文模型使用Swin Transformer（Encoder）+类Unet（Decoder），由于是BraTS 2021挑战赛作品，使用数据集单一，网络结构图画的很清楚，不做展开记录。

【论文概述】

本文介绍了一种名为Swin UNETR的新型神经网络架构，专门用于利用多模态MRI图像进行脑肿瘤的语义分割。Swin UNETR结合了Swin Transformer（作为编码器）和基于卷积神经网络的解码器，通过不同分辨率的跳跃连接相连。这种架构利用自注意力模块在层次结构中有效地模拟多尺度上下文信息和长距离依赖关系，从而提高了脑肿瘤分割的准确性。在BraTS 2021挑战中，Swin UNETR在验证阶段名列前茅，并在测试阶段展现出了竞争力的性能，显示出其作为一个新类别的分层编码器的Transformer基础模型在脑肿瘤分割任务中的潜力。

【模型结构】

• Encoder: Swin Transformer
  • 基础架构 : Swin UNETR采用Swin Transformer作为其编码器部分。Swin Transformer是一种基于自注意力机制的层次化视觉Transformer，它通过在移位窗口中计算自注意力来有效处理图像数据。
  • 特点 : Swin Transformer通过窗口化的方法进行自注意力计算，使其能够捕捉长距离依赖关系，并且具有较高的计算效率。这在处理大量医学图像数据时尤为重要。
• Decoder: CNN-based Decoder
  • 构造 : 解码器是基于传统的卷积神经网络（CNN）设计的，用于将编码器提取的特征映射转换回图像空间。
  • 跳跃连接 : Swin UNETR利用跳跃连接（skip connections）将编码器的不同分辨率特征映射与解码器相连，有助于在分割任务中保留更多细节和上下文信息。

【results】