原文移步：Brain Tumor Segmentation and Tractographic Feature Extraction from Structural MR Images for Overall Survival Prediction
摘要：本文提出了一种新的方法，该方法结合了人脑连接组学和分割标签用于脑肿瘤分割和生存预测。对于分割，我们采用MNI152 1mm空间中已经存在的脑分割模板，并将这个模板映射到每个单独的受试者的数据上。我们将难分负样本挖掘和深度神经网络结合以获得最后的体素分类类别。对于生存预测，为了结合人脑连接组数据、脑分割信息和脑肿瘤掩模的特征，我们提出了一种新的方法。我们利用人类连接组项目的平均连接组信息， 并将该平均连接组信息映射到统一的连接组空间（即MNI152 1mm空间）中每个受试者的大脑体素上。根据这个原理，我们计算了由于脑肿瘤导致的潜在神经中断的纤维束追踪特征。然后，用这些特征对受试者进行整体的生存预测。本文提出的方法的创新点是，为了分割和生存预测，利用人类连接组项目中标准的脑分割数据和纤维束追踪数据来分析MR图像。
关键词：脑肿瘤分割；脑分割；组归一化；难分负样本挖掘；集成模型；整体生存预测；纤维束追踪特征
1 引言
胶质母细胞瘤或胶质瘤，是脑肿瘤中最常见的类型之一。它们具有高度异质的外观和形状，可能出现在大脑中的任何位置。高级别胶质瘤是最具侵袭性的肿瘤之一，中位生存期为15个月。最近有大量脑肿瘤分割和生存预测的研究。Kamnitsas等整合了七种不同参数的不同3D 神经网络模型，每个模型映射的输出概率的平均值从而得到最后的脑肿瘤掩模。Wang等使用各向异性卷积神经网络设计了一个分级网络来分割不同类型的肿瘤室（其实就是不同的肿瘤区域）。Isensee等的网络架构源于在context pathway（应该是全局路径，待考究）增加了残差连接的3D U-Net，在localization pathway（局部路径）添加了多尺度聚合，在训练阶段使用Dice损失函数避免类别不平衡问题。对脑肿瘤分割任务，我们提出了一种结合了多倍DeepMedics和修改过的基于patch的3D U-Net网络，为了从多模态结构MR图像中获得鲁棒（泛化能力）的脑肿瘤分割网络，该方法使用不同的参数和训练策略。我们还利用的已有的脑部分割标签为基于patch的神经网络提供位置信息。为增加集成网络的多样性，在3D U-Net中我们使用了dice和交叉熵损失函数。最终的脑肿瘤的分割掩模是，取我们的集和中每个模型输出概率图（模型将输入映射为概率）的平均值。
对于总存活率的预测（overall survival，OS）任务，Shboul等从已预测的脑肿瘤掩模中提取40个特征，然后使用随机森林回归预测胶质瘤患者的OS。Jungo等从每个受试者中提取4个特征，然后使用带有径向基函数核的支持向量机（SVM）把胶质瘤患者分成3个不同的OS组。在本文中，我们提出一种新的方法，通过一个平均扩散MR图像从结构MR图像的病变区域提取纤维束追踪特征，该图像来自1021个HCP受试者。然后我们用这些纤维束追踪特征和带有线性核函数的SVM分类器预测患者的OS。
2 胶质瘤分割
2.1 实验材料
脑肿瘤分割（BraTS）2018数据集提供了285例受试者的训练数据，其中有四种不同的MR图像（MR-T1, MR-T1ce,
MR-T2 和MR-FLAIR）和专家标记的病灶真实值（ground-truth），包括坏死&非增强肿瘤、水肿和增强肿瘤区域。这个数据集由66例受试者的验证集数据和191例受试者的测试集数据，其中也有四种不同MR图像类型。这些MR图像共同配准到相同的解剖学模板空间，插值到分辨率，并且剥离了头骨。对每个受试者，在脑区内应用标准的z-score标准化，作为脑肿瘤分割的预处理步骤。
2.2 脑分割图谱作为肿瘤分割的前提
目前，用于脑肿瘤分割的最新的深度神经网络架构，没有考虑位置信息。然而从图1，可以明显的看出，病变并不是均匀分布在不同的大脑区域。这个分布是通过将病变的总体积除以相应的大脑分割区域的总体积来计算。我们提出的方法（图2）将位置信息作为基于patch地神经网络的输入。首先，我们使用FSL中的FLIRT将大脑分割图谱配准到受试者（解剖）空间。该配准允许将每个受试者体素与一个结构标签相关联，该结构标签指出了所有受试者中标准化的体素位置。因此，神经网络的输入包括图像数据和相应的分割标签。
2.3 网络架构和训练
为增强鲁棒性，我们的集和中整合了多个最新的神经网络。我们修改了[5,12]的网络，结合了26（个？）神经网络。网络架构的细节和每个模型的训练方法见表1。在我们的集成网络中，每个3D U-Net使用组归一化，每个DeepMedic使用批量归一化。在使用交叉熵损失函数训练3D U-Net时，我们使用难分样本挖掘策略来解决类别不平衡问题。最后，我们取每个神经网络输出概率图的平均值，得到最终的脑肿瘤分割（结果）。每个DeepMedic的平均训练时间约3h，每个3D U-Net的平均训练时间约12h，一个受试者的平均测试时间约20min。我们的实验基于NVIDIA GTX Titan X 和 a Intel Xeon CPU E5-2696 v4 @ 2.20GHz。
组归一化
用于分割的深度神经网络架构对于计算机的算力有大量需求。对于3D U-Net，我们的GPU使我们每次迭代只能使用2个样本（维度）.对于两个样本的小批量，常规的批量归一化方法收集的批量统计数据不稳定，因此不适合训练。在批量归一化中，计算每个特征维度的统计信息。最近，Wu等提出在计算皮处理统计数据时，将多个特征维度组合在一起。这种所谓的组归一化有助于稳定计算出的统计数据。我们的实验中，组数设置为4。
难分负样本挖掘
我们从原始数据随机裁剪的patches，用来训练3D U-Net。在这样大的尺寸下，大多数体素都不是病变，标准的交叉熵损失函数会使模型倾向于背景类。为解决这个问题，我们只选择损失最大（难分负样本）的负样本体素来反向传播梯度。在实验中，选择的难分负样本体素的数量最多是正体素数量的三倍。难分负样本挖掘，不仅提高了模型的肿瘤分割性能，还降低了模型的假阳性率。
2.4 实验结果
我们首次使用MR图像和Harvard-Oxford的皮质下大脑分割掩模作为DeepMedic和3D U-Net的输入，来研究脑肿瘤分割的性能。定量结果见表2。由表可知，在基于patch的神经网络输入中加入大脑分割掩模，可以提高其性能。在增强、整体和核心三个肿瘤区域的分割中，基于DeepMedic模型的平均Hausdorff 95分数，分别从5.205变为3.922，从11.536变为8.507，从11.215变为8.957。基于3D U-Net模型的平均Dice分数，分别从0.753到0.764，从0.889到0.894，从0.766到0.755。
然后，我们在BraTS2018的训练集、验证集和测试集上评估了我们提出的集成模型的脑肿瘤分割的性能。定量结果见表3。该表表明了我们的集成模型在脑肿瘤分割任务上的鲁棒性。我们的模型在BraTS2018的训练集、验证集和测试集上具有相同的分割性能。
3 脑肿瘤患者的整体生存预测
3.1 实验材料
BraTS2018数据集的训练集中还包括163名受试者的年龄（年）、存活率（天）和切除状态，其中59名受试者的切除状态为总切除（GTR）。验证集有53名受试者的年龄（年）和切除状态，其中28名受试者的切除状态是GTR。测试集有131名受试者的年龄（年）和切除状态，其中77名是GTR。对于这一任务，我们只预测GTR切除状态的胶质瘤患者的总生存率（OS）。
总结：
创新点：利用MNI152脑模板，结合难分样本挖掘和深度神经网络进行分割，19个DeepMedic模型，7个3D U-Net模型，对模型的初始化、归一化、损失函数、是否加入脑模板、迭代次数，分别进行训练。
文章逻辑清晰，结构写论文时可参考
