【2019】CE-NetContext Encoder Network for 2D Medical Image Segmentation

摘要

医学图像分割是医学图像分析中的重要步骤。随着卷积神经网络在图像处理中的快速发展，深度学习已经被用于医学图像分割，如视盘分割、血管检测、肺部分割、细胞分割等，此前已经提出了基于U-net的方法。然而，连续池化和步幅卷积操作导致了一些空间信息的丢失。在本文中，我们提出了一个上下文编码器网络（CE-Net），以捕获更多的高层信息，并保留空间信息的二维医学图像分割。CE-Net主要包括三个部分：特征编码模块、上下文提取模块和特征解码模块。我们使用预训练的ResNet块作为固定特征提取器。上下文提取模块由一个新提出的稠密核卷积模块和一个残差多核池模块组成。我们将所提出的CE-Net应用于不同的2D医学图像分割任务。综合实验结果表明，该方法在视盘分割、血管检测、肺血管检测等方面均优于原始U-Net方法和其他最先进的方法。

引言

医学图像分割通常是医学图像分析中的重要步骤，例如视网膜图像中的视盘分割[1]-[3]和血管检测[4]-[8]，电子显微镜（EM）记录中的细胞分割[9]-[11]，计算机断层扫描（CT）和磁共振成像（MRI）中的肺分割[12]-[16]和脑分割[17]-[22]。以前的医学图像分割方法通常基于边缘检测和模板匹配[15]。例如，圆形或椭圆形霍夫变换用于视盘分割[3]，[23]。模板匹配还用于MRI序列图像中的脾脏分割[24]和脑CT图像中的心室分割[22]。
变形模型也被提出用于医学图像分割。已提出使用水平集[25]的基于形状的方法用于心脏MRI图像的二维分割和前列腺MRI图像的三维分割。此外，采用基于水平集的可变形模型从腹部CT图像中分割肾脏[26]。可变形模型还与Gibbs先验模型集成，用于分割器官边界[27]，并使用进化算法和统计形状模型从CT体积中分割肝脏[16]。在视盘分割中，还提出并采用了不同的可变形模型，例如数学形态学、全局椭圆模型、局部可变形模型[28]和修改的主动形状模型[29]。

可以在相关工作里面提到的
可变形模型还与Gibbs先验模型集成，用于分割器官边界
2.关键词---变形模型---Deformable models

基于学习的方法提出分割医学图像以及。Aganj等人。[30]提出了基于局部质心的方法，用于X射线和MRI图像中基于无监督学习的图像分割。Kanimozhi和Bindu [31]应用平稳小波变换来获得特征向量，并采用自组织映射来处理这些特征向量，用于无监督MRI图像分割。Tong等人[32]结合字典学习和稀疏编码来分割腹部CT图像中的多器官。基于像素分类的方法[1]，[33]也是基于学习的方法，使用预先注释的数据基于像素训练分类器。然而，从大量的像素中选择像素并提取特征来训练分类器并不容易。Cheng等人。[1]使用超像素策略来减少像素数量，并使用超像素分类进行视盘和视杯分割。Tian等人[34]采用基于超像素的图形切割方法分割3D前列腺MRI图像。在[35]中，基于超像素学习的方法与形状约束的受限区域集成，以从CT图像中分割肺部。

这些方法的缺点在于利用手工制作的特征来获得分割结果。一方面，很难针对不同的应用设计出具有代表性的特征。
另一方面，对于一种类型的图像设计得很好的功能往往在另一种类型上失败。因此，缺乏通用的方法来提取特征。

这些方法的缺点在于利用手工制作的特征来获得分割结果。一方面，很难针对不同的应用设计出具有代表性的特征。另一方面，对于一种类型的图像设计得很好的功能往往在另一种类型上失败。因此，缺乏通用的方法来提取特征。
随着卷积神经网络（CNN）在图像和视频处理[36]以及医学图像分析[37]，[38]中的发展，使用深度学习的自动特征学习算法已经成为医学图像分割的可行方法。基于深度学习的分割方法是基于像素分类的学习方法。与传统的像素或超像素分类方法通常使用手工特征不同，深度学习方法学习特征并克服手工特征的限制。
早期用于医学图像分割的深度学习方法大多基于图像块。Ciresan等人。[39]提出基于补丁和滑动窗口策略在显微镜图像中分割神经元膜。然后，Kamnitsas等人。[40]采用了具有完全连接的条件随机场（CRF）的多尺度3D CNN架构，用于增强基于补丁的脑病变分割。显然，这种解决方案引入了两个主要缺点：滑动窗口导致的冗余计算和无法学习全局特征。
随着端到端全卷积网络（FCN）[41]的出现，Ronneberger等人[10]提出了用于生物医学图像分割的U形网络（U-Net）框架。U-Net在电子显微镜记录中的神经元结构分割和光学显微镜图像中的细胞分割方面表现出了良好的效果。它已成为生物医学图像分割任务的流行神经网络架构[42]-[45]。Sevastopolsky [43]应用U-Net直接分割视网膜眼底图像中的视盘和视杯，用于青光眼诊断。Roy等人[44]在光学相干断层扫描（OCT）图像中使用了类似的视网膜层分割网络。Norman等人[42]使用U-Net从膝关节MRI数据中分割软骨和半月板。U-Net还可用于直接从CT图像中分割肺部[45]。
针对不同的医学图像分割任务，在U-Net上进行了许多变化。Fu等人。[4]采用CRF来收集多阶段特征图，以提高血管检测性能。后来，提出了一种修改的U-Net框架（称为M-Net）[2]，通过在U-Net架构中添加多尺度输入和深度监督来进行联合视盘和杯分割。深度监管主要引入了与中期特征相关的额外损失函数。基于深度监督，Chen等人[46]提出了一种Voxresnet来分割体积脑，Dou等人[47]提出了3D深度监督网络（3D DSN）来自动分割CT体积中的肺部。
为了增强U-Net的特征学习能力，提出了一些新的模块来代替原来的块。Apostolopoulos等人[48]提出了一种分支残留U形网络（BRU-net），用于分割病理性OCT视网膜层，用于年龄相关性黄斑变性诊断。BRUnet依赖于残余连接和扩张的卷积来增强最终的OCT视网膜层分割。吉布森等人[49]在每个编码器块中引入了密集连接，以自动分割腹部CT上的多个器官。Kumar等人。[21]提出了一种用于婴儿大脑MRI分割的InfiNet。除了上述基于U-Net的医学图像分割的研究成果外，一些研究者也在改进U-Net以用于一般图像分割方面取得了进展。Peng等人。[50]提出了一种新的全局卷积网络来改进语义分割。Lin等人。[51]提出了一种多路径细化网络，其中包含残差卷积单元，多分辨率融合和链式残差池。Zhao等人。[52]采用空间金字塔池来收集提取的特征图，以提高语义分割性能。
U-Net及其变体的一个常见限制是连续的池化操作或卷积步幅降低了特征分辨率，以学习越来越抽象的特征表示。虽然这种不变性对分类或目标检测任务是有益的，但它通常会阻碍需要详细空间信息的密集预测任务。直观地说，在中间阶段保持高分辨率的特征图可以提高分割性能。然而，它增加了特征图的大小，这对于加速训练和减轻优化难度来说不是最佳的。因此，在加速训练和保持高分辨率之间存在权衡。通常，U-Net结构可以被认为是编码器-解码器架构。编码器的目标是逐渐减少特征图的空间维度，并捕获更多的高级语义特征。解码器的目标是恢复物体的细节和空间维度。因此，在编码器中捕获更多的高级特征并在解码器中保留更多的空间信息以提高图像分割的性能是自发的。
受上述讨论以及InceptionResNet结构的启发[53]，[54]使神经网络更宽更深，我们提出了一种新的密集无环卷积（DAC）块来使用无环卷积。原始的U-Net架构通过在编码路径中采用连续的3×3卷积和池化操作来捕获有限尺度范围内的多尺度特征，而我们提出的DAC块通过在4个级联分支中注入多尺度无环卷积来捕获更宽更深的语义特征。在该模块中，利用残差连接来防止梯度消失。此外，我们还提出了一种基于空间金字塔池的残差多核池（RMP）[55]。RMP块进一步通过采用各种大小池化操作来编码从DAC模块提取的对象的多尺度上下文特征，而无需额外的学习权重。总之，DAC块被提出用于利用多尺度无环卷积来提取丰富的特征表示，随后是RMP块用于利用多尺度池化操作来获得进一步的上下文信息。结合新提出的DAC块和RMP块与骨干编解码器结构，我们提出了一种新的上下文编码器网络命名为CE-Net。它依靠DAC模块和RMP模块来获得更多的抽象特征，并保留更多的空间信息，以提高医学图像分割的性能。
本文的主要贡献如下：
1）提出了一种DAC模块和RMP模块，以捕获更多的高层特征并保留更多的空间信息。
2)我们将建议的DAC块和RMP块与编码器-解码器结构集成用于医学图像分割。
3)我们应用所提出的方法在不同的任务，包括视盘分割，视网膜血管检测，肺分割，细胞轮廓分割和视网膜OCT层分割。结果表明，该方法优于国家的最先进的方法在这些不同的任务。
本文的其余部分组织如下。第二节详细介绍了所提出的方法。第三节介绍了实验结果和讨论。在第四节中，我们得出了一些结论。

方法

所提出的CE-Net由三个主要部分组成：特征编码器模块、上下文提取器模块和特征解码器模块，如图1所示。

图注：拟议CE-Net的图示。首先，图像被送入特征编码器模块，其中从ImageNet预训练的ResNet-34块用于替换原始的U-Net编码器块。提出了上下文提取器，以生成更高级别的语义特征图。它包含一个密集的atrous卷积（DAC）块和一个残差多核池（RMP）块。最后，将提取的特征馈送到特征解码器模块。在本文中，我们采用一个解码器块来扩大特征尺寸，取代原来的上采样操作。解码器模块包含1×1卷积和3×3反卷积操作。基于跳过连接和解码块，我们得到的掩码作为分割预测图。

A. Feature Encoder Module===A.编码器模块
在U-Net架构中，每个编码器块包含两个卷积层和一个最大池化层。在所提出的方法中，我们在特征编码器模块中用预训练的ResNet-34 [53]代替它，它保留了前四个特征提取块，而没有平均池化层和全连接层。与原始块相比，ResNet增加了捷径机制，以避免梯度消失，加速网络收敛，如图1（b）所示。为了方便起见，我们使用带有预训练ResNet的修改后的U-网络作为主干方法。
B. Context Extractor Module ===== 上下文提取器
1)Atrous Convolution（Atrous卷积）：在语义分割任务和对象检测任务中，深度卷积层已被证明在提取图像的特征表示方面是有效的。然而，池化层导致图像中语义信息的丢失。为了克服这一限制，采用atrous卷积进行密集分割[56]：
Atrous卷积最初是为了有效地计算小波变换而提出的。在数学上，二维信号下的atrous卷积计算如下：

其中，输入特征映射x和滤波器w的卷积产生输出y，并且速率r对应于我们对输入信号进行采样的步幅。它相当于用上采样滤波器卷积输入x，通过在每个空间维度沿着的两个连续滤波器值之间插入r − 1个零来产生（因此命名为atrous convolution，其中法语单词atrous在英语中的意思是孔）。标准卷积是速率r = 1的特殊情况，而atrous卷积允许我们通过改变速率值来自适应地修改滤波器的视场。图示见图2。

2)Dense Atrous Convolution Module：Inception [54]和ResNet [53]是深度学习中的两个经典和代表性架构。起始系列结构采用不同的感受野来拓宽结构。相反，ResNet采用快捷连接机制来避免梯度爆炸和消失。它使神经网络首次突破了数千层。Inception-ResNet [54]块结合了Inception和ResNet，继承了两种方法的优点。然后它成为深度CNN领域的基线方法。
受Inception-ResNet-V2块和atrous卷积的启发，我们提出了密集atrous卷积（DAC）块来编码高级语义特征映射。如图3所示，atrous卷积以级联模式堆叠。在这种情况下，DAC有四个级联分支，随着心房卷积数的逐渐增加，从1到1，3和5，那么每个分支的感受野将是3，7，9，19。它采用不同的感受野，类似于Inception结构。在每个atrous分支中，我们应用一个1×1卷积进行整流线性激活。最后，我们直接将原始功能与其他功能一起添加，例如ResNet中的快捷方式机制。由于所提出的块看起来像是一个密集连接的块，我们将其命名为密集的atrous卷积块。通常情况下，大接收场的卷积可以提取和生成更抽象的大对象的特征，而小接收场的卷积更适合小对象。通过组合不同atrous速率的atrous卷积，DAC块能够提取具有各种大小的对象的特征。

3)残差多核池：分割的一个挑战是医学图像中对象大小的变化很大。例如，中期或晚期的肿瘤可以比早期的肿瘤大得多。在本文中，我们提出了一个剩余的多核池来解决这个问题，它主要依赖于多个有效的视场来检测不同大小的目标。
感受野的大小大致决定了我们能利用多少上下文信息。一般的最大池化操作只使用单个池化核，例如2×2。如图4所示，所提出的RMP用四种不同大小的感受野编码全局上下文信息：2×2，3×3，5× 5和6×6。四级输出包含各种大小的特征图。为了降低权重的维数和计算成本，我们在每一级池化后使用1×1卷积。它将特征图的维数降低到原始维数的1 N，其中N表示原始特征图中的通道数。然后，我们通过双线性插值对低维特征图进行上采样，以获得与原始特征图相同大小的特征。最后，我们将原始特征与上采样的特征图连接起来。

图注：残差多核池（RMP）策略的说明。建议的RMP收集上下文信息与四个不同大小的池化内核。然后将特征送入1×1卷积以降低特征图的维数。最后，将上采样的特征与原始特征级联。
C.特征解码模块
采用特征解码模块来恢复从特征编码模块和上下文提取模块提取的高级语义特征。跳过连接将一些详细信息从编码器带到解码器，以弥补由于连续池化和跨越卷积操作而导致的信息丢失。类似于[48]，我们采用了一个有效的块来提高解码性能。简单的放大和反卷积是U型网络中解码器的两种常见操作。放大操作通过线性插值增加图像大小，而去卷积（也称为转置卷积）采用卷积操作来放大图像。直觉上，转置卷积可以学习自适应映射，以恢复具有更详细信息的特征。因此，我们选择使用转置卷积来恢复解码器中的较高分辨率特征。如图1（c）所示，它主要包括一个1× 1卷积，一个3×3转置卷积和一个1×1卷积。基于跳过连接和解码器块，特征解码器模块输出与原始输入相同大小的掩码。
D.LossFunction我们的框架是一个端到端的深度学习系统。如图1所示，我们需要训练所提出的方法来预测每个像素是前景还是背景，这是一个逐像素分类问题。最常见的损失函数是交叉熵损失函数。然而，医学图像中的目标，如视盘和视网膜血管，往往占据图像中的一个小区域。交叉熵损失对于这样的任务不是最佳的。在本文中，我们使用Dice系数损失函数[57]，[58]来代替常见的交叉熵损失。在下面的章节中还进行了对比实验和讨论。Dice系数是重叠的度量，广泛用于在地面实况可用时评估分割性能，如等式（2）所示：

其中，N是像素数，p（k，i）∈ [0，1]和g（k，i）∈ {0，1}分别表示类别k的预测概率和真实标签。K是类数，并且k ωk = 1是类权重。在我们的论文中，我们经验地设置ωk = 1 K。