CPFNet: Context Pyramid Fusion Network for Medical Image Segmentation--用于医学图像分割的上下文金字塔融合网络

一 摘要二、研究背景2.方法A CPFNet网络架构B 特征编码器C 全局金字塔引导模块（GPG）D 尺度感知金字塔融合模块（SAPF）E 特征解码器3.实验及结果A.皮肤病灶分割B.视网膜线性病变分割总结

Medical Image Segmentation–用于医学图像分割的上下文金字塔融合网络)

---

一 摘要

基于u形结构的卷积神经网络(CNN)方法在许多不同的医学图像分割任务中都取得了显著的效果。在这种结构中，由于类别不平衡、边界模糊等问题，单阶段上下文信息提取能力不足。

本文提出了一种新的上下文金字塔融合网络(contextpyramidfusionnetwork，简称cpfnet)，通过结合两个金字塔模块来融合全局/多尺度上下文信息。

在u型结构的基础上，我们首先在编码器和解码器之间设计多个全局金字塔引导(GPG)模块，目的是通过重构跳跃连接为解码器提供不同层次的全局上下文信息。

进一步设计了尺度感知金字塔融合(SAPF)模块，实现了多尺度上下文信息的动态高层次融合。

这两个金字塔模块可以逐步挖掘和融合丰富的上下文信息。实验结果表明，提出的方法在四个不同的挑战性任务，包括皮肤损伤的分割，视网膜线性损伤的分割，胸部器官的多分类分割和视网膜水肿损伤的多分类分割上具有很强的竞争力。

二、研究背景

在CNN框架中，较深的阶段能够捕获全局上下文信息，较浅的阶段捕获特征的局部信息。在此基础上，U-net网络通过编码器解码器之间的跳跃连接，显著提高了性能。但是原始的U-Net网络对于上下文信息的提取能力依然不足。

首先，一方面，编码器较深阶段捕获的全局上下文信息逐渐传输到较浅层次，由于单个阶段的特征提取能力较弱，可能会逐渐稀释。另一方面，每个阶段的简单跳过连接忽略全局信息，是任意组合局部信息会引入不相关的杂波，导致像素的误分类。最近，有人提出了一些方法来试图解决这些问题

第二，在每个单独的阶段，都没有有效地提取和利用多尺度上下文信息。当处理具有复杂结构的目标时，这些信息是必要的，这样也可以考虑结构的环境，从而避免模糊决策。

本论文在U型网路中引入了两种新的金字塔模型来解决上述问题。

基于对第一个问题的讨论，我们设计了一个全局金字塔引导(GPG)模块，该模块结合多阶段全局上下文信息，重构跳跃连接，为解码器提供全局信息引导流。具体来说，每个阶段的跳过连接包括来自该阶段的局部上下文信息和来自更高层次阶段的全局上下文信息。同时，通过引入GPG，可以抑制低阶特征带来的无关背景噪声。

在讨论第二个问题和尺度感知机制的基础上，我们进一步提出了一个尺度感知金字塔融合(SAPF)模块，该算法由三个具有共享权值的并行膨胀卷积滤波器和两个采用空间注意机制的级联尺度感知模块(SAMs)组成。在主干的顶部嵌入SAPF模块，通过自学习动态地为不同尺度的目标选择合适的接受域，更好地融合多尺度上下文信息。

提出的CPFNet应用于具有挑战性的医学图像分割任务:皮肤镜图像中的皮肤病变分割和ICGA图像中的视网膜线性病变分割。

主要工作贡献：

提出两种新的金字塔模块，，即GPG模块和SAPF模块，分别有效地融合全局和多尺度上下文信息。

提出的基于u型网络的GPG模块和SAPF模块可以方便地嵌入并应用于医学图像分割任务。

2.方法

A CPFNet网络架构

图1展示了所提出的CPFNet，它是一种基于编码器-解码器架构的FCN，由特征编码器、GPG模块、SAPF模块和特征解码器四个主要部分组成。在编码器的顶部插入SAPF模块来捕获多尺度上下文信息，在编码器和解码器之间放置多个GPG模块来引导全局上下文信息流和解码器路径特征的融合。

B 特征编码器

为了得到更有代表性的特征图，我们使用预先训练的ResNet34作为特征提取器。为了兼容性，去掉了平均池化层和完全连接层。由于残块具有捷径机制，如图1右下所示，ResNet可以加快网络的收敛速度，避免梯度消失

C 全局金字塔引导模块（GPG）

从输入图像中，编码器可以学习全局上下文信息，包括对象的周围环境和对象，的类别特征。然而，当这些信息逐渐传输到较浅的层[时，这些信息可能会逐渐减弱。此外，u形网络中原始的跳跃连接会引入不相关的杂波，并由于接受域的不匹配而产生语义间隙。本文提出一个全局金字塔导向(global pyramid guidance, GPG)模块来解决这些问题，如图2所示.

图2所示。全球金字塔指导(GPG)模块的说明。以Stage3上重构的跳跃连接为例，通过融合来自较高阶段(stag4和stag5)的全局上下文信息，将全局信息流传递给解码器。

在 GPG 模块中，通过将本阶段的特征图与所有更高级别阶段的特征图相结合来重建跳过连接。例如，图 2显示了 Stage 3 上的 GPG 模块。 首先，所有阶段的特征通过常规的 3 × 3 卷积映射到与 Stage3 相同的通道空间。 接下来，将生成的特征图 F4 和 F5 上采样到与 F3 相同的大小并进行级联。然后为了从不同层次的特征图中提取全局上下文信息，三个可分离的卷积(Dsconv@1, Dsconv@2, Dsconv@4)具有不同的 扩张率（1、2 和 4）并行使用，其中可分离卷积用于减少模型参数。 值得注意的是，并行路径的数量和膨胀率随融合阶段的数量而变化。 最后，定期卷积被用来获得最终的特征图。

为了降低计算成本，我们的网络只使用了三个GPG模块。通过在编码器和解码器之间引入多个GPG模块，将全局语义信息流从高层次逐步引导到不同的阶段

D 尺度感知金字塔融合模块（SAPF）

多尺度上下文信息可以提高语义分割任务的性能。然而，如何有效地整合这些信息是一个值得探索的问题。受此问题的启发，我们提出了一个尺度感知金字塔融合(SAPF)模块，如图3所示。

尺度感知金字塔融合(SAPF)模块的说明。由三个具有共享权值的并行膨胀卷积层捕获的多尺度信息由两个尺度感知模块动态融合。

在SAPF模块中，我们使用3个扩张率分别为1、2和4的并行扩张卷积来获取不同的尺度信息。注意，这些不同的扩张的卷积有共享的权重，这可以减少模型参数的数量和过度拟合的风险 。

在此之后，我们设计了一个尺度感知模块来融合不同的尺度特征。 如图 4 所示，引入了空间注意力机制，动态选择合适的尺度特征，并通过自学习进行融合。 两个不同尺度的特征 FA 和 FB 通过一系列卷积得到两个特征图 A,B ∈ RH×W

（H：特征图的高度，W：特征图的宽度）。

然后由 softmax 算子在空间值上生成像素级注意力图 A,B ∈ RH×Ware：

最后，将融合特征图作为加权和得到:

在注意图和两个尺度特征之间进行元素级乘积运算，得到融合的特征图Ff。

我们使用两个级联尺度感知模块来得到三个分支的最终融合特征。然后利用具有可学习参数α的剩余连接来获得整个SAPF模块的输出。

E 特征解码器

为了快速有效地恢复高分辨率的特征图，在解码器路径中使用了多个简单的解码器块。解码器利用SAPF模块生成的高级特征恢复空间信息，通过3 × 3卷积将GPG模块引导下的全局上下文信息逐步融合，如图1所示。在3 × 3卷积后，采用双线性插值对融合后的特征图进行上采样，减少了模型参数和棋盘状伪影[34]。解码块的输出经过1×1卷积后得到。注意，在最后一个解码器块之后，feature map被直接上采样到与原始输入图像相同的大小。

3.实验及结果

A.皮肤病灶分割

皮肤镜图像具有不均匀性、毛发密集的影响以及病变边界模糊。

与FCN相比，U-Net的主要评价指标Jaccard指数增长了2%以上，受益于跳跃连接。类似地，MultiResUNet通过匹配跳跃连接上的编码器和解码器特性的接受域实现了进一步的改进。值得注意的是，所提出的CPFNet比上述所有方法都取得了更好的性能。与Baseline相比，CPFNet的性能得到了整体的提高(Jaccard指数提高了1.74%，Dice系数提高了1.99%，Accuracy提高了0.61%)。GCN的性能与CPFNet的Jaccard索引的性能相当，而CE-Net的性能较差。图7为不同模型的可视化结果。

a) GPG消融研究:

如表一所示，增加提议的GPG模块(基线+ GPG)在所有三个评估指标方面都比基线取得了实质性的改善。同时，没有可分离扩张卷积的GPG模块(GPG_w/o_DS)的性能比完全GPG差，这证明了接受域不同的并行分支更有利于全局信息获取。为了进一步验证GPG模块的有效性，我们通过特征图可视化的方式将简单跳过连接的输出与我们的GPG模块的输出进行了比较。从图5中可以看出，与简单的skip-connection相比，GPG模块的全局上下文信息流使得分割目标的响应更好，大大提高了分割精度。

b) SAPF模块的消融研究:

如表二所示，将SAPF模块嵌入Baseline (Baseline + SAPF)也有助于提高性能。与基准相比，Jaccard指数上升了1.03%，达到82.15%。同时，由于所提出的SAPF模块能够动态融合多尺度上下文信息，其Dice和Accuracy分别从87.90%、95.69%提高到88.88%和96.00%。为了进一步验证这一点，我们首先在Baseline中插入一个没有膨胀卷积的SAPF模块(SAPF_w/o_Dc)， Jaccard索引比完整的SAPF模块减少了0.59%，这意味着需要捕获多尺度上下文信息。其次，我们在Baseline中插入了一个没有Scale-Aware模块的SAPF模块(SAPF_w/o_SA)，与完整的SAPF模块相比，性能降低了0.36%，表明多尺度上下文信息的动态选择更有利于病灶分割。这些结果都证明了我们的SAPF模块结合了尺度感知机制和多尺度上下文信息融合的优点，能够提高网络的分割性能。

c)模型复杂性和训练前模型消融研究:

验证我们提出的性能改进们设计了一个基于Baseline的网络，通过在解码器中添加多个残差块，使其具有与CPFNet相似的复杂度。实验结果表明，我们提出的CPFNet比Baseline-Wide (Jaccard指数为1.13%)有明显的改进。此外，我们的Baseline也比表1中列出的其他方法表现得更好，这得益于预先训练权值的ResNet34比从头开始的方法更容易优化和更快地收敛(如图6所示)，并且模型在捕获有用特征方面更强大。

B.视网膜线性病变分割

ICGA图像中病变的线性分割是预防和诊断高度近视的关键。然而，由于病变结构复杂，且与视网膜血管具有相似的特征，因此具有很大的挑战性

首先，为了验证提议的GPG和SAPF模块的通用性，我们将这两个模块插入到原来的U-Net[7]中。如表II所示，随着这两个模块的相继插入，相应性能稳步提高。当两个模块同时插入时，Dice系数提高了近9%，达到58.47%，Sensitivity提高了11.57%。通过增加信道数量设计U-Net- wide网络，其参数数与U-Net + GPG + SAPF相似。表2中相应的结果表明，分割性能的显著提高不是由于参数的增加，有力地说明了我们所提出的模块可以弥补U-Net中上下文信息捕获能力的不足。

其次，我们将提出的CPFNet与最先进的算法进行比较，包括PSPNet、DFN ，TriamisuNet、cGAN、Attention U-Net、FastFCN、GCN、CE-Net和我们的Baseline。从表二可以看出，FastFCN的欠条率为25.62%，是最差的结果。我们认为可能的原因是一些线性病变太小，FastFCN没有合理的跳跃连接来提高预测图的分辨率。CE-Net与CPFNet在此任务中的性能比较好，而GCN的性能较差。值得注意的是，我们的CPFNet优于其他方法，Jaccard指数、Dice系数、Accuracy、Sensitivity和Specificity分别达到47.75%、63.08%、99.08%和71.77%。与Baseline相比，Jaccard指数、Dice系数和Sensitivity分别显著提高了3.50%、3.71%和3.24%。图8显示了不同方法下线性病灶分割结果的一些例子。这表明我们的CPFNet在这项任务中是有效的，

总结

本文提出了一种新的用于医学图像分割的深度学习框架CPFNet，解决了u型网络在全局/多尺度上下文信息捕获和整合方面的不足。

该网络采用ResNet34作为特征提取器，设计了全球金字塔制导(GPG)和尺度感知金字塔融合(SAPF)两个新的金字塔模块，并将其插入U-Shape框架中，利用和融合丰富的全球/多尺度上下文信息。

上述实验表明所提出的CPFNet比现有的方法更具有实用性和通用性。特别是，我们所提出的GPG和SAPF模块是有效的和通用的，可以很容易地引入到其他的编码器-解码器网络。