【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割

文章目录

【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割一、相应介绍二、相关工作2.1 基于CNN的遥感图像语义分割2.2 Self-Attention机制2.3 Vision Transformer 三、方法3.1 网络结构3.2 Swin Transformer BlocK3.3 空间交互模块3.4 特征压缩模块3.5 关系聚合模块 四、实验结果4.1 数据集4.2 具体参数4.3 消融实验

Swin Transformer Embedding UNet for Remote Sensing Image Semantic Segmentation

全局上下文信息是遥感图像语义分割的关键

具有强大全局建模能力的Swin transformer

提出了一种新的RS图像语义分割框架ST-UNet型网络(UNet)

解决方案：将Swin transformer嵌入到经典的基于cnn的UNet中

ST-UNet由Swin变压器和CNN并联构成了一种新型的双编码器结构

相应结构：

建立像素级相关性来编码Swin变压器块中的空间信息构造了特征压缩模块(FCM)作为双编码器之间的桥梁，设计了一个关系聚合模块(RAM)

数据集的使用：

VaihingenPotsdam

一、相应介绍

具体作用：

编码器用于提取特征解码器在融合高级语义和低级空间信息的同时，尽可能精细地恢复图像分辨率

u型网络(UNet)[14]利用解码器通过跳过连接来学习相应编码阶段的空间相关性

利用变压器的编码器-解码器结构来模拟序列中元素之间的相互作用。

本文针对CNN在全局建模方面的不足，提出了一种新的RS图像语义分割网络框架ST-UNet

相应结构层次：

以UNet中的编码器为主编码器，Swin变压器为辅助编码器，形成一个并行的双编码器结构设计良好的关系聚合模块(RAM)构建了从辅助编码器到主编码器的单向信息流RAM是ST-UNet的关键组件将SIM卡附加到Swin变压器上，以探索全局特征的空间相关性使用FCM提高小尺度目标的分割精度

相应贡献：

构建了空间交互模块(SIM)，重点关注空间维度上的像素级特征相关性，SIM还弥补了Swin变压器窗口机制所限制的全局建模能力提出了特征压缩模块(FCM)，以缓解patch token下采样过程中小尺度特征的遗漏设计了一个随机存储器，从辅助编码器中提取与chanel相关的信息作为全局线索来指导主编码器

二、相关工作

2.1 基于CNN的遥感图像语义分割

存在数据集：

IEEE地球科学与遥感学会(IGARSS)数据融合大赛SpaceNet比赛DeepGlobe比赛

在检测方面的发展过程

（1）在最开始的发展中，多分支并行卷积结构生成多尺度特征图，并设计自适应空间池化模块聚合更多局部上下文

（2）引入了多层感知器(MLP)，以产生更好的分割结果，最早是在自然语言中使用的。

（3）关注了小尺度特征的特征提取

（4）结合了基于patch的像素分类和像素到像素分割，引入了不确定映射，以实现对小尺度物体的高性能

（5） 通过密集融合策略实现小尺度特征的聚合

（6）明确引入边缘检测模块[43]来监督边界特征学习

（7）提出了两个简单的边缘损失增强模块来增强物体边界的保存

2.2 Self-Attention机制

最早的注意力在计算机视觉领域

（1）Zhao et al[45]和Li et al[46]分别给出了视频字幕的区域级注意和帧级注意

（2）SENet[48]通过全局平均池化层表示通道之间的关系，自动了解不同通道的重要性

（3）CBAM[49]将通道级注意和空间级注意应用于自适应特征细化

（4）Ding等[19]提出了patch attention module来突出feature map的重点区域

（5）在GCN[51]框架的每个阶段引入通道注意块，对特征图进行分层优化

（6）[52] 关注小批量图像中的相似对象，并通过自注意机制对它们之间的交互信息进行编码

2.3 Vision Transformer

首次提出用于机器翻译任务[53]，超越了以往基于复杂递归或cnn的序列转导模型

标准transformer由多头自注意(MSA)、多层感知器(MLP)和层归一化(LN)组成

通过分割和扁平化将图像数据转化为一系列tokens

密集的预测任务，ViT仍然有巨大的训练成本，只能输出一个不能匹配预测目标(与输入图像分辨率相同)的低分辨率特征

在现在过程中的发展：

SETR[58]将转换器视为编码器，结合简单的解码器对每一层的全局上下文进行建模，形成语义分割网络PVT[59]模仿CNN主干的特点，在ViT中引入金字塔结构，获得多比例尺特征图基于移位窗口策略的Swin变压器，将MSA的计算限制在不重叠的窗口以Swin转换器为骨干，Cao等[31]和Lin等[32]开发了医学图像语义分割的u型编码器-解码器框架TransUNet[20]和TransFuse[60]指出，纯transformer细分网络的效果并不理想，因为transformer只关注全局建模，缺乏定位能力创建了CNN和transformer的混合结构。TransUNet将CNN和transformer依次堆叠

在本文中采用Swin变压器块组成的辅助编码器为基于cnn的主编码器提供全局上下文信息，提出的ST-UNet首次将Swin变压器应用到RS图像分割任务中，弥补了纯cnn的不足，提高了分割精度

三、方法

ST-UNet中的三个重要模块：

RAMSIMFCM

3.1 网络结构

ST-UNet的整体架构

相应组成部分：

ST-UNet是Swin transformer和UNet的混合体，它继承了UNet的优良结构，采用跳跃式连接层连接编码器和解码器ST-UNet构造了由基于cnn的残差网络和Swin变压器组成的双编码器通过RAM传输信息，充分获取RS图像的判别特征设计了SIM和FCM，进一步提高了Swin transformer的性能。

辅助 encoder部分

输入部分：

RS图像X∈RH×W×3数据划分为不重叠的patch，以模拟序列数据的“token”通过卷积从每张图像中获取重叠的patch tokenpatch尺寸为8 × 8，重叠率为50%。然后将线性嵌入层压平patch投影到C1维patch token被放入Swin变压器块堆叠的辅助编码器

辅助编码器有四个特征提取阶段，每个阶段的输出定义为Sn, n = 1,2,3,4。标准的Swin变压器块包括两种类型，即基于窗口的变压器(W-Trans)和移位的W-Trans (SW-Trans)。

提出在SIM卡上建立像素级的信息交换，加在Swin transformer块上

SIM可以有效地弥补基于窗口的自我注意的局限性，缓解遮挡引起的语义模糊问题

通过缩短patch令牌长度构建FCM

为了在与主编码器的特征分辨率匹配的同时获得多尺度特征，FCM的提出可以减少小尺度物体特征的遗漏

阶段n的输出分辨率为(H/(2n+1) × (W/(2n+1)，维度为（2n−1）*C1

主要encode部分

输入部分：

原始RS图像X先在通道上压缩一半后馈送到ResNet50第n个残差块的输出特征图可表示为An∈R(H/(2n+1))×(W/(2n+1))×2n−1C2将An和辅助编码器对应级的输出Sn送入RAM，融合结果返回主编码器。RAM模块作为主辅编码器之间的桥梁，通过可变形卷积和通道注意机制建立连接。

解码部分

具体操作：

特征F∈R(H/32)×(W/32)×1024，经过卷积层后送入解码器。然后，我们将其输入到2 × 2反卷积层以扩大分辨率UNet之后，ST-UNet利用跳过连接层来连接编码器和解码器特性3×3卷积层的减少通道数量每个卷积层都伴随着一个批处理归一层和一个ReLU层最后，对特征F进行3 × 3卷积层和线性插值上采样，得到最终的预测掩码。

3.2 Swin Transformer BlocK

为了高效建模，Swin变压器提出了具有两种分区配置的W-MSA来替代普通MSA

MSA变化：

常规窗口配置(W-MSA)移位窗口配置(SW-MSA)

每个窗口只覆盖D × D补丁，将D设为8，将两个Swin变压器块重命名为W-Trans块和SW-Trans块

相应的结构图

3.3 空间交互模块

Swin transformer块在有限的窗口内建立patch token关系，有效地减少内存开销

具体操作：

采用了规则窗口和移位窗口的交替执行策略提出了跨W-Trans和SW-Trans区块的SIM，以进一步增强信息交换SIM在两个空间维度上引入注意力，考虑像素之间的关系，而不仅仅是patch token在输入阶段将输入数据转化为一维

SIM结构框图

SIM操作：

通过一个大的接受场，将特征向量以2的扩张速率在一个3 × 3的扩张卷积层上进行卷积将通道数缩减为c1/2。然后，采用全局平均池化操作

在竖直方向和水平方向上的总张量分别记为 h×1×(c1/2)和1×w×(c1/2)，因此我们将两者相乘得到与位置相关的注意力图M, 张量h×w×(c1/2)，最后，将M与SW-Trans块的输出sl+1相加。

M的维数需要通过卷积层增加，以匹配特征sl+1的维数（所以进行了1X1卷积来改变通道数）

3.4 特征压缩模块

在transformer的前期工作中，通过将图像补丁[27]、[59]平化投影或合并2个×2相邻补丁的特征，并对[30]进行线性处理，形成了一个层次网络。

在Swin变压器的patch token下采样中设计了FCM

FCM避免了大量细节和结构信息的丢失，物体密集、小尺度的RS图像的语义分割，提高了小尺度对象的分割效果。

FCM结构框图

一种分支是扩大卷积的块：

扩大卷积的接受场，广泛地收集小尺度物体的特征和结构信息采用前1 × 1卷积层增维中间3 × 3扩张卷积层获取广泛的结构信息后1 × 1卷积层降低特征尺度输出结构(h/2)×(w/2)×2c1

另一个分支：

引入了软池[61]操作，以获得更精细的下采样软池可以以指数加权的方式激活池化内核中的像素将软池后的特征输入到卷积层(增维)输出结构(h/2)×(w/2)×2c1

两个分支按等比例合并为FCM的输出L

3.5 关系聚合模块

基于cnn的主编码器在空间维度上提取了受卷积核限制的局部信息，缺乏对channel维度[48]之间关系的显式建模

提出了RAM，为了从整个特征图中强调重要且更具代表性的channel，从辅助编码器的全局特征中提取channel依赖关系，然后将其嵌入到从主编码器获得的局部特征中。

RAM结构特征图

RAM引入了可变形卷积[63]以适应不同形状的目标区域

具体操作：

An和Sn分别表示第n阶段主编码器和辅助编码器的输出An输入到可变形卷积中，An = δ(An)。这里δ是一个3 × 3的可变形卷积Sn被发送到卷积层以改变维数，由于特征图的每个通道都可以看作是一个特征检测器我们应用average-和max-pool层来计算通道上特征映射的统计特征，发送到共享的全连接层，PA&M结构数为 1×1×(c1/2)σ代表ReLu函数，$1被设置为一个大小减半的全连接层PA&M与PS相乘来优化每个通道

δ代表sigmoid函数，$2是一个大小增加的完全连接层，并表示元素级乘法。

我们将Channel依赖P作为权值与变形卷积运算的结果An相乘，得到了细化的特征。最后，将细化后的特征与残差结构相连接，形成RAM的输出特征Tn

四、实验结果

4.1 数据集

Vaihingen Dataset

包含33张由先进机载传感器采集的真正射影像(TOP)图像，每个TOP图像都有红外(IR)、红色®和绿色(G)通道。

相应参数：

图像被标记为sic类别11张图像用于训练(图像id: 1、3、5、7、13、17、21、23、26、32和37)5张图像用于测试(图像id: 11、15、28、30和34)，裁剪为256 × 256

Potsdam Dataset

有38个相同大小的patch (6000 × 6000)，都是从高分辨率TOP提取

相应参数：

数据集进行了六个类别的标注，用于语义分割研究每张图像都有三种通道组合，即IR-R-G、R-G-B和R-G-B- ir使用14张带有R-G-B的图像进行测试(图像id: 2_13, 2_14, 3_13, 3_14, 4_13, 4_14, 4_15, 5_13, 5_14, 5_15, 6_14, 6_15, 7_13)其余24张带有R-G-B的图像进行训练我们将这些原始图像切割为256 × 256

4.2 具体参数

实验具体参数：

动量项为0.9，权重衰减为1e−4SGD优化器初始学习率设置为0.01批处理大小设置为8最大epoch为100

采用联合损失 dice loss [71] LDice与骰子损失cross-entropy loss LCE

评价指标：

平均交叉over联合(MIoU)平均F1 (Ave.F1)

4.3 消融实验

为了评估所提出的网络结构和三个重要模块的性能，我们将UNet作为基线网络

采用Vaihingen数据集

步骤：

在我们的ST-UNet中，主编码器采用半压缩的ResNet50辅助编码器采用“Tiny”配置的Swin变压器

主要分为两种：

AddLS，即在编码的最后阶段才合并辅助编码器和主编码器的特征

AddES，辅助编码器和主编码器在每个编码阶段的特征，通过元素相加。