0-MAFE-Net: retinal vessel segmentation based on a multiple attention-guided fusion mechanism and ensemble learning network

MAFE - Net：用于眼底血管图像分割的多注意力引导融合网络

Biomedical Optics Vol. 15, No. 2/1 Feb 2024/Biomedical Optics Express

背景

视网膜血管的精确自动识别对眼病预防、诊断和评估至关重要，但因血管形状复杂、病理变形和对比度不均等因素，分割极具挑战。现有视网膜血管分割方法分为手动设计特征提取层、深度学习方法和两者结合三类，各有优缺点，如手动方法特征提取有限，部分深度学习方法存在信息丢失、计算复杂或对弱血管检测困难等问题，且尚无统一模型。注意力机制可提升分割性能，自注意力机制能提取全局信息减少图像信息损失，但构建耗时，将其与卷积神经网络结合可用于视网膜血管检测；集成学习可整合多个模型优势提高分割准确性，在医学领域应用广泛。

本文提出基于多注意力引导融合机制和集成学习网络（MAFE - Net）的视网膜血管分割方法，提高分割性能，准确分割弱、细、不均匀的血管。

实验方法

网络架构

提出多注意力引导融合网络（MAF - Net），引入注意力融合模块（AFM）提取全局信息，空间注意力模块（SAM）去除冗余信息，设计集成学习网络 MAFE - Net 整合 UNet、SA - UNet、CS2 - Net 和 MAF - Net 四个模型。

MAF-Net 结构。

MAFE Net 结构。具体来说，UNet、SA-UNet、CS2-Net 和 MAF-Net 被集成到一个新的 MAFE-Net 中。

注意力融合模块（AFM）

采用双重注意力机制，通过空间注意力机制（用水平和垂直卷积替代传统卷积获取更多血管边缘信息，经计算生成空间注意力图）和通道注意力机制（通过输入特征与其转置矩阵相乘生成通道注意力特征图）并行工作，增强上下文信息，补偿下采样中丢失的场景信息，提升模型对全局特征的学习能力。

注意力融合模块 （AFM）。其中，将空间注意力机制和通道注意力机制相结合，增强场景信息补偿的上下文信息。

空间注意力机制的结构。

通道注意力机制的结构。

空间注意力模块（SAM）

应用于 MAF - Net 的跳跃连接部分，通过平均池化和最大池化生成特征，经卷积和 Sigmoid 操作生成空间注意力特征图，与输入特征做点积得到输出特征，消除冗余信息，提高分割准确性。

空间注意力模块 （SAM） 的结构（此SAM非彼SAM）。

DropOut 模块

在卷积层中引入 DropOut 和 BN（批量归一化），防止模型过拟合，加速神经网络收敛，使网络学习更稳健和通用的特征。

DropOut 模块。该图显示了将 DropOut 和 BN （批量归一化）模块合并到卷积层中的过程。

集成学习

将上述四个不同的轻量级深度学习模型集成，通过卷积层整合预测概率得到最终分割结果，再用 Sigmoid 激活函数获取视网膜血管分割结果。

深度学习网络框架图的整体。（a） UNet 结构;（b） SA-UNet 结构;（c） CS2-Net 结构;（d） MAF-Net 结构。

实验结果

实现细节

采用数据增强策略（随机旋转、添加高斯噪声和颜色抖动）增加训练图像数量，所有算法使用相同的训练轮数（epoch = 100）、批量大小（batchsize = 8）和学习率（0.001），在特定 GPU 上实现。

评估指标

采用准确率（Acc）、F1 分数、敏感度（SE）和特异度（SP）等指标评估模型性能，通过对比预测结果与真实标签中像素的分类情况计算各指标值。

可视化

在三个数据集上验证模型对弱对象分割的有效性，与 UNet 等八个先进模型对比，结果表明 MAFE - Net 在弱血管分割方面表现出色，能实现最大 SE 值。

定量评估

在 STARE、DRIVE 和 CHASEDB1 数据集上，使用常用量化指标（F1、ACC、SE 和 SP）评估，结果显示 MAFE - Net 模型的 F1 和 ACC 值最高，MAF - Net 模型的 SE 值最高，证明模型对视网膜血管分割效果良好。

消融实验

各模块影响：对比 DropOut 层与 SAM、BN 层（DB）和 AFM，移除任何模块都会降低 F1 和 Acc 值，表明各模块有助于提高眼底血管图像分割准确性。

DropOut 层参数影响：在不同数据集上测试 DropOut 层参数（0.5、0.7、0.9），当参数为 0.9 时，F1 和 Acc 达到最大值。

模型参数比较：MAF - Net 和 MAFE - Net 模型参数分别为 0.51M 和 5.88M，相对其他方法是轻量级模型。

数据集组合验证：将三个数据集组合成新数据集（50 张训练，38 张测试），MAFE - Net 方法的 F1 和 ACC 参数指标高于许多对比方法。

总结

本文提出的 MAFE - Net 框架通过引入 DropOut 和 BN 模块、双重注意力机制、空间注意力模块和集成学习框架，有效提高了视网膜血管分割性能，在与多个先进模型对比中表现优异。该方法在处理薄、弱、不均匀血管方面有优势，但仍存在小血管分割破碎不完整的问题，未来将尝试构建新框架以减少血管断裂问题。