0-FS-MedSAM2: Exploring the Potential of SAM2 for Few-Shot Medical Image Segmentation without Fine-tuning

FS-MedSAM2：探索 SAM2 在无需微调的情况下进行小样本医学图像分割的潜力

arXiv:2409.04298v1 [cs.CV] 6 Sep 2024 V1

arXiv:2409.04298v2 [cs.CV] 25 Nov 2024 V2 link_here

背景

SAM2 在自然图像和视频的零样本提示分割中表现出色，但应用于医学图像时面临挑战，因其训练数据缺乏医学图像，导致在 CT 和 MRI 扫描中难以精确分割器官等结构，常出现过分割问题。现有研究多采用大量标记数据微调 SAM2 部分组件以适应医学成像，但存在需大量数据和训练时间、依赖交互式提示及未充分利用 SAM2 架构增强功能等局限。小样本医学图像分割（FSMIS）旨在解决医学领域标注数据有限问题，但多数方法将连续切片视为独立实体进行分割，忽略了切片间语义信息。

• 提出 FS - MedSAM2 框架，在无需微调的情况下利用 SAM2 的记忆注意力模块和处理掩码提示能力，实现小样本医学图像分割。
• 验证 FS - MedSAM2 在公开医学图像数据集上的有效性，与现有方法对比展示其优越性。

实验方法

给定支持图像及其掩码，通过记忆编码器生成支持记忆存入记忆库。对于查询图像，经图像编码器处理后，利用记忆注意力模块融合记忆库信息，再由掩码解码器进行分割预测。预测后，将查询图像的掩码编码为查询记忆更新记忆库。框架关键在于使用掩码提示，帮助 SAM2 理解图像边界，确保记忆库信息准确。

FS-MedSAM2 的总体框架。该图说明了 N =1 时的框架。

• 数据集：在 Synapse - CT（腹部 CT 数据集）和 CHAOS - MRI（腹部 MRI 数据集）上进行验证，评估指标采用 Sorensen - Dice 系数。
• 实验设置：采用 One - Shot One - Query（1S1Q）和 Strictly One - Shot Few - Query（S1SFQ）设置。1S1Q 每次用一个支持图像推断一个查询图像；S1SFQ 为更资源高效设置，仅用一个支持图像推断整个查询体积，且处理查询图像集时将其分割为两部分以优化推断顺序，利用相邻切片语义信息丰富记忆库

实验结果

FS - MedSAM2 在两个数据集上均取得最佳性能，尤其在脾脏分割任务上提升显著。如在 Synapse - CT 数据集上，Dice 分数提高 14.32%；在 CHAOS - MRI 数据集上，提高 13.82%

在 Synapse - CT 和 CHAOS - MRI 数据集上与最先进的小样本医学图像分割（FSMIS）方法的定量比较（Dice 分数 %)。LK 和 RK 分别表示左肾和右肾。最佳性能以粗体突出显示，次佳性能以下划线表示。

消融实验

• 支持记忆大小：在 1S1Q 设置下，增加支持记忆大小对性能提升不显著，甚至可能下降；不同模型大小的分割性能无一致提升趋势，推荐使用 SAM2 Tiny 模型，计算负载小且处理速度快。
• 少样本查询推断顺序：在 S1SFQ 设置中，从查询体积中间切片开始推断性能更好，从顶部切片开始推断会使模型分割性能显著下降，且较大模型在该设置下性能提升更明显，可能因其对查询记忆依赖较小。

总结

提出 FS - MedSAM2 框架，在无需参数微调的情况下利用掩码提示进行小样本医学图像分割，并借助 SAM2 视频分割能力利用相邻切片语义信息提升性能。该框架在公开数据集上表现出显著优势，未来将探索 SAM2 在医学成像中的更多能力及实际应用场景。