0-One-Prompt to Segment All Medical Images

One-Prompt to Segment All Medical Images

背景

分割大模型SAM在医学图像分割领域取得了很好的进展，但是仍然依赖人工手动提示，故本文中，作者介绍了一种通用医学图像分割的新范式，称为 One-Prompt。这种方法结合了一次性和交互式模型的优势，以满足实际的临床要求。具体来说，给定一个看不见的任务，用户只需要向训练好的模型提供一个提示样本，然后它就可以在这个新任务中表现良好，无需任何重新训练或微调，即使是与那些任务明显不同的任务也是如此。

医学分割涉及各种不同的器官、组织和解剖结构。One-Prompt Segmentation 是一种新颖的范式，用于构建可以推广到看不见的任务的基础模型。给定一个看不见的任务，One-Prompt Model 只需要用户提示一张图像即可掌握任务，与交互式和少镜头分割相比，性价比明显。

实验方法

提示方法

作者提供了多种提示方法：单击（适用于黑色素瘤等明显病变）、选框（对边界模糊的病变有效，但可以通过框例如视杯很好地进行细化）、分割标签（适合具有详细功能的场景，例如复杂的容器）、手绘涂鸦（对于结构多样且不寻常的器官如胰腺和下颌骨非常方便）。

模型结构

One-Prompt 模型包括一个图像编码器和一个作为解码器的 One-Prompt Former 序列，如图 所示。该模型采用三个输入：查询图像、模板图像和模板图像的提示，然后预测查询的分割。编码器和解码器的多刻度功能是跳过连接的。

编码器 图像编码器可以基于 CNN 或基于 ViT 。在图中展示了一个基于 CNN 的编码器，以进行简单的说明。查询示例和模板示例都将通过同一个编码器来获取所需功能。

One-Prompt Former 通过一系列提出的 One Prompt Former 将提示嵌入、多尺度模板特征和多尺度查询特征整合在一起，对下采样的查询特征进行解码。所有特征图都经过封装、展平并投影到嵌入以进行进一步处理。One-Prompt Former 主要由注意力块组成，其结构涉及两个并行分支，用于处理查询和模板特征。

Prompt-Parser 在模板分支中，提出了一个简单的 Prompt-Parser，以有效的方式混合 prompt、query 和 template 功能。在图中展示了 Prompt-Parser 的图示。

实验结果

One-Prompt Model 与 Few/One-shot 模型在 14 个保留的测试数据集上具有 4 个不同的提示。

One-Prompt Model 与 Interactive Segmentation Models 在 7 个保留数据集上使用 One-Click 和 BBox 提示。

可视化分割结果。

总结

在本文中介绍了 “One-Prompt Medical Image Segmentation”，这是一种构建基础模型来处理各种医疗分割任务的新范式。该模型仅使用一个提示样本与许多相关方法竞争。该模型为临床医生提供了用户友好的提示选项和显著的结果，在临床环境中的实际应用中具有重要的前景。