0-SAM-U: Multi-box prompts triggered uncertainty estimation for reliable SAM in medical image

SAM-U：多框提示触发医学图像中可靠 SAM 的不确定性估计

TITLE

arXiv:2307.04973v1 [cs.CV] 11 Jul 2023

背景

本文提出了一种 SAM 线索的多框提示触发不确定性估计，以证明分割病灶或组织的可靠性，使用具有先验分布参数的蒙特卡洛估计 SAM 预测的分布，使用不同的提示作为测试时间增强的公式。多框提示增强增强了 SAM 性能并为每个像素提供了不确定性。为 SAM 提供了一个开创性的范例。

不确定性估计是为 SAM 提供可靠性的方法之一。不确定性估计已经在包括皮肤病变和脑肿瘤等多项医学分割任务中证明了它的可靠性和稳健性。目前的不确定性估计方法大致可分为基于确定性的方法、基于贝叶斯神经网络的方法、基于集成的方法、基于随机辍学的方法和基于测试时增强的方法。本文的重点是在实现像素级不确定性估计的同时保持 SAM 的简单性并保留其原始结构。

背景1

不同条件下高质量和低质量眼底图像的眼盘分割结果。可以看到，高分辨率和更加具体的框提示能够有更好的分割结果。

因此，本文的主要重点是通过采用多个框提示来提高分割精度。利用 SAM 使用不同的多框提示来预测输出分布。具有多框提示的 SAM 从预测分布中生成大量样本。随后，这些样本用于计算方差，从而为医学图像分割提供不确定性估计。

实验方法

实验方法1

使用具有先验分布参数的 Monte Carlo 模拟来估计 SAM 预测的分布。这种方法允许通过考虑单个医学图像的多个预测来估计随机不确定性。

MASK选取策略

在不设置提示下，SAM 会生成多个二进制掩码，并且可以在一个输入中弹出多个潜在对象。根据其真实掩码选择最合适的掩码。

SAM的多框提示

由于提示固有的不准确性，提示可能会在模型的推断中引入错误。为了减少 prompt 的方差的影响。随机化 M 框提示 $B = {b_1，b_2，···· ，b_M}$。每个框提示都指导 SAM 生成不同的分割结果。通过这种策略得到了在不同先验线索下SAM的预测$Y = {y_1，y_2，·· ，y_M}$，将它们结合起来可以提高SAM的分割精度，降低不确定性。

使用多框提示的 SAM 不确定性估计

不同的框提示会导致 SAM 的分割发生变化，即使它们在人为引用一个对象也是如此。受此启发，提出的多框提示 （MNP） 算法模拟了多个临床专家的注释，以生成最终预测和不确定性估计。量化多框提示触发的不确定性。假设 M 框提示 $B = {b_1，b_2，···· ，b_M} $都来自GT。使用 M 框提示和输入图像 I，SAM 生成一组预测 $Y = {y_1，y_2，···· ，y_M}$。如图所示，一个用于多框提示的不确定性估计程序。

实验方法2

最后使用多框提示运行 Monte Carlo 模拟以获得一组预测。

实验结果

SAM 的 everything和 box modes 中高质量眼底图像的定量结果。SAM1、SAM2 和 SAM3分别表示usingEverything、Box 和本文的模式。

实验结果1

在两种不同情况下的结果，其中添加了 σ=0.05 和 σ=0.10 的高斯噪声。

实验结果2

多框提示估计的同一样本在不同状态下的不确定性分布。

实验结果3

SAM 的 everything 和 box 模式下不同质量眼底图像的定性结果。

实验结果4

总结

SAM的框提示显著改善了分割，但不同的框提示会导致预测发生变化。本文提出的方法可以帮助估计随机不确定性的变化，并生成一个不确定性分布图，突出具有挑战性的分割区域。不确定性图不仅改进了分割过程和最终结果，而且还使开发更先进的眼底图像分割方法成为可能。此外，不确定性地图在需要手动注释的领域提供了有价值的指导。使用不确定性分布图指导分割和提高准确性的特点值得注意。此外，不确定图可以帮助识别潜在的分割错误并支持进一步分析，为临床医生提供有用的信息。