0-TriSAM: Tri-Plane SAM for zero-shot cortical blood vessel segmentation in VEM images
TriSAM: Tri-Plane SAM for zero-shot cortical blood vessel segmentation in VEM images
用于 VEM 图像中零样本皮质血管分割的 TriSAM
arXiv:2401.13961v4 [cs.CV] 15 Aug 2024
IEEE TRANSACTIONS ON MEDICAL IMAGING
背景
能够揭示复杂血管细节的微尺度体电子显微镜 （vEM）成像图片分割的研究十分重要，本文作者收集了三种动物（鼠、猴、人）的 vEM 图像中的皮质血管，标准化了分辨率，解决了成像变化问题，并通过半自动、手动和质量控制流程对血管进行了细致的注释确保了高质量的 3D 分割。开发了一种名为 TriSAM 的零注射肝硬化血管分割方法，利用分割模型 SAM 进行 3D 分割（制作了BvEM 数据集）。TriSAM 采用了多种子跟踪框架，利用某些图像平面的可靠性进行跟踪，同时使用其他图像平面来识别潜在的转折点。这种方法可以有效地实现长期的 3D 血管分割，而无需模型训练或微调。实验结果表明，TriSAM 在 BvEM 基准上对三个物种取得了优异的性能。
实验方法
三平面选择模块
用于选择最佳的 2D 平面来分割对象(a)。在 3D 的 vEM 图像中，可以沿着x、y、z三个不同的轴，在 2D 平面上对血管进行分割。由于血管形状不规则，在不同平面上追踪的难度不一样。这个模块就是要选出最适合追踪的轴。它会根据 SAM 在以种子点为中心的三个平面上的分割结果来判断，理想的追踪轴是沿着血流方向的，对应的 2D 图像平面与血流方向相切且横截面面积最小。此外，SAM 输出的分割结果有个概率值，代表对分割形状自然度的置信度。综合这两个因素，模块会选择 2D 平面上分割区域面积最小，且概率值大于特定阈值的轴作为最佳追踪轴。
基于 SAM 的跟踪模块
用于预测沿所选轴的 2D 掩码(b)。在所有进行的实验中使用 MobileSAM 而不是标准 SAM ，以提高推理速度。为了清理 SAM 结果，通过二元形态学作填充孔并去除小的连接组件。有了种子点位置、选好的追踪轴和 SAM 的初始 2D 分割掩码后，需要通过在两个方向（比如x+和x− ）追踪 2D 掩码来生成 3D 分割结果。直接用掩码中心或边界框作为下一个图像切片的 SAM 提示效果不好，因为 SAM 输出的分割区域大小可能不一致或会缩小。经验证，用放大后的边界框和分割区域中心一起作为提示，能得到更好的追踪结果。当 SAM 预测掩码的概率低于设定阈值时，这个追踪模块就会停止。
转折点采样模块
根据现有的分割结果（c）提出潜在的转折点作为新种子，以递归地生长血管的所有分支。基于 SAM 的追踪模块遇到血管改变方向或分叉的情况时会失效，这时就需要找到转折点作为新的种子点，沿着其他方向继续追踪。简单地从分割结果中密集采样点并不好，因为很多点可能还是倾向原来的追踪方向，而且 SAM 的错误还可能导致错误的转折点。所以这个模块会在基于 SAM 的追踪模块最后一个提示点位置附近采样转折点。具体做法是先在另外两个方向预测 2D 的 SAM 分割结果，这两个方向很可能捕捉到转向血管的切线横截面。然后用最远点采样（FPS）方法从每个 2D 分割结果中采样K个点，这些点就是转折点，会被添加到种子列表里。
TriSAM 框架算法
给定初始种子点s0 ，TriSAM 框架使用图遍历算法来分割整个连通的血管段。用一个列表数据结构（S）来存储要访问的种子点。每次从列表中取出一个种子点s ，用三平面选择模块和基于 SAM 的追踪模块预测管状分支，再用转折点采样模块找到相邻分支的新种子点。这样递归运行，直到种子点列表为空。
实验结果
量化分析。
可视化分割结果。
总结
在本文中，贡献了 BvEM 数据集，用于 3D VEM 图像中的皮质血管分割。还开发了一种基于强大的 SAM 模型的零喷射血管分割方法 TriSAM，为分割 VEM 图像中的血管提供了一种高效、准确的方法。通过三平面成像、基于 SAM 的跟踪和递归种子采样， TriSAM 有效地利用了 3D 血管结构，并与 BvEM 上现有的零镜头和监督技术相比，在三个物种中获得了卓越的性能，标志着朝着解开神经血管耦合的奥秘及其对大脑健康和病理学的影响迈出了关键一步。随着 BvEM 数据集和 TriSAM 方法的推出，研究人员现在配备了有价值的工具，以推动基于 VEM 的皮质血管分割的突破，并进一步了解大脑错综复杂的血管网络。通过解决神经影像学领域的重大差距，为推进对微观尺度脑血管系统及其与神经功能的复杂关系的理解奠定了基础。