.png){kind=icon}
返回
SCOPE: Speech-Guided COllaborative PErception Framework for Surgical Scene Segmentation
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-07502-4_9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
对手术场景相关元素的精确分割和跟踪对于实现情境感知的术中辅助和决策至关重要。当前解决方案仍依赖于特定领域的监督模型，这些模型依赖标注数据和特定领域数据来适应新的手术场景和超出预定义标签类别的场景。近年来，基于提示的视觉基础模型（VFM）的进展已实现异构医学图像的开放集零样本分割。然而，这些模型对人工视觉或文本提示的依赖限制了其在手术环境中的部署。我们介绍了一种语音引导的协同感知（SCOPE）框架，该框架将大型语言模型（LLM）的推理能力与开放集VFMs的感知能力相结合，以支持术中视频流中对手术器械和解剖结构的即时分割、标注和跟踪。该框架的关键组件是一个协同感知代理，它生成VFM生成的分割结果中的候选对象，并整合外科医生直观的语音反馈，以在自然的人机协作模式下引导手术器械的分割。随后，器械本身充当交互式指针，用于标注手术场景中的其他元素。我们在公开可用的Cataract1k数据集的子集和内部体外颅底数据集上评估了我们提出的框架，以证明其生成手术场景即时分割和跟踪的潜力。此外，我们通过一个实时的模拟体外实验展示了其动态能力。这种人机协作范式展示了为动态手术室环境开发可适应、免提、以外科医生为中心工具的潜力。
Keyword:
LLM
VFM
STT
TTS
Human-AI collaboration
Computer-assisted intervention
期刊
E
IF:
0
论文数:
14
被引数:
0
机构
引用论文
CAI4CAI: The Rise of Contextual Artificial Intelligence in Computer-Assisted InterventionsCAI4CAI: 计算机辅助干预中情境人工智能的兴起.png)
PROCEEDINGS OF THE IEEE
OAAI
PROCEEDINGS OF THE IEEEIF25.9
OAAI分享收藏Grounding DINO: Marrying DINO with Grounded Pre-training for Open-Set Object Detection接地DINO: 将DINO与接地的预训练相结合，以进行开放式对象检测
PREAI
分享收藏 没有更多内容
没有更多内容