.png){kind=icon}
返回
Temporal-spatial reasoning over hypergraph knowledge structures for multimodal retrieval-augmented generation
.png){kind=icon}
OA
AI
DOI：10.1038/s41598-026-63525-9.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
现有基于图的检索增强生成（RAG）系统使用二元关系表示知识，主要依赖语义相似性进行检索。这种设计难以应对需要时间约束、空间关系或实体间高阶交互的多模态查询。我们提出HyperTSRAG，一种多模态RAG检索算法，将知识建模为超图，并在遍历过程中执行显式时空推理。HyperTSRAG采用二分交替最佳优先遍历，在实体节点和超边节点间交替，以捕获高阶连通性，并使用遍历过程中应用的评分函数对候选证据进行排序，该函数整合了语义相似性、时间连贯性、空间重叠和结构重要性。我们在包含1,000份多模态文档（文本、图像、音频和视频）和500个查询的基准语料库上评估了HyperTSRAG，查询范围从简单查找到复杂多跳推理。对于复杂查询，HyperTSRAG实现78.3%的Recall@10，相比GraphRAG提升12.3%，相比LightRAG提升18.3%，同时保持95百分位延迟为1.83秒。在时空子集上，HyperTSRAG在时间查询中达到85.2%的准确率，在空间查询中达到81.6%。消融研究表明，单个评分组件贡献了2–5%的提升。相对于从相同提取超边派生的匹配Projected-Binary-RAG对照，HyperTSRAG将Recall@10提高9.1%，而单独的二元图遍历消融导致13.4%的下降，突显了固有n元结构的价值。这些结果表明，超图固有遍历结合时空感知评分，是所评估多模态RAG场景的有效检索范式，尤其适用于语义检索无法解决的约束驱动查询。
