A geometry problem solver based on heterogeneous graph

doi:10.1007/s10489-026-07471-z

A geometry problem solver based on heterogeneous graph

2026-09-22

0

PRE

AI

DOI：10.1007/s10489-026-07471-z

原文链接

原文求助

摘要

En 中文

几何问题求解（GPS）是一个具有挑战性的多模态任务，需要同时理解文本描述和几何图形以推导数学解法。然而，现有方法在建模图形结构信息、对齐文本符号与视觉基元以及处理图形中几何基元的稀疏分布方面存在困难。为解决这些局限性，我们提出了一种新颖的几何问题求解器，将几何图形建模为异构图以显式捕获几何基元间的结构关系。首先，我们引入一种图构建方法，将每个图形表示为异构图。在此基础上，我们提出了几何关系异构图（Geo-RHG）数据集，该数据集包含几何图形、对应的文本描述及其异构图表示。为弥合文本与图形间的模态差异，我们采用跨模态预训练策略，显式对齐文本符号与其对应的视觉基元。同时，我们开发了一种层次融合机制，在模态融合阶段将结构线索融入视觉特征。这种整合增强了模型对几何内容的推理能力，并支持在多模态情境下更准确的问题求解。大量实验表明，我们的方法在GPS基准测试中表现优异，在准确性和泛化能力上均优于现有基线。数据集和代码将在论文发表后发布于 https://github.com/hzl7/GeoRHGraph。

Keyword:

Automatic problem solving

Heterogeneous graph

Multimodal

Feature representation

A geometry problem solver based on heterogeneous graph

摘要

期刊

机构

引用论文