Chart specification: Structural representations for incentivizing VLM reasoning in chart-to-code generation

He, Minggui

doi:10.1016/j.neucom.2026.134706

Chart specification: Structural representations for incentivizing VLM reasoning in chart-to-code generation

2026-08-01

0

PRE

AI

DOI：10.1016/j.neucom.2026.134706

原文链接

原文求助

摘要

En 中文

视觉语言模型（VLMs）在从图表图像生成绘图代码方面显示出前景，但实现结构保真度仍具挑战性。现有方法主要依赖监督微调，鼓励表面级别的标记模仿而非对图表结构的忠实建模，这常导致幻觉或语义不一致的输出。我们提出了图表规范（Chart Specification），一种规范化的结构表示，将训练从模仿训练代码模式转向基于结构的结构学习。通过将绘图代码规范化为结构等效规范，它能够（i）构建结构平衡的训练集，以及（ii）一个Spec-Align奖励，为强化学习提供结构正确性的细粒度、可验证反馈。在明确的推理到代码生成范式中，该奖励鼓励产生结构感知的推理，生成约束一致的绘图代码。在三个公开基准测试中的实验表明，我们的方法持续优于先前的方法。仅使用3K训练样本，我们实现了强大的数据效率，在复杂基准测试中领先基准线最多61.7%，扩展到4K样本建立了所有评估指标的新最佳结果。总体而言，我们的结果表明精确的结构监督为高保真图表到代码生成提供了有效途径。代码和数据集可从以下地址获取：https://github.com/Mighten/chart-specification-paper。

Keyword:

Chart to code generation

Vision language models

MLLM post-training

Reinforcement learning

Chart specification: Structural representations for incentivizing VLM reasoning in chart-to-code generation

摘要

期刊

机构

引用论文