arrow
返回

InterChat: Enhancing Generative Visual Analytics using Multimodal Interactions

delete2025-05-23
delete0
PRE
AI
J
Juntong Chen
J
Jiang Wu
J
Jiajing Guo
V
Vikram Mohanty
X
Xueming Li
J
Jorge Piazentin Ono
W
Wenbin He
L
Liu Ren
D
Dongyu Liu
DOI:10.1111/cgf.70112delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
大型语言模型(LLMs)和生成式视觉分析系统的兴起转变了数据驱动的洞察,但准确解读用户分析及交互意图方面仍存在显著挑战。虽然语言输入提供了灵活性,但往往缺乏精确性,导致复杂意图的表达效率低下、易出错且耗时。为解决这些局限性,我们通过文献综述和试点头脑风暴会议,研究了生成式视觉分析中多模态交互的设计空间。基于这些见解,我们引入了一个高度可扩展的工作流程,整合了多个LLM代理用于意图推理和可视化生成。我们开发了InterChat,一个结合视觉元素直接操作与自然语言输入的生成式视觉分析系统。这种集成实现了精确的意图沟通,并支持渐进式、视觉驱动的探索性数据分析。通过采用有效的提示工程和上下文交互链接,结合直观的可视化与交互设计,InterChat弥合了用户交互与LLM驱动的可视化之间的差距,提升了可解释性和易用性。广泛的评估,包括两个使用场景、用户研究和专家反馈,证明了InterChat的有效性。结果显示,在处理复杂视觉分析任务方面,其准确性和效率显著提升,突显了多模态交互在重新定义生成式视觉分析中用户参与度和分析深度方面的潜力。
Keyword:
TYPOLOGY

期刊

Computer Graphics Forum 封面图
Computer Graphics Forum
IF:
2.9
论文数:
570
被引数:
1.1W

机构

R
Robert Bosch GmbH
学者数:
24
论文数: 14
被引数: 0
U
university of california
学者数:
1.9W
论文数: 8.0K
被引数: 10
B
bosch research north america, usa
学者数:
5
论文数: 1
被引数: 0
学者 查看更多机构
引用论文

引用论文

err分享
err收藏
AI4VIS: Survey on Artificial Intelligence Approaches for Data Visualization
err2022-12-01
err0
errOAAI
errAoyu Wu; Yun Wang; Xinhuan Shu; Dominik Moritz; Weiwei Cui; Haidong Zhang; Dongmei Zhang; Huamin Qu
err分享
err收藏
Towards Natural Language Interfaces for Data Visualization: A Survey走向数据可视化的自然语言界面: 一项调查
err2023-06-01
err0
errOAAI
errLeixian Shen; Enya Shen; Yuyu Luo; Xiaocong Yang; Xuming Hu; Xiongshuai Zhang; Zhiwei Tai; Jianmin Wang
err分享
err收藏
学者 查看更多内容