返回
InterChat: Enhancing Generative Visual Analytics using Multimodal Interactions
DOI:10.1111/cgf.70112.png)
摘要
En 中文
大型语言模型(LLMs)和生成式视觉分析系统的兴起转变了数据驱动的洞察,但准确解读用户分析及交互意图方面仍存在显著挑战。虽然语言输入提供了灵活性,但往往缺乏精确性,导致复杂意图的表达效率低下、易出错且耗时。为解决这些局限性,我们通过文献综述和试点头脑风暴会议,研究了生成式视觉分析中多模态交互的设计空间。基于这些见解,我们引入了一个高度可扩展的工作流程,整合了多个LLM代理用于意图推理和可视化生成。我们开发了InterChat,一个结合视觉元素直接操作与自然语言输入的生成式视觉分析系统。这种集成实现了精确的意图沟通,并支持渐进式、视觉驱动的探索性数据分析。通过采用有效的提示工程和上下文交互链接,结合直观的可视化与交互设计,InterChat弥合了用户交互与LLM驱动的可视化之间的差距,提升了可解释性和易用性。广泛的评估,包括两个使用场景、用户研究和专家反馈,证明了InterChat的有效性。结果显示,在处理复杂视觉分析任务方面,其准确性和效率显著提升,突显了多模态交互在重新定义生成式视觉分析中用户参与度和分析深度方面的潜力。
Keyword:
TYPOLOGY
期刊
IF:
2.9
论文数:
570
被引数:
1.1W
机构
引用论文
prompt4vis: prompting large language models with example mining for tabular data visualizationprompt4vis: 使用示例挖掘为表格数据可视化提示大型语言模型
VLDB JOURNAL
IF3.8
LIDA: A Tool for Automatic Generation of Grammar-Agnostic Visualizations and Infographics using Large Language ModelsLIDA:一种利用大型语言模型自动生成语法无关的可视化和信息图的工具

