Self-verified user simulator via code-based interpretation in task-oriented dialogues

Xiang Luo

doi:10.1016/j.engappai.2026.114687

Self-verified user simulator via code-based interpretation in task-oriented dialogues

2026-04-09

0

PRE

AI

DOI：10.1016/j.engappai.2026.114687

原文链接

原文求助

摘要

En 中文

用户模拟器对于训练和评估任务导向对话系统（TODs）至关重要。最近，大型语言模型（LLMs）越来越多地被采用，通过提示它们生成自然语言表述和对话动作来构建用户模拟器。然而，由于仅通过自然语言提示控制结构化输出的难度，这些基于LLM的模拟器常常产生不完整、不一致或无效的对话动作，限制了其有效性。为了应对这一问题，本文提出了一种自验证的代码基用户模拟器，引导LLMs生成用于结构化对话动作的中间Python代码。这些代码片段由外部解释器执行和验证，验证后的输出用于优化模拟器的行为。在Multi-Domain Wizard-of-Oz（MultiWOZ）数据集上的实验表明，我们的方法将对话动作准确率提高了4.0%，并显著增强了表述多样性，实现了12.1%更多的三词组合、熵增加0.93，以及100轮对话中文本词汇多样性度量（MTLD）提升13.2%。这些结果突显了代码级验证在提高基于LLM的用户模拟器的可控性、正确性和表现力方面的有效性。

Keyword:

user simulator

task-oriented dialogue

large language models

code-based verification

dialogue action accuracy

Self-verified user simulator via code-based interpretation in task-oriented dialogues

摘要

期刊

机构

引用论文