CEDRL: Simulating Diverse Crowds with Example-Driven Deep Reinforcement Learning

A. Panayiotou

doi:10.1111/cgf.70015

2025-04-10

PRE

A. Panayiotou

Andreas Aristidou

Panayiotis Charalambous

DOI：10.1111/cgf.70015

原文链接

原文求助

摘要

En 中文

虚拟人群的真实感水平深受多样化人群行为的影响。在现实生活中，我们可以观察到各种场景，包括行人在购物街移动、人们在静态群体中交谈，或是在公共公园中徘徊。现有的大多数系统针对特定行为（如目标寻求和碰撞避免）进行优化，却忽视了其他复杂行为，而这些行为通常难以捕捉或定义。我们摒弃了需要大量标注数据且往往缺乏可控性的监督学习常规用法，转而引入基于示例驱动的深度强化学习（CEDRL）的人群建模框架，该框架同时利用多个人群数据集，以模拟广泛的人类行为。该方法使智能体能够自适应地学习和展现多样化行为，提升其在新状态下的决策泛化能力。该模型可用于填充新的虚拟环境，同时提供对智能体行为的实时控制。我们通过设计符合现实观察的奖励函数，并采用逐步缩减智能体观测空间的课程学习来实现这一目标。一个复杂度表征指标定义了每个智能体的高层次人群行为，并将其与智能体的状态关联，作为策略网络的输入。此外，受人群任务类型影响的参数化奖励函数，有助于学习多样化且抽象的行为技能集。我们在训练数据和未见过的真实数据上评估了该模型，并与其他模拟器进行比较，展示了其跨场景泛化能力以及准确反映行为复杂性的能力。我们还通过调整复杂度权重检验了系统的可控性，发现较高值会导致更复杂的行为，如徘徊、静态互动以及加入或离开等群体动态。最后，我们在新的合成场景中展示了该模型的能力。

Keyword:

Sequential decision making

Real-time simulation

Animation