An AI Answer-Validation Method Using Agentic RAG for Datasheet Inquiry for IoT Application System Deployment

doi:10.3390/fi18080442

2026-08-30

Dezheng Kong

Nobuo Funabiki *

Htoo Htoo Sandi Kyaw

I Nyoman Darma Kotama

Zihao Zhu

DOI：10.3390/fi18080442

原文链接

原文求助

摘要

En 中文

物联网（IoT）应用系统正越来越多地被采用于工厂、商店、办公室和政府机构中。然而，使用各种设备和模块构建此类系统对非专家而言仍然困难，因为他们必须在连接设备前从技术数据手册中确认规格、通信接口、电压范围和操作条件。在先前的研究中，我们探索了一种基于生成式AI的问答工具，用于数据手册查询，采用检索增强生成（RAG）技术为物联网应用系统的部署提供技术指导。然而，所采用的top-k RAG流水线常常检索到多个相关文本片段，这可能导致AI混淆技术不同的规格，如输出电压、信号输出电压和输入电压范围，并产生不准确的回答。此外，如果数据手册未提供足够的信息来源，AI可能会生成幻觉回答。在本文中，我们提出了一种基于代理RAG的数据手册查询AI答案验证方法，用于物联网应用系统的部署。该方法将数据手册信息组织成结构化规格数据，包括设备型号、字段类型、值、单位、条件和来源信息。对于问答，代理根据问题类型协调结构化事实查询、top-k文本检索、来源检查和基于规则的兼容性比较。在最终接受答案之前，该方法采用结构化规格和确定性来源检查，而非完全依赖大型语言模型（LLM）解释检索到的片段。为进行评估，我们构建了一个包含20份物联网数据手册的数据集，涵盖1000个具有三个难度级别的问答任务。与传统的top-k RAG相比，所提出的方法将简单问题的正确回答率从0.686提高到0.958，中等问题的正确回答率从0.549提高到0.969，困难问题的正确回答率从0.273提高到0.613，证实了所提出方法的有效性。

Keyword:

agentic RAG

IoT application system

Internet of Things

datasheet question-answering

device compatibility