Using Incremental LLM Context for Cost Reduction in LLM-Driven IoT Applications

doi:10.1007/978-3-032-02138-0_4

Using Incremental LLM Context for Cost Reduction in LLM-Driven IoT Applications

2026-01-01

0

PRE

AI

DOI：10.1007/978-3-032-02138-0_4

原文链接

原文求助

摘要

En 中文

LLM驱动的物联网应用需要处理时敏性信息和动态演变的数据。例如，物联网系统中的传感器发送实时数据，这些数据必须被LLM驱动的应用所考虑。传统架构将此类实时物联网数据存储在数据库中，并在每次请求（或指定时间）通过适当融入新信息来重新提示LLM。这种方法在以下情况下变得低效：(1) 数据以高频率到达，例如流式更新、大量日志。(2) 只有部分更新与用户的当前问题或上下文相关。(3) 应用必须保持可控大小的对话流程，同时允许新数据流入。本文提出了一种架构，通过维护一个轻量级的时间线来记录近期和相关信息，以应对这些挑战。该设计确保LLM在每一步都能看到最关键信息的关联快照，而无需每次都摄入整个事件流。我们架构中的一个重要元素是事件相关性评分模块，它使我们能够维护一个滑动窗口，包含最关键的近期传感器数据。实验表明，与基线相比，所提出方法响应时间快15.41%，生成的token数量减少65.16%，显著降低了基于token的成本。平均而言，它使用5.41%更少的GPU资源，并消耗5.13%更少的CPU资源。

Keyword:

LLM in IoT

Ephemeral LLM context

LLM-driven application

Software Architecture

Using Incremental LLM Context for Cost Reduction in LLM-Driven IoT Applications

摘要

期刊

机构

引用论文