.png){kind=icon}
返回
HiDReader: Human-Inspired Document Reading Agent via Reinforcement Learning
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04614-7_14.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
尽管大型语言模型（LLMs）在自然语言理解方面取得了显著进展，但它们在有效理解需要复杂语义分析的视觉丰富文档（VRDs）方面仍面临挑战。本文介绍了HiDReader，这是首个基于强化学习（RL）的框架，旨在模拟人类阅读视觉丰富文档的过程。通过将LLMs与专业的文档理解模型相结合，HiDReader利用一种自优化的、数据驱动的阅读顺序机制，模仿人类学习模式，而非依赖传统的基于规则或固定的解析策略。通过迭代自监督学习，HiDReader根据上下文线索和任务特定目标动态调整其阅读路径，其方法改进方式类似于人类认知的适应性。在两项基准任务的实验结果表明，HiDReader在文档信息提取和问答方面均优于基线方法。此外，在跨领域迁移学习场景中，它表现出显著的适应性，能够自主地从VRDs中提取特征阅读模式，从而在零样本领域自适应任务中实现比传统方法更优越的性能。
Keyword:
Agent
Reinforcement learning
Visually rich documents
期刊
D
IF:
0
论文数:
23
被引数:
0
机构
引用论文
LayoutLM: Pre-training of Text and Layout for Document Image UnderstandingLayoutLM: 用于文档图像理解的文本和布局的预培训.png)
Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining
OAAI
Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data MiningIF0
OAAI分享收藏Reading Order Matters: Information Extraction from Visually-rich Documents by Token Path Prediction阅读顺序很重要: 通过令牌路径预测从视觉丰富的文档中提取信息
OAAI
OAAI分享收藏LayoutLMv3: Pre-training for Document AI with Unified Text and Image MaskingLayoutLMv3: 使用统一的文本和图像遮罩对文档AI进行预培训OAAI
OAAI分享收藏XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document UnderstandingXYLayoutLM: 走向布局感知的多模式网络，实现视觉丰富的文档理解OAAI
OAAI分享收藏LayoutLMv2: Multi-modal Pre-training for Visually-rich Document UnderstandingLayoutLMv2: 多模态预培训，实现丰富的视觉文档理解OAAI
OAAI分享收藏Prompt-Based Monte-Carlo Tree Search for Goal-oriented Dialogue Policy Planning基于提示的蒙特卡洛树搜索在目标导向对话策略规划中的应用OAAI
OAAI分享收藏
查看更多内容