Reference Aware Delexicalization (RAD) Framework: Theory Driven Artificial Intelligence Modeling for Domain Generalization

doi:10.1287/isre.2023.0457

Reference Aware Delexicalization (RAD) Framework: Theory Driven Artificial Intelligence Modeling for Domain Generalization

2026-03-01

0

PRE

AI

DOI：10.1287/isre.2023.0457

原文链接

原文求助

摘要

En 中文

泛化能力对于机器学习和自然语言处理（NLP）模型在广泛领域内有效执行至关重要。然而，当前最先进的神经模型在跨领域（OOD）测试时往往难以维持性能，凸显了它们无法超越训练数据分布进行泛化的局限性。训练数据中易受表面偏差影响的挑战仍然是NLP任务领域中的开放研究问题。尽管先前研究引入了提升神经网络领域泛化能力的技术，但现有方法在识别和缓解训练数据中细微且多维度的偏差方面存在局限。这些偏差可能包括特征间的非预期关联或特定领域的术语，这些术语可能难以迁移至其他情境。为应对这些限制，我们提出了新颖的基于参考的去词化（RAD）数据增强框架，旨在提升基于推理的NLP任务的泛化能力。RAD框架利用注意力权重检测偏差并提取易受偏差影响的词汇概念。基于参考理论，RAD的去词化方法利用参考固定和借用的原则生成上下文感知的占位符映射，以降低数据过度敏感性。我们在多种转换器架构（如BERT、RoBERTa）上，对多个自然语言推理（NLI）、文本蕴含识别（RTE）和事实验证数据集进行了严格的基准评估。结果表明，RAD在OOD性能上取得了持续改进，表明其在提升关键NLI和RTE任务模型泛化能力方面的有效性。由于提升基础NLI和RTE能力对许多下游NLP应用至关重要，本研究突显了RAD在推理和OOD鲁棒性高度重要的领域中的积极影响潜力。我们还通过RAD在多个案例研究中对大型语言模型进行了额外的定性分析，展示了RAD作为提升系统性推理的补充框架的潜力。

Keyword:

design science

domain generalization

delexicalization

reference theory

natural language processing

natural language inference

generalizability

out-of-domain

large language models

Reference Aware Delexicalization (RAD) Framework: Theory Driven Artificial Intelligence Modeling for Domain Generalization

摘要

期刊

机构

引用论文