Large Language Models as Attribution Regularizers for Efficient Model Training

doi:10.1007/978-3-032-08327-2_4

2026-01-01

Davor Vukadin *

Marin Šilić

Goran Delač

DOI：10.1007/978-3-032-08327-2_4

原文链接

原文求助

摘要

En 中文

大型语言模型（LLMs）已在多个领域展现出卓越性能。然而，如何有效利用其海量知识来训练更小的下游模型仍是一个开放性挑战，尤其是在表格数据学习等领域，由于可解释性和效率的需求，通常更倾向于使用简单模型。本文提出了一种新颖且简单的方法，将LLM生成的全局任务特征归因融入小型网络的训练过程。具体而言，我们提出了一个归因匹配正则化项，使小型模型的训练动态与LLM提供的洞察对齐。通过这种方式，我们的方法在少样本学习场景中取得了更优性能。值得注意的是，该方法仅需LLM的黑盒API访问权限，易于集成到现有训练流程中，且计算开销极小。此外，我们展示了该方法如何用于解决真实数据集中的常见问题，如偏斜和偏差。通过整合LLM的高层知识，我们的方法提升了泛化能力，即使在训练数据有限或不平衡的情况下也是如此。我们通过跨多个任务的广泛实验验证了其有效性，展示了学习效率和模型鲁棒性的提升。

Keyword:

Large Language Models

Attribution Regularization

Data-Efficient Learning