Efficient sparse low-rank adaptation for large language models

doi:10.1016/j.neunet.2026.109543

Efficient sparse low-rank adaptation for large language models

2026-08-22

0

PRE

AI

DOI：10.1016/j.neunet.2026.109543

原文链接

原文求助

摘要

En 中文

参数高效微调（PEFT）方法通过选择性更新少量关键参数将基础模型适配到特定领域，显著降低了计算成本。在这些方法中，稀疏低秩适配（SoRA）已成为微调大型语言模型的有效方法。本文研究了SoRA算法在大规模模型中的性能，特别分析了宽神经网络中的学习动态和缩放效应。我们发现，对所有参数矩阵采用统一的 learning rate 会限制学习效率。为解决此问题，我们推导出改进的 learning rate 配置，并提出SoRA+，一种引入超参数以按比例调整 learning rates 的增强变体。此改进符合理论最优解，并缓解了原始SoRA方法的次优性。实验表明，SoRA+在加速收敛的同时，可将微调性能提升高达2%。

Keyword:

Parameter-efficient fine-tuning

Sparse low-rank adaptation

Large language models

Efficient sparse low-rank adaptation for large language models

摘要

期刊

机构

引用论文