.png){kind=icon}
返回
Improving text processing via adversarial low-rank adaptation
.png){kind=icon}
PRE
AI
DOI：10.1007/s10994-025-06817-x.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
参数高效微调（PEFT）已作为一种主导方法，用于将大型语言模型（LLMs）适配到下游自然语言处理任务。该方法通过训练少量适配器参数集，在保持LLMs主要结构的同时，实现了显著的时间和计算资源节省。在各种PEFT方法中，低秩适配（LoRA）是广泛用于微调LLMs的方法之一。然而，适配器的参数规模远小于LLMs。这种差异在模型适应各种下游任务时可能引入显著的不稳定性，从而可能限制LoRA的性能。为解决此问题，我们提出了一种基于对抗训练的低秩适配方法，称为ADV-LoRA。该方法的核心思想是通过引入对抗扰动来增加模型的不稳定性，然后通过对抗训练机制降低这种不稳定性。具体而言，ADV-LoRA在适配器参数层应用对抗扰动，导致LLMs在特定任务上的性能暂时下降。随后，对抗训练过程逐渐缓解性能波动，促使LLMs在特定任务数据上表现出更一致和稳定的性能，从而增强模型微调的鲁棒性。大量实验表明ADV-LoRA的有效性，尤其在文本分类和文本生成等文本处理任务中表现突出。
Keyword:
Parameter-efficient fine-tuning (PEFT)
Low-rank adaptation (LoRA)
Adversarial training
Model robustness
Large language models (LLMs)
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
机构
引用论文
LoFT: LoRA-Based Efficient and Robust Fine-Tuning Framework for Adversarial TrainingLoFT：一种基于LoRA的高效且鲁棒的反例训练微调框架
PREAI
分享收藏
Adversarial Attack and Defense for LoRa Device Identification and Authentication via Deep Learning基于深度学习的LoRa设备识别与认证的对抗攻击与防御
PREAI
分享收藏LoRA-SP: streamlined partial parameter adaptation for resource efficient fine-tuning of large language modelsLoRA-SP：用于高效资源微调大型语言模型的流式部分参数适配
OAAI
OAAI分享收藏A Systematic Review of Transformer-Based Pre-Trained Language Models through Self-Supervised Learning.png)
InformationOAAI
InformationIF0
OAAI分享收藏P-Tuning: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and TasksP调整: 即时调整可以与跨规模和任务的微调相媲美OAAI
OAAI分享收藏
查看更多内容