.png){kind=icon}
返回
Efficient Transformer-Based Abstractive Urdu Text Summarization Through Selective Attention Pruning
.png){kind=icon}
OA
AI
DOI：10.3390/info16110991.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
在当今的数据驱动世界中，自动文本摘要对于从大规模数据中提取见解至关重要。虽然抽取式摘要已得到深入研究，但抽象式摘要仍有限制，尤其是对于像乌尔都语这样的低资源语言。本研究通过基于Transformer的模型——优化的Efficient-BART（EBART）、Efficient-T5（ET5）和Efficient-GPT-2（EGPT-2）——引入流程创新，这些模型针对乌尔都语抽象式摘要进行了优化。创新之处包括战略性地移除低效的注意力头以降低计算复杂度并提高准确性。理论上，这种剪枝通过保留捕捉多样化语言特征的注意力头并消除冗余头，来保持结构完整性。这些优化模型改编自BART、T5和GPT-2，在ROUGE评估中显著优于原始模型，证明了流程创新和优化对乌尔都语自然语言处理的有效性。
Keyword:
automatic text summarization
abstractive
Urdu language
transformer
attention pruning
process optimization
期刊
I
IF:
2.9
论文数:
861
被引数:
9.8K
机构
引用论文
EGPT-SPE: story point effort estimation using improved GPT-2 by removing inefficient attention headsEGPT-SPE：基于移除低效注意力头的改进GPT-2的故事点工作量估算.png)
Applied Intelligence
Applied IntelligenceIF3.5
PREAI
分享收藏Coastal Zone Information Model: A comprehensive architecture for coastal digital twin by integrating data, models, and knowledge海岸带信息模型：通过集成数据、模型和知识构建海岸带数字孪生的综合架构Fundamental Research
OAAI
Fundamental ResearchIF6.3
OAAI分享收藏BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and ComprehensionBART: 用于自然语言生成，翻译和理解的去噪序列到序列预训练OAAI
OAAI分享收藏
查看更多内容