Cluster-based prototypical contrastive learning for unsupervised sentence embedding

doi:10.1016/j.engappai.2026.114615

Cluster-based prototypical contrastive learning for unsupervised sentence embedding

2026-03-25

0

PRE

AI

DOI：10.1016/j.engappai.2026.114615

原文链接

原文求助

摘要

En 中文

学习高质量句子表示是自然语言处理中的一个基础任务，它支持各种应用，如测量文本相似度、生成文本和识别命名实体。预训练语言模型的最新进展在文本表示学习方面取得了显著性能。然而，从这些模型中得到的句子表示往往存在非均匀的空间分布，这限制了它们的表达能力。对比学习方法已被提出用于优化此类表示，但它们仍然面临局部过平滑和噪声样本选择相关的挑战。在本工作中，我们提出了一种新颖的基于聚类的原型对比学习框架，用于无监督句子表示学习。我们的方法采用聚类算法获得均匀分布的原型表示，并引入一种在线动态样本选择机制，以在每个批次内保持原型一致性。此外，设计了一种重加权对比学习策略，用于聚焦于最有信息量的负样本，在不依赖额外数据增强的情况下，缓解噪声或偏差样本的影响。在语义文本相似度和迁移任务上的广泛实验证明了所提出方法的有效性。结果表明，我们的方法能够持续提升句子表示的质量，并在多种预训练语言模型上达到最先进性能。

Keyword:

sentence representation

contrastive learning

clustering

unsupervised learning

prototype

semantic textual similarity

Cluster-based prototypical contrastive learning for unsupervised sentence embedding

摘要

期刊

机构

引用论文