返回
An Accelerated Alternating Partial Bregman Algorithm for ReLU-based Matrix Decomposition
DOI:10.1007/s10915-025-03067-w.png)
摘要
En 中文
尽管低秩估计在数据挖掘中取得了显著成功,但当应用于本质上缺乏低秩结构的稀疏非负数据时,其有效性会降低。为解决此局限性,本文聚焦于非负稀疏矩阵,旨在探究整流线性单元(ReLU)激活函数的内在低秩特性。我们首先提出了一种新颖的非线性矩阵分解框架,包含一个全面的正则化项,旨在同时促进聚类和压缩任务中的有用结构,例如结果因子中的低秩性、稀疏性和非负性。该公式由于多块结构、非凸性、非光滑性以及全局梯度利普希茨连续性的缺失,带来了显著的计算挑战。我们通过开发一种加速交替部分Bregman近端梯度法(AAPB)来解决这些问题,其独特之处在于能够实现多个变量的同时更新。在温和且具有理论依据的假设下,我们确立了所提算法的次线性和全局收敛性。通过精心选择针对各种正则化项的核生成距离,我们推导出相应的闭式解,同时保持L-光滑自适应属性。在图正则化聚类和稀疏NMF基压缩的数值实验中,验证了我们的模型和算法的有效性。
Keyword:
Low-rank
ReLU activation function
Alternating minimization
Bregman method
Acceleration
期刊
IF:
3.3
论文数:
746
被引数:
9.6K
机构
引用论文
Multi-block bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization多块Bregman近端交替线性化最小化及其在正交非负矩阵分解中的应用

