.png){kind=icon}
返回
One-Bit Quantization and Sparsification for Multiclass Linear Classification With Strong Regularization
.png){kind=icon}
PRE
AI
DOI：10.1109/TSP.2025.3598246.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们研究了在线性回归用于多类分类的超参数化场景中，部分训练数据被错误标记时的应用。在这种情况下，需要添加一个显式的正则化项$\lambda f(\cdot)$（其中$f(\cdot)$为某个凸函数），以避免对错误标记的数据过拟合。在我们的分析中，假设数据是从具有等类大小的高斯混合模型中采样的，并且每个类别的训练标签中有一定比例被损坏。在这些假设下，我们证明了当$f(\cdot)=\|\cdot\|^{2}_{2}$且$\lambda\to\infty$时，可以达到最佳分类性能。然后我们进一步分析在$f(\cdot)=\|\cdot\|_{1}$和$f(\cdot)=\|\cdot\|_{\infty}$的情况下大$\lambda$场景下的分类误差，并注意到通常可以找到稀疏解和单比特解，其性能几乎与$f(\cdot)=\|\cdot\|_{2}^{2}$对应的解相当。
Keyword:
Quantization
sparsification
classification error
multiclass classification
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
THE PHASE TRANSITION FOR THE EXISTENCE OF THE MAXIMUM LIKELIHOOD ESTIMATE IN HIGH-DIMENSIONAL LOGISTIC REGRESSION.png)
ANNALS OF STATISTICS
OAAI
ANNALS OF STATISTICSIF3.7
OAAI分享收藏A modern maximum-likelihood theory for high-dimensional logistic regression高维logistic回归的现代最大似然理论
OAAI
OAAI分享收藏
查看更多内容