返回
Nonparametric logistic regression with deep learning
DOI:10.3150/25-bej1887.png)
摘要
En 中文
考虑非参数逻辑回归问题。在逻辑回归中,我们通常考虑最大似然估计,超额风险是真值与估计条件类别概率之间的Kullback-Leibler(KL)散度的期望。然而,在非参数逻辑回归中,KL散度可能容易发散,因此超额风险的收敛性难以证明或可能不成立。一些现有研究在强假设下证明了KL散度的收敛性。在大多数情况下,我们的目标是估计真实的条件类别概率。因此,与其分析超额风险本身,只需证明最大似然估计器在某些合适度量下的收敛性即可。在本文中,我们采用一种简单的统一方法分析非参数最大似然估计器(NPMLE),在较弱的假设下直接推导出NPMLE在Hellinger距离下的收敛率。尽管我们的结果与一些现有研究的结果相似,但我们为这些结果提供了简单且更直接的证明。作为一项重要应用,我们推导了使用全连接深度神经网络的NPMLE的收敛率,并证明所推导的收敛率几乎达到了最小最大最优率。
Keyword:
Classification
conditional probability estimation
deep neural networks
nonparametric estimation
期刊
B
IF:
1.7
论文数:
106
被引数:
0
机构
引用论文
On the rate of convergence of image classifiers based on convolutional neural networks基于卷积神经网络图像分类器的收敛速率研究
On the minimax optimality and superiority of deep neural network learning over sparse parameter spaces
NEURAL NETWORKS
IF6.3
ON THE RATE OF CONVERGENCE OF FULLY CONNECTED DEEP NEURAL NETWORK REGRESSION ESTIMATES
ANNALS OF STATISTICS
IF3.7
Fast convergence rates of deep neural networks for classification用于分类的深度神经网络的快速收敛速度
NEURAL NETWORKS
IF6.3

