arrow
返回

Nonparametric logistic regression with deep learning

delete2026-05-01
delete1
PRE
AI
Y
Yara, Atsutomo *
Y
Yoshikazu Terada
DOI:10.3150/25-bej1887delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
考虑非参数逻辑回归问题。在逻辑回归中,我们通常考虑最大似然估计,超额风险是真值与估计条件类别概率之间的Kullback-Leibler(KL)散度的期望。然而,在非参数逻辑回归中,KL散度可能容易发散,因此超额风险的收敛性难以证明或可能不成立。一些现有研究在强假设下证明了KL散度的收敛性。在大多数情况下,我们的目标是估计真实的条件类别概率。因此,与其分析超额风险本身,只需证明最大似然估计器在某些合适度量下的收敛性即可。在本文中,我们采用一种简单的统一方法分析非参数最大似然估计器(NPMLE),在较弱的假设下直接推导出NPMLE在Hellinger距离下的收敛率。尽管我们的结果与一些现有研究的结果相似,但我们为这些结果提供了简单且更直接的证明。作为一项重要应用,我们推导了使用全连接深度神经网络的NPMLE的收敛率,并证明所推导的收敛率几乎达到了最小最大最优率。
Keyword:
Classification
conditional probability estimation
deep neural networks
nonparametric estimation

期刊

B
Bernoulli
IF:
1.7
论文数:
106
被引数:
0

机构

U
University of Osaka
学者数:
4.9K
论文数: 1.5K
被引数: 1
引用论文

引用论文

Nonparametric estimators
err2008-10-25
err0
PREAI
errAlexandre B. Tsybakov
err分享
err收藏
Introduction
err2008-01-01
err0
PREAI
errSteinwart,Ingo; Christmann,Andreas
err分享
err收藏
MINIMAX RATES FOR CONDITIONAL DENSITY ESTIMATION VIA EMPIRICAL ENTROPY
err2023-04-01
err1
errOAAI
errBilodeau, Blair; Foster, Dylan J.; Roy, Daniel M.
err分享
err收藏
学者 查看更多内容