返回
Efficient scalable deep kernels: unifying deep learning and nonparametric methods for large-scale data analysis
DOI:10.1007/s13198-025-02928-9.png)
摘要
En 中文
本研究提出了一种可扩展的深度核学习方法,通过整合深度学习的结构优势与核方法的灵活性。我们的方法采用具有线性激活函数的深度神经网络(DNN)以及基于相关输入谱组合的可扩展核设计。为进一步提升可扩展性,我们引入了局部核插值、诱导点等技术,以及Kronecker和Toeplitz矩阵等代数结构。这些组件实现了高效的核计算,使其适用于大规模数据集。我们在高斯过程框架内利用边缘似然函数联合优化核和DNN参数,该方式支持高效训练与推理。该方法在包含n个数据点的大规模数据集上实现O(n)复杂度,个体预测为O(1)复杂度,从而克服了传统高斯过程通常具有O(n²)计算成本的局限性。我们的方法在各类回归任务上进行了评估,包括UCI仓库数据集、面部块方向检测以及手写数字幅度提取等。结果表明,所提方法在精度上优于传统高斯过程和深度神经网络,且未显著增加计算成本。
Keyword:
Deep kernel learning model
Scalable deep kernels
Gaussian processes
Nonparametric methods
Large-scale data analysis
Marginal likelihood
Spectral combination
期刊
I
IF:
1.4
论文数:
370
被引数:
3.0K
机构
暂无机构信息
引用论文
Gradient-based learning applied to document recognition基于梯度的学习在文档识别中的应用
PROCEEDINGS OF THE IEEE
IF25.9

