.png){kind=icon}
返回
Deep contrastive representation learning for supervised tasks
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2024.111309.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
表示学习，凭借其能够提取和封装原始数据中固有的结构和嵌入信息的能力，在促进模型建立方面发挥着关键作用。本文采用深度对比学习范式来推导原始数据的表示，从而为涵盖回归和分类问题的监督学习探索奠定基础。该方法论被阐述为一个两阶段过程。在初始阶段，通过对比学习获取数据表示，采用深度ReLU神经网络。随后，在第二阶段，利用所获得的表示来处理下游任务中的回归和分类，采用范数约束的ReLU神经网络。理论上，我们提出了一个信息属性，并通过平衡随机误差和近似误差，严格建立了与两阶段方法所得估计量相关的超额风险的误差界。这一建立为深度对比学习的有效性提供了保证，特别是在预训练阶段的样本量超过分配给下游任务的样本量的场景中。数值实验证实了所提出的两阶段方法的有效性，并展示了其与理论发现显著的一致性。
Keyword:
Contrastive learning
Deep neural networks
Error bound
Supervised learning
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
暂无机构信息
引用论文
Approximation bounds for norm constrained neural networks with applications to regression and GANs范数约束神经网络的近似界及其在回归和GANs中的应用
OAAI
OAAI分享收藏Optimal approximation of piecewise smooth functions using deep ReLU neural networks.png)
NEURAL NETWORKSOAAI
NEURAL NETWORKSIF6.3
OAAI分享收藏Feature representation for statistical-learning-based object detection: A reviewPATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
没有更多内容
没有更多内容