返回
摘要
En 中文
在序数回归中,当输出类别表现出自然排序(例如年龄组或疾病严重程度)时,两个结构性属性非常理想:单峰性——预测的概率分布应围绕真实类别呈单峰分布;稀疏性,即概率质量应集中在少数几个类别上。然而,现有方法要么完全忽略序数性,要么强制单峰性而忽略稀疏性。我们提出了Unisparse,一种可微分的输出层,首先使用相邻违规者池化算法(PAVA)获得精确的欧几里得投影到单峰锥上,然后应用Sparsemax将结果投影到概率单纯形上。第二个投影是保序的,因此组合可以保证产生单峰概率向量,同时引入精确的零值。与参数化方法(例如二项式单峰)不同,该方法不施加预定的分布族。该组合是分段可微分的,并支持端到端训练。在七个基准测试(五个表格和两个视觉)上的实验表明,Unisparse在准确率和MAE方面与六个序数和多类基线(Softmax、Sparsemax、UnimodalNet、CORAL、CORN、ORD-ACL和VS-SL)具有竞争力,同时始终产生更小的支撑集。我们的层与架构无关,易于集成到现代深度网络架构中。
Keyword:
ordinal regression
ordinal classification
sparse models
unimodal distributions
期刊
IF:
2.6
论文数:
1.0W
被引数:
4.7W
机构
引用论文
Deep neural networks for rank-consistent ordinal regression based on conditional probabilities基于条件概率的秩一致序回归深度神经网络
Knowledge Learning-Based Dimensionality Reduction for Solving Large-Scale Sparse Multiobjective Optimization Problems基于知识学习的降维方法用于求解大规模稀疏多目标优化问题

