Optimal Regularization for a Data Source

doi:10.1007/s10208-025-09693-y

2025-01-27

PRE

Oscar Leong *

Eliza O’ Reilly

Yong Sheng Soh

Venkat Chandrasekaran

DOI：10.1007/s10208-025-09693-y

原文链接

原文求助

摘要

En 中文

在基于优化的反问题与统计估计方法中，通常会对强制数据保真度的准则添加一个正则项，以在解中促进期望的结构属性。正则项的选取通常由领域先验知识与计算因素共同驱动。凸正则项在计算上具有吸引力，但其在促进结构类型的多样性上存在局限。而另一方面，非凸正则项在结构形式的灵活性上更强，并在某些应用中表现出良好的经验性能，但伴随求解相关优化问题的计算挑战。本文旨在通过探究以下问题，系统性地理解凸正则化的能力与局限：给定一个分布，其生成的数据的最佳正则项是什么？数据源的哪些属性决定了最佳正则项是否为凸？我们针对由连续、正齐次且原点外为正的函数泛函所定义的正则项类，回答了这些问题。我们称一个正则项对于某个数据分布是最佳的，如果其能量由该正则项给出的吉布斯密度能够最大化总体似然（或等价地，最小化交叉熵损失），相较于所有由正则项诱导的吉布斯密度而言。由于我们考虑的正则项与星体存在一一对应关系，我们借助对偶布伦-明可夫斯基理论，证明源自数据分布的径向函数类似于计算充分统计量，因为它既是识别最佳正则项的关键量，也是评估数据源对凸正则化适用性的关键量。通过运用变分分析中的Γ-收敛等工具，我们证明我们的结果具有良好的稳健性，即从某分布中抽取样本的最佳正则项会随着样本量的增大而收敛至其总体对应项。最后，我们为多种星体家族提供了泛化保证，这些结果不仅重现了针对多面体正则项（即字典学习）的先前结论，还针对多种星体类别推导出了新的结论。

Keyword:

Brunn-Minkowski theory

Convex bodies

Gamma-Convergence

Star bodies

Statistical learning

Variational analysis