Sequential Sample Average Majorization-Minimization

Gersende Fort

doi:10.1007/s11222-025-10780-x

2025-12-01

PRE

Gersende Fort *

Florence Forbes

Hien D. Nguyen

DOI：10.1007/s11222-025-10780-x

原文链接

原文求助

摘要

En 中文

许多统计推断和机器学习方法依赖于优化一个期望泛函的能力，而该泛函的显式形式是不可处理的。进行此类优化的典型方法是使用大小为N的样本均值来近似期望值问题，通常称为样本均值近似（SAA）或M估计。当SAA问题的解无法以封闭形式获得时，最大化-最小化（MM）算法框架构成了一类广泛的增量优化解决方案，依赖于对原始问题构建称为最大化器的替代函数的迭代过程。解决SAA问题的能力取决于所有N个观测值的同时可用性，这在N较大或数据以流形式观测时较为困难。我们提出了一种随机MM算法，通过使用数据序列子集的迭代SAA最大化器构造来求解期望值问题，我们称之为序列样本均值最大化-最小化（SAM2）。与之前的随机MM算法变体相比，我们的方法允许对最大化器进行扩展定义，并且不依赖于凸性假设、平滑性假设或对目标函数和最大化器的函数类的限制。我们为SAM2发展了一种随机收敛理论，这得益于提出了一种新颖的双重数组一致强大数定律。给出了SAM2算法的示例，并包括凸和非凸目标函数在内的常规和稀疏参数设置下，对分位数回归问题进行了SAM2的数值演示。

Keyword:

Majorization-Minimization Algorithms

Sample average approximation

Non-convex optimization

Stochastic optimization

Quantile regression