Contractivity of neural ODEs: An eigenvalue optimization problem

doi:10.1090/mcom/4059

Contractivity of neural ODEs: An eigenvalue optimization problem

2025-02-10

0

PRE

AI

DOI：10.1090/mcom/4059

原文链接

原文求助

摘要

En 中文

我们提出了一种新的方法论，用于解决在神经网络常微分方程（ODE）的收缩性分析中产生的一个关键特征值优化问题。当研究一层权重绑定的神经网络ODE的收缩性性质时，即 $$ \dot{u}(t) = \sigma (Au(t) + b) $$ （其中 $u, b \in \mathbb{R}^n$，$A$ 是给定的 $n \times n$ 矩阵，$\sigma : \mathbb{R} \to \mathbb{R}$ 表示激活函数，对于向量 $z \in \mathbb{R}^n$，$\sigma(z) \in \mathbb{R}^n$ 需要逐元素解释），我们被引导去研究一类形如 $DA$ 的乘积集合的对数范数，其中 $D$ 是一个对角矩阵，满足 $\text{diag}(D) \in \sigma'(\mathbb{R}^n)$。具体来说，给定一个实数 $c$（通常 $c=0$），该问题在于寻找最大的正区间 $\mathrm{I} \subseteq [0, \infty)$，使得对于所有对角矩阵 $D$ 满足 $D_{ii} \in \mathrm{I}$，都有 $\mu(DA) \le c$。我们提出了一种两层嵌套的方法论：内层，对于给定的 $\mathrm{I}$，我们通过梯度系统方法计算一个优化器 $D^\star(\mathrm{I})$；外层，我们调整 $\mathrm{I}$ 使得值 $c$ 由 $\mu(D^\star(\mathrm{I})A)$ 达到。我们将提出的两层方法扩展到一般的含多层、可能时变的情形 $$ \dot{u}(t) = \sigma \left( A_k(t) \ldots \sigma \left( A_{1}(t) u(t) + b_{1}(t) \right) \ldots + b_{k}(t) \right) $$ 并提出了若干数值示例来说明其行为，包括在一层神经网络ODE应用于MNIST手写数字数据集分类时的稳定性能。

Contractivity of neural ODEs: An eigenvalue optimization problem

摘要

期刊

机构

引用论文