Gathering and Exploiting Higher-Order Information when Training Large Structured Models

doi:10.1007/978-3-032-06078-5_25

2026-01-01

PRE

Pierre Wolinski *

DOI：10.1007/978-3-032-06078-5_25

原文链接

原文求助

摘要

En 中文

在训练大型模型（如神经网络）时，二阶及更高阶的全导数通常因计算成本过高而难以获取。因此，在二阶优化方法中，常见做法是通过使用一阶信息（如参数梯度（例如拟牛顿法）或激活值（例如K-FAC））来避免计算Hessian矩阵。本文聚焦于对与优化相关的精心选择的子空间上的Hessian及更高阶导数的投影进行精确显式计算。具体而言，对于参数集的给定划分，我们计算可在该划分下被视为高阶导数的张量，只要划分的子集数量保持较小，其计算成本即可接受。随后，我们给出这些张量应用的示例。首先，展示如何为参数的每个子集计算学习率，可用于超参数调整。其次，展示如何利用二阶张量构建一种使用Hessian信息的优化方法。第三，展示如何利用三阶张量（损失函数三阶导数的信息）来正则化该优化方法。所得训练步骤具有若干有趣性质：它考虑了训练神经网络各层间的长程交互作用，而类似方法（如K-FAC）通常不具备此特性；优化轨迹在仿射逐层重参数化下保持不变。我们的代码可在GitHub获取：https://github.com/p-wol/GroupedNewton。

Keyword:

Optimization

Newton's method

Deep Learning