Convex Hull Approximation for Activation Functions

Zhongkui Ma

doi:10.1145/3763086

2025-10-01

PRE

Zhongkui Ma

Zihan Wang

白广栋 (Guangdong Bai) *

DOI：10.1145/3763086

原文链接

原文求助

摘要

En 中文

深度学习在安全关键领域的广泛应用推动了形式化验证神经网络鲁棒性的需求。在这一努力中，应对激活函数固有的非线性是一个关键挑战。激活函数的凸包已作为一种有前景的解决方案出现，因为它能够有效收紧变量范围并提供多神经元约束，从而共同提升验证精度。考虑到构建精确凸包的计算成本高昂，甚至在大多数情况下不可行，现有研究已聚焦于对其进行过度逼近。针对ReLU和Sigmoid等特定函数，已设计出若干特设方法。然而，在开发适用于通用激活函数的广泛适用方法方面仍存在巨大差距。在本工作中，我们提出了WRAACT，一种高效构建紧致过度逼近激活函数凸包的方法。其核心思想是借助双线性分段（DLP）函数简化局部几何结构，通过引入线性约束来平滑目标函数的波动。这样一来，问题便简化为对DLP函数进行过度逼近，后者可被高效处理。我们通过将WRAACT与基于函数分段分解的当前最优（SOTA）多神经元过度逼近方法SBLM+PDDM进行对比评估。WRAACT在常用函数（如Sigmoid、Tanh和MaxPool）上表现更优，在效率（平均快400倍）和精度（平均高150倍）方面均更胜一筹，同时构建的约束更少（平均减少50%）。它可在10秒内完成高达8个输入维度的计算。我们将WRAACT集成到神经网络验证器中，以评估其在验证任务中的能力。在100个基准样本上，它将单神经元验证能力从不足10提升至超过40，并在多神经元验证器PRIMA的基础上额外验证了多达20个样本。对于包含22k个神经元的ResNet等大型网络，它可在1分钟内完成单个样本的验证。

Keyword:

Robustness

Neural Networks

Convexity

Polytope