.png){kind=icon}
返回
Understanding Data Influence With Differential Approximation
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2026.3670471.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
数据在人工智能的突破性进展中发挥着关键作用。数据的定量分析对模型训练有重要贡献，能够提高数据利用的效率和质 量。然而，现有的数据分析工具在准确性方面往往存在不足。例如，许多工具甚至假设神经网络的损失函数是凸的。这些局限性使得当前方法的有效实施具有挑战性。在本文中，我们提出了一种新的公式来近似样本的影响，通过累加连续学习步骤之间的影响差异，我们称之为Diff-In。具体来说，我们将样本级影响表述为其在连续训练迭代中变化/差异的累积和。通过采用二阶近似，我们以高精度近似这些差异项，同时消除了现有方法所需的对模型凸性的要求。尽管Diff-In是一种二阶方法，但它保持了与一阶方法相当的计算复杂度，并且仍然具有可扩展性。这种效率是通过计算Hessian和梯度的乘积实现的，该乘积可以使用一阶梯度的有限差分进行有效近似。我们从理论和实证上评估了Diff-In的近似精度。我们的理论分析表明，与现有的影响估计器相比，Diff-In实现了显著更低的近似误差。广泛的实验进一步证实了它在三个数据为中心的任务（数据清洗、数据删除和核心集选择）中的多个基准数据集上表现出优越性能。值得注意的是，我们在大规模视觉语言预训练的数据修剪实验表明，Diff-In可以扩展到数百万个数据点，并优于强大的基线方法。
Keyword:
Data-centric AI
influence function
data attribution
查看更多机构