arrow
返回

Subgraph-Oriented Testing for Deep Learning Libraries

delete2026-03-01
delete0
PRE
AI
X
Xiaoyuan Xie *
Y
Yan Song
S
Songqiang Chen *
J
Jinfu Chen
DOI:10.1109/TSE.2026.3655712delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
深度学习(DL)库,如PyTorch,被广泛用于在各种硬件平台上构建和部署DL模型。同时,它们被发现含有导致计算结果不正确并引发训练不收敛、DL模型预测不准确等问题。因此,许多工作致力于测试DL库以揭示错误。然而,现有的DL库测试方法存在局限性:模型级测试方法导致故障定位复杂。同时,API级测试方法常生成无效输入或主要关注导致崩溃的极端输入;它们还忽略了测试实际的API交互。这些局限性可能导致遗漏错误检测,即使在常用API中也是如此。为解决这些局限性,我们提出SORT(子图导向的真实测试)来对DL库进行差异测试,以测试不同硬件平台。SORT将流行的API交互模式,表示为模型计算图的频繁子图,作为测试对象。通过这种方式,它引入了真实的API交互序列,同时保持对观察到的错误进行故障API定位的效率。此外,SORT通过参考真实基准数据执行中每个API的运行时输入的广泛特征来准备测试输入。生成的输入预计能更好地模拟这些有效真实输入,并揭示更可能在真实使用中发生的错误。对49个流行PyTorch模型的728个频繁子图的评估表明,SORT实现了100%的有效输入生成率,比现有方法检测到更多精度错误,并揭示了单API测试遗漏的交互相关错误。在PyTorch中识别并报告了18个精度错误给PyTorch开发者。
Keyword:
Testing
Libraries
Computer bugs
Computational modeling
Hardware
Training
Runtime
Shape
Codes
Tensors
Deep learning library testing
frequent subgraph
precision bug
input validity
API interaction

期刊

IEEE Transactions on Software Engineering 封面图
IEEE Transactions on Software Engineering
IF:
5.6
论文数:
2.9K
被引数:
1.1W

机构

H
hong kong university of science & technology
学者数:
586
论文数: 323
被引数: 0
W
wuhan university
学者数:
8.1W
论文数: 5.8W
被引数: 70
引用论文

引用论文

Image Segmentation Using Deep Learning: A Survey基于深度学习的图像分割研究综述
err2021-01-01
err0
errOAAI
errShervin Minaee; Yuri Y. Boykov; Fatih Porikli; Antonio J Plaza; Nasser Kehtarnavaz; Demetri Terzopoulos
err分享
err收藏
Free lunch for testing
err2022-07-05
err0
PREAI
errAnjiang Wei; Yinlin Deng; Chenyuan Yang; Lingming Zhang
err分享
err收藏
Large sequence models for sequential decision-making: a survey用于顺序决策的大序列模型: 一项调查
err2023-08-05
err24
errOAAI
errWen, Muning; Lin, Runji; Wang, Hanjing; Yang, Yaodong; Wen, Ying; Mai, Luo; Wang, Jun; Zhang, Haifeng; Zhang, Weinan
err分享
err收藏
An Empirical Study on Bugs Inside PyTorch: A Replication Study关于PyTorch内部错误的实证研究:一项复现研究
err2023-10-01
err0
PREAI
errYin Ho,Sharon Chee; Majdinasab,Vahid; Islam,Mohayeminul; Costa,Diego Elias; Shihab,Emad; Khomh,Foutse; Nadi,Sarah; Raza,Muhammad
err分享
err收藏
Deep learning for recommender systems: A Netflix case study
err2021-09-01
err0
errOAAI
errHarald Steck; Linas Baltrunas; Ehtsham Elahi; Dawen Liang; Yves Raimond; Justin Basilico
err分享
err收藏
Deep Learning-based Text Classification: A Comprehensive Review基于深度学习的文本分类综述
err2021-04-17
err587
PREAI
errMinaee, Shervin; Kalchbrenner, Nal; Cambria, Erik; Nikzad, Narjes; Chenaghlu, Meysam; Gao, Jianfeng
err分享
err收藏
学者 查看更多内容