基于元算子的深度学习框架缺陷检测方法

摘要：

在用于构建深度学习模型的深度学习框架中,算子的正确计算对于深度学习模型的正确预测至关重要.然而,已有的深度学习框架缺陷检测方法只能通过比较和推测的方式找到不同深度学习框架之间计算结果相差较大的算子,而且无法检测深度学习模型在训练过程中产生的计算错误,具有很大的局限性.针对此问题,本文设计并实现了基于元算子的深度学习框架缺陷检测方法,通过将不同深度学习框架中算子的共性计算逻辑抽象为"元算子",支持在不改变模型代码的前提下绑定元算子的具体实现,从而可以细粒度地对比同一模型使用不同深度学习框架的运算结果,进而发现缺陷.本文的方法同时支持训练过程和推断过程的缺陷检测,还可以对计算错误的定位进行验证.本文验证了元算子计算的准确性,并评估其运算性能;收集了深度学习框架中已知有错误计算的算子,并将本文方法应用在包含这些算子的深度学习模型上,验证了本文缺陷检测方法的有效性.

关键词：深度学习框架;元算子;缺陷检测;深度学习;软件测试

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：北京高等学校卓越青年科学家项目BJJWZYJH01201910001004

在线出版日期：2022-03-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：240-255