针对深度学习编译器数值误差的自动化调试系统及方法
知识产权简介
本发明将编译前后计算图上的每个节点量化为一个哈希值,支持了计算图上等价算子的匹配以及算子计算结果的比较。它包括模型解析模块、语义哈希模块、追踪模块、检验模块、运行时控制模块。本调试方法与装置能够对缺陷模型进行解析,得到模型对应的符号化的计算图。语义匹配模块进一步处理抽取到的符号计算图。该模块对编译前后的两个符号计算图进行语义哈希。通过比较节点哈希值的近似程度,哈希模块精准地匹配编译前后模型上等价节点。追踪模块则对编译前后的模型数据流进行比较,追踪误差的产生和传播,进而定位到引发错误的子图和编译器优化变换。检验模块进一步运行差分检验算法,确认定位到的错误根源的正确性。运行时控制模块提供了控制编译运行的接口,确保调试装置对于深度学习编译器的调用和对跟踪粒度控制。最终调试装置输出通过验证后的错误根源。该方法帮助使用者——人工智能公司,自动定位深度学习编译器引入的数值误差根源,即误差产生的原因和产生位置,节省研究者和工程人员的大量时间和人力。
转化前景
该发明帮助使用者——加速神经网络的人工智能公司,自动定位深度学习编译器引入的数值误差根源,节省研究者和工程人员的大量的调试时间和人力。