一种快速计算精确沙普利值的神经网络架构和方法
知识产权简介
本申请涉及计算机视觉、机器学习解释性技术领域,公开了一种计算输入单元的Shapley value的方法和系统,实现了仅一次前向传播即可同时进行模型推理并精确计算所有输入单元的沙普利值的方法和模型架构。其中,沙普利值是一种度量输入单元(例如图像中的像素,句子中的单词)对模型输出的重要性的无偏归因指标。该技术包括一种新型的神经网络架构设计,称为HarsanyiNet,以及一种计算神经网络输入单元的沙普利值的方法。HarsanyiNet网络架构主要包括两大设计:(1)包括一个或多个由线性层,“与操作”层和具有明确不触发状态的非线性激活层组成的Harsanyi 模块,其中模块中每个神经元拥有一个特定的交互感受野,该神经元的触发仅与交互感受野中的输入单元相关,其他输入单元不会对神经元的触发产生影响,并且当交互感受野中的任一输入单元被遮挡时,该神经元不会被触发。(2)神经网络的输出表示为所有Harsanyi模块输出的加权和。HarsanyiNet网络架构具有一定的普适性,HarsanyiNet的基本架构可以兼容传统全连接线性操作层以及卷积线性操作层,从而使HarsanyiNet适配不同的应用场景。
转化前景
可信人工智能。可广泛应用于对神经网络可解释性、可靠性、安全性、可信任度要求较高的应用之中。