一种快速计算精确沙普利值的神经网络架构和方法

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发, 信息传输、软件和信息技术服务业/软件和信息技术服务业/其他信息技术服务业, 信息传输、软件和信息技术服务业/互联网和相关服务/其他互联网服务, 科学研究和技术服务业/研究和试验发展/工程和技术研究和试验发展, 科学研究和技术服务业/研究和试验发展/自然科学研究和试验发展, 科学研究和技术服务业/科技推广和应用服务业/其他科技推广和应用服务业
  • 学科类别:计算机科学技术/人工智能/计算机神经网络、计算机科学技术/人工智能/模式识别、计算机科学技术/人工智能/计算机感知、计算机科学技术/人工智能/人工智能理论
  • 权利人:上海交通大学

知识产权简介

本申请涉及计算机视觉、机器学习解释性技术领域,公开了一种计算输入单元的Shapley value的方法和系统,实现了仅一次前向传播即可同时进行模型推理并精确计算所有输入单元的沙普利值的方法和模型架构。其中,沙普利值是一种度量输入单元(例如图像中的像素,句子中的单词)对模型输出的重要性的无偏归因指标。该技术包括一种新型的神经网络架构设计,称为HarsanyiNet,以及一种计算神经网络输入单元的沙普利值的方法。HarsanyiNet网络架构主要包括两大设计:(1)包括一个或多个由线性层,“与操作”层和具有明确不触发状态的非线性激活层组成的Harsanyi 模块,其中模块中每个神经元拥有一个特定的交互感受野,该神经元的触发仅与交互感受野中的输入单元相关,其他输入单元不会对神经元的触发产生影响,并且当交互感受野中的任一输入单元被遮挡时,该神经元不会被触发。(2)神经网络的输出表示为所有Harsanyi模块输出的加权和。HarsanyiNet网络架构具有一定的普适性,HarsanyiNet的基本架构可以兼容传统全连接线性操作层以及卷积线性操作层,从而使HarsanyiNet适配不同的应用场景。

转化前景

可信人工智能。可广泛应用于对神经网络可解释性、可靠性、安全性、可信任度要求较高的应用之中。