基于蒸馏子图的图神经网络剪枝方法、设备和存储介质

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/集成电路设计
  • 学科类别:电子、通信与自动控制技术/半导体技术/集成电路技术
  • 权利人:上海交通大学

知识产权简介

本发明涉及神经网络模型剪枝技术领域,尤其涉及基于蒸馏子图的图神经网络剪枝方法,包括以下步骤:S1:根据输入图中节点的邻接向量的相似性计算输入图中边的相似性生成稀疏化的蒸馏子图;S2:基于蒸馏子图对特征通道掩码和模型权重掩码进行剪枝,获得保留的节点特征向量和模型权重参数;S3:根据节点特征向量和模型权重参数进行重训练,得到最终模型权重值。本发明核心思想是先从原始的大尺寸输入图中,蒸馏提取一个保留了关键图结构信息的小尺寸稀疏子图,通过小尺寸的稀疏子图替代原始的大尺寸输入图进行剪枝,大幅减少剪枝过程中的计算与访存量,本发明通过提出节点特征和模型参数的协同剪枝技术,能够大幅降低节点特征和模型权重的参数量。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作