基于互信息正则化的联邦学习后验推理方法及系统

  • 国民经济行业:信息传输、软件和信息技术服务业/互联网和相关服务/互联网信息服务
  • 学科类别:计算机科学技术/人工智能/计算机神经网络
  • 权利人:上海交通大学

知识产权简介

本发明提出了一种基于模型与数据间互信息正则化的联邦全局后验推断方法、装置及系统。基于模型与数据间互信息正则化的联邦全局后验推断方法应用于客户端,包括:首先,客户端接收来自服务器的服从全局后验分布的模型样本,并据此初始化本地模型及计算先验分布;随后,客户端将本地数据输入至初始化后的模型中,并基于随机梯度朗之万动力学算法进行局部后验推断。在局部后验推断过程中,首先确定基于本地模型的损失函数,该函数由本地数据的训练标签与真实标签之间的交叉熵损失及先验概率的正则项构成;接着,利用该损失函数,通过反向传播对本地模型进行第一更新处理;从正态分布中采样高斯噪声,并利用该噪声对本地模型进行第二更新处理,从而获得服从局部后验分布的样本。最后计算模型改变量。基于模型与数据间互信息正则化的联邦全局后验推断方法应用于服务器端,包括:接收客户端上传的模型改变量;在服务器端通过聚合所有客户端的模型改变量,通过滑动平均算法来更新全局模型。当算法采样的样本收敛至服从最优全局后验分布样本时,确定目标全局模型。本发明通过引入模型与数据间互信息的正则化项,显著提升了全局模型的泛化能力,并在不确定性校准方面实现了更优的性能。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 入股,许可,转让
预估金额
联系合作