基于生成式人工智能的联邦学习后门鲁棒性评估方法

  • 国民经济行业:信息传输、软件和信息技术服务业/互联网和相关服务/互联网信息服务
  • 学科类别:信息科学与系统科学/信息科学与系统科学基础学科/信息科学与系统科学基础学科其他学科
  • 权利人:上海交通大学

知识产权简介

本发明涉及一种基于生成式人工智能的联邦学习后门鲁棒性评估方法,其中生成式人工智能(AI-Generated Content, AIGC)是指使用AI模型生成数字内容,包括图像、音乐和自然语言创作等。本发明涉及的关键步骤包括:1)攻击者的观察,从攻击者的视角观察,发现由数据风格特征分布偏差引起的非独立同分布现象,这能够用于后门定向触发,即只有特定风格特征的数据会触发后门行为。2)武器化AIGC,使用CycleGAN和Stable Diffusion等生成模型生成指定风格特征且逼真的假数据,并将其标记为预定义的目标标签,然后用于后门注入;3)联邦学习中的后门注入,执行一个联邦后门植入过程,攻击者在模型接近收敛时使用预先生成的假数据参与训练,使用放大上传梯度等方法实现更好的攻击效果;4)攻击行为触发与评估,模型只对特定风格特征的输入敏感,评估模型对后门的鲁棒性。与现有技术相比,本发明能够在攻击者未拥有目标风格特征数据的场景下,实现目标风格特征数据构建,评估联邦学习后门鲁棒性。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作