一种基于多模型融合的视觉持续学习推理方法及系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/人工智能/人工智能理论
  • 权利人:上海交通大学

知识产权简介

本申请涉及一种基于多模型融合的推理方法及系统,用于解决当前前沿 的多个适配器(Adapter)视觉持续学习模型在推理阶段存在的跨任务偏 移导致的分类错误问题,提升视觉持续学习性能。针对多Adapter 持续 学习模型在推理阶段需要同时调用多个任务Adapter、且不同Adapter 输出的分类得分(logits)分布不一致的问题,提出了一种基于logits 度量 特征的分类错误样本判别机制。通过度量推理结果logits 中TOP1 与 TOP2 之间的差值,对可能发生跨任务偏移的高风险样本进行识别标记。 在此基础上,引入一种基于信息熵的跨模型融合推理机制,对被判别为 高风险的样本,引入具有不同结构特性的第二持续学习模型进行推理纠 正,并依据不同模型输出logits 的信息熵大小自适应分配融合权重,从 而生成最终推理结果。本申请无需引入额外监督信息,即可在推理阶段 自动识别并修正潜在分类错误,显著提升多Adapter 持续学习模型在多 任务场景下的整体推理准确率与鲁棒性。

转化前景

本发明涉及人工智能的持续学习领域,提出了一种基于多模型融合的推理方法 及系统,用于解决当前前沿的多个适配器 (Adapter) 视觉持续学习模型在图像分类 推理阶段存在的跨任务偏移导致的分类错误问题,提升视觉持续学习对图像的分类 性能。 本发明无需引入额外监督信息,即可在推理阶段自动识别并修正潜在分类错误,显 著提升多 Adapter 持续学习模型在多任务场景下图像分类的整体推理准确率与鲁 棒性。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 入股,许可,转让
预估金额
联系合作