一种基于多模型融合的视觉持续学习推理方法及系统
知识产权简介
本申请涉及一种基于多模型融合的推理方法及系统,用于解决当前前沿 的多个适配器(Adapter)视觉持续学习模型在推理阶段存在的跨任务偏 移导致的分类错误问题,提升视觉持续学习性能。针对多Adapter 持续 学习模型在推理阶段需要同时调用多个任务Adapter、且不同Adapter 输出的分类得分(logits)分布不一致的问题,提出了一种基于logits 度量 特征的分类错误样本判别机制。通过度量推理结果logits 中TOP1 与 TOP2 之间的差值,对可能发生跨任务偏移的高风险样本进行识别标记。 在此基础上,引入一种基于信息熵的跨模型融合推理机制,对被判别为 高风险的样本,引入具有不同结构特性的第二持续学习模型进行推理纠 正,并依据不同模型输出logits 的信息熵大小自适应分配融合权重,从 而生成最终推理结果。本申请无需引入额外监督信息,即可在推理阶段 自动识别并修正潜在分类错误,显著提升多Adapter 持续学习模型在多 任务场景下的整体推理准确率与鲁棒性。
转化前景
本发明涉及人工智能的持续学习领域,提出了一种基于多模型融合的推理方法 及系统,用于解决当前前沿的多个适配器 (Adapter) 视觉持续学习模型在图像分类 推理阶段存在的跨任务偏移导致的分类错误问题,提升视觉持续学习对图像的分类 性能。 本发明无需引入额外监督信息,即可在推理阶段自动识别并修正潜在分类错误,显 著提升多 Adapter 持续学习模型在多任务场景下图像分类的整体推理准确率与鲁 棒性。