基于跨视角一致性正则化的知识迁移方法及系统
知识产权简介
尽管近年来知识蒸馏算法的性能取得了长足的进步,但仍受限于两大基本问题:①过高教师置信度(overconfident teacher),②确认偏误(confirmation bias)。当教师网络产生置信度极高的输出时,即其预测输出所包含的知识将由最高置信度的知识所主导,而大量对知识蒸馏性能至关重要的暗知识(dark knowledge)将被显著抑制,使得学生网络仅能习得特定的主导知识,而无法有效获取大量有益但式微的暗知识。当教师网络输出错误的预测信息时,学生可能会过拟合至该错误软标签,从而习得错误的知识,这一现象即确认偏误。过高教师置信度与确认偏误两种现象广泛存在与现有算法中,并在根本上限制了现有知识蒸馏方法的性能。本发明提出了一种新的基于逻辑值的知识蒸馏方法,通过使用视角变换操作由输入图像生成弱视角图像和强视角图像,创造性地设计出视角内的一致性正则化约束与跨视角的一致性正则化约束,从而有效地缓解知识蒸馏中的确认偏误、教师网络过高置信度、学生网络过拟合等常见问题。