一种使用视觉提示和对比学习的联邦迁移微调系统
知识产权简介
本发明公开了一种使用视觉提示和对比学习的联邦迁移微调系统,涉及智慧交通领域。本发明解决交通场景大模型训练中,数据受限与大模型训练高数据需求间的矛盾,通过无需直接传递数据的联邦学习方式,引入多方的非公开或私有数据进行大模型训练。同时,通过使用视觉提示学习模块和对比学习损失模块,有效提高了整体的模型训练效果,进一步提高生成式大模型在交通场景图像问答任务上的表现。通过利用线性多模态大模型的跨模态投影机制,利用将视觉模态信息投影到文本模态以供语言模型处理的流程,保留大语言模型的文本生成能力,避免传统基于训练数据答案标签化训练方法因答案受限于数据内容而限制模型回答效果的问题。
转化前景
本发明公开了一种使用视觉提示和对比学习的联邦迁移微调系统,涉及智慧交通领域。本发明解决交通场景大模型训练中,数据受限与大模型训练高数据需求间的矛盾,通过无需直接传递数据的联邦学习方式,引入多方的非公开或私有数据进行大模型训练。同时,通过使用视觉提示学习模块和对比学习损失模块,有效提高了整体的模型训练效果,进一步提高生成式大模型在交通场景图像问答任务上的表现。通过利用线性多模态大模型的跨模态投影机制,利用将视觉模态信息投影到文本模态以供语言模型处理的流程,保留大语言模型的文本生成能力,避免传统基于训练数据答案标签化训练方法因答案受限于数据内容而限制模型回答效果的问题。