一种使用视觉提示和对比学习的联邦迁移微调系统

  • 国民经济行业:信息传输、软件和信息技术服务业/互联网和相关服务/互联网信息服务
  • 学科类别:计算机科学技术/人工智能/人工智能其他学科
  • 权利人:上海交通大学

知识产权简介

本发明公开了一种使用视觉提示和对比学习的联邦迁移微调系统,涉及智慧交通领域。本发明解决交通场景大模型训练中,数据受限与大模型训练高数据需求间的矛盾,通过无需直接传递数据的联邦学习方式,引入多方的非公开或私有数据进行大模型训练。同时,通过使用视觉提示学习模块和对比学习损失模块,有效提高了整体的模型训练效果,进一步提高生成式大模型在交通场景图像问答任务上的表现。通过利用线性多模态大模型的跨模态投影机制,利用将视觉模态信息投影到文本模态以供语言模型处理的流程,保留大语言模型的文本生成能力,避免传统基于训练数据答案标签化训练方法因答案受限于数据内容而限制模型回答效果的问题。

转化前景

本发明公开了一种使用视觉提示和对比学习的联邦迁移微调系统,涉及智慧交通领域。本发明解决交通场景大模型训练中,数据受限与大模型训练高数据需求间的矛盾,通过无需直接传递数据的联邦学习方式,引入多方的非公开或私有数据进行大模型训练。同时,通过使用视觉提示学习模块和对比学习损失模块,有效提高了整体的模型训练效果,进一步提高生成式大模型在交通场景图像问答任务上的表现。通过利用线性多模态大模型的跨模态投影机制,利用将视觉模态信息投影到文本模态以供语言模型处理的流程,保留大语言模型的文本生成能力,避免传统基于训练数据答案标签化训练方法因答案受限于数据内容而限制模型回答效果的问题。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作