基于医疗基础模型进行下游适配的数据处理方法和装置

  • 国民经济行业:科学研究和技术服务业/研究和试验发展/工程和技术研究和试验发展
  • 学科类别:计算机科学技术/人工智能/模式识别
  • 权利人:上海人工智能创新中心

知识产权简介

本发明主要针对医疗场景下的预训练大模型下游适配系统设计,现有医疗预训练大模型虽然具有一定的泛化能力,但下游任务的数据分布通常与预训练数据存在显著差异,难以实现落地。此外,某些具体医学场景还需要考虑推理速度和计算资源,进一步限制了基础模型的应用范围。本发明提出了一种重新编程知识蒸馏方法,利用基础模型强大的通用特征提取能力,引入了中心内核对齐和表征知识蒸馏,实现对下游任务的轻量级适配,同时克服了数据分布不一致和模型架构不同的限制,极大地提高了医疗预训练大模型在下游场景的可用性。

基本信息

权利人 上海人工智能创新中心
知识产权类型 专利
意向合作模式
预估金额
联系合作