基于医疗基础模型进行下游适配的数据处理方法和装置
知识产权简介
本发明主要针对医疗场景下的预训练大模型下游适配系统设计,现有医疗预训练大模型虽然具有一定的泛化能力,但下游任务的数据分布通常与预训练数据存在显著差异,难以实现落地。此外,某些具体医学场景还需要考虑推理速度和计算资源,进一步限制了基础模型的应用范围。本发明提出了一种重新编程知识蒸馏方法,利用基础模型强大的通用特征提取能力,引入了中心内核对齐和表征知识蒸馏,实现对下游任务的轻量级适配,同时克服了数据分布不一致和模型架构不同的限制,极大地提高了医疗预训练大模型在下游场景的可用性。