多语言大模型优化训练方法、电子设备、存储介质和程序产品

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/人工智能/自然语言处理
  • 权利人:上海交通大学

知识产权简介

本申请首先确定与每种语言相关的关键神经元区域,这些神经元主要负责处理特定语言的信息。通过冻结这些与旧语言相关的神经元上下游的权重,模型在训练新任务或新语言时,依然能够保留对旧语言的处理能力,避免在学习新任务的过程中遗忘旧任务。通过定向训练加强这些权重,我们也可以加强模型已经存在的某种语言的能力,更加高效地提升模型的多语言性能

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作