多语言大模型优化训练方法、电子设备、存储介质和程序产品
知识产权简介
本申请首先确定与每种语言相关的关键神经元区域,这些神经元主要负责处理特定语言的信息。通过冻结这些与旧语言相关的神经元上下游的权重,模型在训练新任务或新语言时,依然能够保留对旧语言的处理能力,避免在学习新任务的过程中遗忘旧任务。通过定向训练加强这些权重,我们也可以加强模型已经存在的某种语言的能力,更加高效地提升模型的多语言性能
本申请首先确定与每种语言相关的关键神经元区域,这些神经元主要负责处理特定语言的信息。通过冻结这些与旧语言相关的神经元上下游的权重,模型在训练新任务或新语言时,依然能够保留对旧语言的处理能力,避免在学习新任务的过程中遗忘旧任务。通过定向训练加强这些权重,我们也可以加强模型已经存在的某种语言的能力,更加高效地提升模型的多语言性能