面向MULTI-LoRA的大模型内存优化配置系统
知识产权简介
本发明提供了一种面向Multi-LoRA推理场景的大模型内存管理方法、系统及部署,所述基面向Multi-LoRA推理场景的大模型管理系统包括:基于树状结构的内存块管理器,将GPU内存与主存中的LoRA权重与KV缓存进行统一的,灵活的,符合逻辑的管理;基于收益的内存块调度器,监控全局的内存使用情况与各个内存块的使用频率等情况,并评估保留各个内存块带来的收益。在运行时GPU内存压力较小的情况下,内存调度器评估主存上各个内存块,通过两级内存管理将收益最大的一部分内存块迁移回GPU内存。在运行时GPU内存压力过大的情况下,内存块调度器评估GPU内存上各个内存块,通过两级内存管理将损失最小的一部分GPU内存块迁移到主存。本发明可以解决在多LoRA推理场景下的内存资源管理与调度问题,提升该场景下大模型推理的性能效果,确保满足预设的服务质量目标。