一种面向深度学习任务的多层次GPU资源管理与调度系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/计算机软件/软件工程
  • 权利人:上海交通大学

知识产权简介

本发明公开一种面向深度学习任务的多层次GPU资源管理与调度系统,包括MIG硬件隔离层,用于对GPU物理资源进行切分与隔离,形成独立子实例;MPS弹性共享层,用于根据任务负载动态调整SM配额,实现计算资源弹性分配;Kernel级精细调度层,用于实时监测Kernel级资源争用状态并保障在线任务优先执行;性能预测器,用于输出不同MIG与MPS配置下的任务性能数据;Hybrid Partition Scheduler,用于基于性能数据选择最优MIG分区组合与MPS配额策略,通过上述各组成部分的跨层协同,实现资源隔离、弹性共享与在线任务实时调度的统一。本发明解决了现有技术难以兼顾资源隔离、弹性共享与实时性的痛点,减少资源碎片化与任务间干扰,适用于大规模深度学习训练与推理服务。

转化前景

1.产品、技术优势 本发明提出的MMK框架为GPU多任务并发环境提供了一种全新的高效资源管理方法。通过结合MIG的硬件隔离、MPS的弹性共享以及Kernel Scheduler的细粒度调度机制,MMK能够协同解决现有GPU调度中资源争用严重、在线任务延迟不可控、MIG配置僵化等关键问题。该框架通过集成的性能预测器,实现了从经验驱动到数据驱动的调度决策转变,使MIG/MPS的组合优化更加精确可靠。此外,MMK能够根据在线与离线任务的不同特性动态调整GPU资源分配策略,在保证在线任务实时性的同时最大化全局吞吐量,从而有效提升多任务GPU系统的整体运行性能。 2.性能指标 实验验证表明,本发明具有显著优于现有GPU资源调度方法的性能表现。在NVIDIA A100等数据中心级GPU平台上的测试显示,MMK框架可将系统吞吐量提高约35%,平均任务完成时间减少约28%,整体任务执行周期(Makespan)下降约32%。通过Kernel Scheduler的资源争用控制,在线推理任务的延迟抖动大幅降低,从而获得更高的QoS稳定性。此外,性能预测器在不同MIG/MPS配置下的预测误差仅约3.5%,预测准确度远超传统经验式配置策略。调度系统的开销也显著降低,其中MIG重建仅占任务生命周期的约1.5%,Kernel Scheduler的监测开销约为0.08%,使本发明在实际部署中具有高效、低成本的运行特性。 3.产业化应用前景 凭借其卓越的性能提升能力与高度自动化的资源管理设计,本发明具有显著的产业化应用价值。首先,MMK可广泛应用于图像识别、语音识别、推荐系统、自然语言处理等高并发、多任务深度学习场景,显著提升推理服务的时延稳定性与训练任务的整体吞吐效率。其次,本发明可作为GPU云服务的重要调度组件,为企业级AI集群、云原生AI平台及大模型训练基础设施提供精细化的多租户资源隔离与调度服务。此外,本发明的数据驱动调度与自动化资源配置能力大幅降低运维复杂度,使企业能够在保证成本可控的前提下实现更高的GPU资源利用率。综上所述,MMK具备广泛应用于AI 云计算、智能服务平台、大模型基础设施及边缘推理服务等领域的潜力,具有良好的推广价值和产业转化前景。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作