一种面向无服务器平台的低延迟与SLO感知通用GPU共享系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/计算机系统结构/并行处理
  • 权利人:上海交通大学

知识产权简介

本发明公开了一种面向无服务器平台的低延迟与SLO感知通用GPU共享系统,涉及GPU领域,本发明提出了FAASHARE,一种高效的基于无服务器的GPU共享框架,所述FAASHARE由MSContainer、基于贝叶斯优化的GPU共享策略和时间空间优先队列调度机制组成,所述MSContainer容器能够提前为GPU-required函数提供预热环境,减少冷启动延迟;贝叶斯优化可以动态调整资源分配,以适应不同的任务负载。本发明减少了冷启动延迟、保证服务级别目标的同时提高了GPU资源利用率。

转化前景

发明实用性: 1.技术优势:FAASHARE提供了一种在无服务器计算环境中优化GPU共享和降低冷启动延迟的新方法。通过引入MSContainer容器抽象和动态资源分配机制,FAASHARE能够在无服务器场景中有效减少冷启动时间,显著提高GPU利用率,并优化任务的执行顺序以满足服务水平目标。具体来说,FAASHARE通过预热机制减少容器冷启动延迟,采用基于贝叶斯优化的GPU共享策略为不同任务分配最优的计算资源配置,从而提升GPU共享性能和减少资源竞争。此外,FAASHARE还通过预测任务退化和动态调整任务优先级来优化资源分配,保证在任务过载时仍能满足服务水平目标要求。 2.性能指标:在多个无服务器计算平台(如OpenWhisk)上的验证表明,FAASHARE在冷启动时间、服务水平目标保证和GPU共享效率方面均表现出显著的性能提升。与现有的无服务器系统相比,FAASHARE的冷启动延迟平均降低了60倍,任务执行时间减少了23%,系统吞吐量提高了33%。FAASHARE能够在不同任务负载下智能调整GPU资源配置,提升GPU并发处理能力,并有效减少资源竞争,最终带来整体性能的显著提升。此外,通过动态的优先级调整机制,FAASHARE确保了每个任务都能公平地满足其时间约束,最大化了系统的GPU利用率。 3.生产实施:FAASHARE的设计具有高度的可扩展性和灵活性,能够在多种无服务器计算平台上进行部署,并且支持各种GPU加速的高性能计算任务。FAASHARE的冷启动优化和GPU共享机制能够广泛应用于在线推理、视频处理、分布式训练等任务,尤其适合需要高并发、低延迟和高资源利用率的场景。通过自动化资源配置和任务调度,FAASHARE可以帮助企业降低运维成本,提高资源利用效率,适应大规模生产环境的需求。 产业化应用前景: FAASHARE在大规模并发任务的处理上具有明显优势,未来在云计算和人工智能应用领域具有广泛的应用前景。FAASHARE具有广阔的产业化应用前景,尤其在AI推理、深度学习训练、科学计算等领域。其低延迟和高资源利用率的特性,使其成为在无服务器计算平台中运行高性能计算任务的理想选择。FAASHARE的GPU共享和服务水平目标保障机制能够支持更多高效的任务并发处理,有助于企业实现更高效的资源调度和更低的成本投入。因此,FAASHARE有望在未来的无服务器计算应用中发挥重要作用,成为提升云计算平台性能的核心技术之一。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作