一种资源配置方法、介质及服务端
知识产权简介
目前随着深度学习的迅速发展,用户对于高性能云服务的要求也随之上升。而随着深度学习任务种类的日益多样化、模型日益复杂、用户日益增加,深度学习的服务也面临更大的挑战。目前,有许多芯片厂商提供了算力水平较高的深度学习专用芯片以及相应编程框架供深度学习服务提供商使用,且服务提供商也会组合使用多个芯片。然而,目前的编程、服务框架主要针对单个模型进行性能优化。在面对多用户、多个模型的复杂场景时,服务质量、资源的合理分配使用较难保证。本发明旨在开发一套针对多用户、多模型场景的面向多核架构深度学习专用芯片的编译、调度优化方法,能够在多种场景下实时地对结合多个模型的信息对资源配置进行跨模型协同优化,以提高总体服务质量、服务满足率,且最小化系统能耗。