面向昇腾设备的跨进程显存超分配管理方法及系统
知识产权简介
本发明提供了一种面向昇腾设备的跨进程显存超分配管理方法及系统，包括：通过共享库接管ACL运行时接口，在应用内存申请阶段预留设备虚拟地址空间并返回稳定的逻辑地址。当算子执行请求到来时，系统会动态构建参与地址集合，对显存进行按需映射与局部换入换出。当本地进程显存不足时，系统利用共享内存账本与其他进程通信，实现跨进程显存额度协调。
转化前景
本发明提供了一种面向昇腾设备的跨进程显存超分配管理方法及系统，对显存进行按需映射与局部换入换出，当本地进程显存不足时，系统能够实现跨进程显存额度协调。昇腾计算平台凭借其在深度学习推理、算子加速及多模型混合部署方面的卓越表现，已成为人工智能领域的主流国产加速器硬件。相比现有方案，本发明具有更强通用性和易用性，因此具有很强的产业化应用前景。