多GPU环境下的统一虚拟内存系统

• 国民经济行业：信息传输、软件和信息技术服务业／软件和信息技术服务业／数据处理和存储服务
• 学科类别：计算机科学技术／计算机系统结构／计算机系统结构其他学科
• 权利人：上海交通大学

知识产权简介

1. 在所有 CU 之上构建一个全局共享的 RDMA 缓存，将其作为 GPU 内存层次结构中的独立层级。该 RDMA 缓存专用于存储通过 RDMA 机制获取的远端数据，所有 CU 通过片上网络共享访问该缓存，其物理位置靠近内存控制器； 2.构建反向访问计数器，记录某个时间窗口内对特定物理页访问的 GPU ID的众数，及该 GPU ID 的频次。

转化前景

本专利对应一种多GPU环境下的统一虚拟内存系统，属于高性能计算与异构计算领域。其技术优势在于通过构建全局RDMA共享缓存和反向访问计数器，优化多GPU间的数据共享与调度，显著降低跨节点访问延迟，提升内存利用率和系统吞吐量。性能上有效改善NUMA架构下的远程数据访问效率，支持更大规模模型训练与高并发数据处理。产业化前景广阔，适用于AI大模型训练、科学计算、金融分析及边缘推理等领域，可突破单卡显存限制，提升多GPU集群的整体计算效能与能效比。