适用于多GPU环境的高效嵌入向量访问方法及系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/计算机软件/操作系统与操作环境
  • 权利人:上海交通大学

知识产权简介

本发明提出了一种适用于多GPU环境的高效嵌入向量访问机制。该机制旨在克服现有技术中的缺陷,特别是在嵌入向量访问中的GPU间链路拥塞问题。本发明综合考虑计算平台的硬件特征信息,例如GPU间的互联拓扑结构和数据传输带宽,以构建高效的嵌入向量访问和调度方案。通过将GPU计算单元分为多个逻辑分组,建立任务队列,并合理控制这些单位对GPU间链路的使用,本发明能够减少计算单元在链接使用上的竞争,提高链路资源的利用率。这一过程中,非本地嵌入向量访问被划分成多个子批次,并由专门分配的计算单元逻辑分组执行,而本地访问子批次通过一个具有较低优先级的全局任务队列处理。此外,提出的机制适用于不同的硬件平台,能够自适应多GPU拓扑结构和带宽分布,保证在各种环境中的高效运行,同时还利用单边读写内存访问技术来避免冗余的数据传输。最后,该方法保留现有框架中嵌入向量访问的接口,用户无需大幅改动现有应用程序即可高效利用新机制。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作