支持非结构化稀疏矩阵计算的张量核架构系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/集成电路设计
  • 学科类别:计算机科学技术/计算机系统结构/计算机系统设计
  • 权利人:上海交通大学

知识产权简介

深度学习是许多领域的关键技术,如图像分类、视频理解、自然语言处理、推荐系统等。稀疏矩阵乘法(SpMM)是许多现代深度学习算法的主要操作。然而,当前基于阵列的硬件架构在深度学习算法中处理非结构化稀疏矩阵时面临算法不灵活或硬件效率低下的问题。因此,本发明的核心思想是:SpMM可以在粗粒度(即整个矩阵)上保持非结构化稀疏,以保证算法的灵活性;在细粒度(即划分后的矩阵块)上保持结构化稀疏,以实现硬件高效。本发明的核心技术点包括以下两个:一是提出了一种新颖的稀疏矩阵模式;二是结合这种稀疏矩阵格式设计了支持稀疏功能的稀疏张量核硬件架构。在多种深度学习算法上评估了本方案硬件架构,包括典型的CNN模型(ResNet18和VGG16)以及ImageNet数据集。实验结果表明,与最先进的TC和定制加速器相比,本方案硬件架构平均提升了了1.24倍~7.69倍的速度和3.68倍~4.17倍的能效。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作