一种面向数据流架构的优化编译器系统及数据流加速器自动化生成方法

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/计算机系统结构/计算机系统设计
  • 权利人:上海交通大学

知识产权简介

本发明公开了一种面向数据流架构的优化编译器系统及数据流加速器自动化生成方法,所述系统基于MLIR框架构建,包括依次连接的前端转换、数据流违例协同消除、通信优化、自动化调度及代码生成模块。通过模式感知转换消除粗粒度数据流违例,并结合归约重写与置换映射解决细粒度读写不一致问题;采用FIFO优先策略及无违例复用缓冲区生成优化片上通信;执行资源感知的三阶段自动调度,并通过全局任务间协同优化机制,协调并行策略以避免引入新违例。本发明实现了从C++/PyTorch输入到高性能、无死锁数据流加速器设计的端到端自动化生成,显著提升了开发效率与硬件性能。

转化前景

与现有技术相比,本发明的有益效果如下: 1)与先前技术只能部分消除违例的技术相比,充分消除了输入应用携带的各种数据流违例,包括粗粒度违例和细粒度违例。使得数据流优化更加充分,整体性能大大提升。 2)先前工作往往只采用单一的数据传输方式或执行方式,比如FIFO,乒乓缓冲区或者串行执行,而本发明提供了对片上缓冲区的自动智能决策与优化,可以采用混合的解决方案,大大提升了片上数据传输效率。 3)先前技术缺乏自动的片外高带宽存储器(HBM)管理,本发明提供了HBM的高效管理,提升片外数据传输效率。 4)先前技术的自动化调度策略往往只以性能为目标,缺乏性能与资源之间的平衡,本发明提出的策略可以充分考虑性能与资源的平衡。可以性能导向充分消耗资源来获取最优性能,也可以资源导向,在资源受限场景也能支持模型的正常部署。 5)与先前工作相比,在综合评估中,CODO 在 DNN 模型上相比先进编译器取得了 3.7 倍至 33.8 倍的加速效果;在板级测试中,CODO 在 DNN 上实现了平均 3.6 倍加速,在 GPT-2 模型上取得了 2.07 倍的加速比。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作