基于2的指数函数近似的GELU函数计算电路、设备及计算方法

  • 国民经济行业:信息传输、软件和信息技术服务业/互联网和相关服务/互联网信息服务
  • 学科类别:电子、通信与自动控制技术/电子技术/电子电路
  • 权利人:上海交通大学

知识产权简介

本发明通过对传统GELU函数进行算法级与电路级的近似,设计了一种近似GELU函数算法与电路实现单元。该设计将传统近似GELU函数算法中的自然指数函数近似为2的指数函数,进而将2的指数函数化简为二进制下的移位操作,最终将GELU函数拟合为四段连续的非线性函数曲线。虽然每一段的非线性函数运算过程有所不同,但电路可复用性高,且实现电路仅需要简单的加减法、乘法和移位单元,从而提升了电路的整体性能。该设计有效地简化了传统GELU函数所带来的繁琐运算过程,实现了GELU函数的高精度和高效率运行。

转化前景

该发明在算法与电路层面对神经网络激活函数GELU进行了近似,有效地简化了传统GELU函数所带来的繁琐运算过程,大幅降低了GELU的功耗与时间开销,实现了GELU函数的高精度与高效率运行,进而提高Transformer或大模型硬件部署的效率。该发明在神经网络硬件部署与加速器设计方面具有一定的优化场景。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 许可,转让
预估金额
联系合作