基于2的指数函数近似的GELU函数计算电路、设备及计算方法
知识产权简介
本发明通过对传统GELU函数进行算法级与电路级的近似,设计了一种近似GELU函数算法与电路实现单元。该设计将传统近似GELU函数算法中的自然指数函数近似为2的指数函数,进而将2的指数函数化简为二进制下的移位操作,最终将GELU函数拟合为四段连续的非线性函数曲线。虽然每一段的非线性函数运算过程有所不同,但电路可复用性高,且实现电路仅需要简单的加减法、乘法和移位单元,从而提升了电路的整体性能。该设计有效地简化了传统GELU函数所带来的繁琐运算过程,实现了GELU函数的高精度和高效率运行。
转化前景
该发明在算法与电路层面对神经网络激活函数GELU进行了近似,有效地简化了传统GELU函数所带来的繁琐运算过程,大幅降低了GELU的功耗与时间开销,实现了GELU函数的高精度与高效率运行,进而提高Transformer或大模型硬件部署的效率。该发明在神经网络硬件部署与加速器设计方面具有一定的优化场景。