语言模型压缩方法和系统

• 国民经济行业：制造业／计算机、通信和其他电子设备制造业
• 权利人：苏州思必驰信息科技有限公司

知识产权简介

本发明公开语言模型压缩方法和系统，方法包括：响应于获取的输入参数，查找与所述输入参数对应的二值化向量；至少将所述二值化向量经过二值化的循环网络层，以得到二值化的循环网络层输出；至少将所述循环网络层输出经过二值化的线性层并输出结果。通过使用二值化向量来编码词嵌入以及LSTM的参数，从而达到较高的内存压缩率。开创性地探索了二值化LSTM在大词表语言模型中的应用。进一步地，通过实验表明，本申请提出的模型在中文和英文数据集上达到了11.3的无损压缩比，在损失小部分性能的情况下，可以达到31.6的压缩比。