提升长上下文大型语言模型推理效率的方法、电子设备和存储介质
知识产权简介
本申请提供了一种通过层之间注意力的相似性提升大模型的推理效率的方法,通过对远端tokens将attention分数相似的层之间共享,从而节省KV cache的大小。 具体的,本申请提出了一种PoD(Proximal tokens over Distant token),以优化解码阶段的推理效率。具体来说,它只对远端标记token共享层间注意力分数,而对近端标记token保持不变。
本申请提供了一种通过层之间注意力的相似性提升大模型的推理效率的方法,通过对远端tokens将attention分数相似的层之间共享,从而节省KV cache的大小。 具体的,本申请提出了一种PoD(Proximal tokens over Distant token),以优化解码阶段的推理效率。具体来说,它只对远端标记token共享层间注意力分数,而对近端标记token保持不变。