提升长上下文大型语言模型推理效率的方法、电子设备和存储介质

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/人工智能/自然语言处理
  • 权利人:上海交通大学

知识产权简介

本申请提供了一种通过层之间注意力的相似性提升大模型的推理效率的方法,通过对远端tokens将attention分数相似的层之间共享,从而节省KV cache的大小。 具体的,本申请提出了一种PoD(Proximal tokens over Distant token),以优化解码阶段的推理效率。具体来说,它只对远端标记token共享层间注意力分数,而对近端标记token保持不变。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作