一种长视频多模态大模型快速推理系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/其他信息技术服务业/数字内容服务
  • 学科类别:计算机科学技术/人工智能/人工智能理论
  • 权利人:上海交通大学

知识产权简介

本申请所要解决的技术问题是,计算机视觉和自然语言处理技术领域,保持准确度的同时,减少推理时的计算成本和延迟的方法。 其主要的发明点在于提出了一种新的算法-系统联合设计的方法,旨在同时优化计算的内容(稀疏化)和计算方式(并行化),从而在确保高准确度的同时显著提升推理速度。

转化前景

本申请提出了一种基于层级感知稀疏化与场景内聚性段并行的长视频多模态大模型快速推理方法与系统,技术优势在于:1)通过稀疏化,CAS 可以减少不必要的计算,显著降低推理延迟。2)通过保留与任务最相关的场景和帧,CAS 保证了在减少计算量的同时不丧失关键信息,可以在相同计算预算下提升推理准 确性。3)LSP 可以将 Prefill 阶段的计算并行化,并减小跨卡通信开销,使得推理速度大幅提升。4)通过全局上下文的注入,GCI 能够在并行处理过程中保持全局语义信息,从而提升推理精度。 从生产实施角度考虑,本申请技术方案能够提升推理精度,最大化资源利用率并最小化推理延迟,有效提升推理效率和准确性;无需重新训练模型,可以快速部署。适用于长视频推理任务、大规模视频理解服务等领域,此外本申请技术方案在云端和边缘协同部署中具有较强的适应性,大规模商业化应用具有可观前景。 综上所述,基于本申请发明创造的具体内容,本申请技术方案在相应技术领域具有一定的产业化应用前景。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作