实时量化单元的内存优化方法、系统及电子设备
知识产权简介
提出一种基于数据流动态计算KV缓存每个分组的数量类型，并且分别根据K和V的特征进行自适应数据类型分组量化的方法及其硬件架构。
转化前景
本专利提出了一种基于方差动态选择数据类型的实时量化方法，针对 KV 缓存的分组数据进行自适应量化，并优化了硬件架构。通过创新的双阶段量化方案和流水线化设计，有效提升了计算效率，降低了量化误差和硬件功耗，适用于大语言模型推理、边缘设备和高性能 AI 加速器等场景。
提出一种基于数据流动态计算KV缓存每个分组的数量类型，并且分别根据K和V的特征进行自适应数据类型分组量化的方法及其硬件架构。
本专利提出了一种基于方差动态选择数据类型的实时量化方法，针对 KV 缓存的分组数据进行自适应量化，并优化了硬件架构。通过创新的双阶段量化方案和流水线化设计，有效提升了计算效率，降低了量化误差和硬件功耗，适用于大语言模型推理、边缘设备和高性能 AI 加速器等场景。