面向大模型推理集群的策略工厂构建系统与实现方法

• 国民经济行业：信息传输、软件和信息技术服务业／互联网和相关服务／互联网信息服务
• 学科类别：信息科学与系统科学／信息科学与系统科学基础学科／系统论
• 权利人：上海交通大学

知识产权简介

本方案针对大语言模型推理集群中缓存复用、负载均衡与多策略扩展难以兼顾的问题，提出一种策略工厂构建与执行方法。通过统一状态镜像、前缀签名索引、测度生成、声明式策略模板、执行图编译和预占位回写机制，系统可在一致性快照上动态选择最优推理实例，并在缓存热点、显存风险或实例异常时自动回退。该方案无需为不同业务重复改写调度器，可显著提升策略接入效率与集群稳定性；在某些真实工作负载下，预计可将新策略接入工作量降低70%以上，热点实例负载峰值降低40%以上，P99 TTFT降低50%-90%，P99 TPOT降低15%-30%。

转化前景

本方案针对大语言模型推理集群中缓存复用、负载均衡与多策略扩展难以兼顾的问题，提出一种策略工厂构建与执行方法。通过统一状态镜像、前缀签名索引、测度生成、声明式策略模板、执行图编译和预占位回写机制，系统可在一致性快照上动态选择最优推理实例，并在缓存热点、显存风险或实例异常时自动回退。该方案无需为不同业务重复改写调度器，可显著提升策略接入效率与集群稳定性；具有良好落地性，产业化前景广阔。