基于内核函数轨迹的深度学习推理服务性能剖析方法

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/计算机系统结构/计算机运行测试与性能评价
  • 权利人:上海理工大学

知识产权简介

本发明涉及人工智能系统性能优化与可观测技术领域,具体涉及一种面向大规模GPU集群中大语言模型(LLM)推理服务的性能剖析方法及系统,尤其是一种基于分层协同分析与内核函数轨迹建模的非侵入式性能瓶颈诊断与优化指导方法。

转化前景

与现有技术相比,本发明具有以下有益效果: 1. 首创分层协同剖析架构:首次建立服务-模型-算子三层统一指标体系(FPR/MIE/BottleScore),实现端到端性能瓶颈归因与模型-硬件亲和性匹配; 2. 非侵入式迭代识别技术:无需修改模型代码或注入探针,仅依赖内核轨迹中的内存传输事件与算子序列指纹,即可准确识别推理迭代边界,准确率达98.7%; 3. 可解释的瓶颈量化方法:通过BottleScore指标融合算子效率损失与关键路径权重,精准定位对端到端性能影响最大的瓶颈算子,避免无效优化; 4. 极低剖析开销:采用随机采样与轻量级跟踪,将性能开销控制在5%以内,适用于生产环境持续监控; 显著性能提升:在真实350 GPU集群中成功识别265个服务的性能瓶颈;在Qwen2.5-7B优化案例中,通过框架-硬件协同调优,实现关键算子执行效率提升1.56倍、GPU利用率提升1.12倍。 本发明作为外部性能剖析框架,不依赖修改模型训练和推理等部署的源代码和上层深度学习框架,具有良好的通用性和工程落地性,可方便集成到现有分布式集群管理系统中。

基本信息

权利人 上海理工大学
知识产权类型 专利
意向合作模式
预估金额
联系合作