基于最大网络流的光电路交换机重构调度训练加速系统及方法
知识产权简介
本发明通过启发式方案优化分布式训练的并行维度和训练任务的分组，减少跨越光电路交换机（Optical Circuit Switch，OCS）的通信流量，然后在最优分组下，通过基于最大网络流的算法，选中对应时刻的最优OCS连接配置加速全局训练时间。
转化前景
（1）通过采用启发式剪枝方式优化数据并行、张量并行和流水线并行的组合关系，并根据GPU所在机架和OCS域进行训练任务放置，可以减少高频张量并行通信跨越OCS的情况。该方法解决了现有训练任务布局中容易出现高频集合通信跨机架传输、跨OCS通信量过大、OCS链路利用率不均衡的问题，能够降低训练通信开销，提高效率。 （2）通过采用最大网络流算法，将训练过程中产生的跨OCS的集合通信建模为多源多宿最大流问题，可以根据当前时隙的真实通信需求选择OCS连接关系。相比固定轮询式OCS拓扑，本发明能够使OCS连接优先服务于高流量、高紧迫度的源节点-目的节点对，解决了现有OCS重构策略对大语言模型训练流量不敏感、光路资源与训练通信需求不匹配的问题。 （3）该方法设计的方案同时考虑数据并行、张量并行和流水线并行产生的不同通信模式，能够适配大语言模型训练中计算任务与通信任务重叠、集合通信突发、跨机架流量随训练阶段变化等复杂特征。该方法不仅适用于单一模型规模，也适用于不同参数规模、不同序列长度、不同GPU数量和不同OCS平面数量的光互联智算中心训练场景。