机器学习模型混合并行策略自动搜索的方法及系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/数据处理和存储服务
  • 学科类别:计算机科学技术/计算机系统结构/并行处理
  • 权利人:上海交通大学

知识产权简介

本发明提供了一种机器学习模型混合并行策略自动搜索的方法及系统,其中系统包括:算子间并行策略搜索模块:该模块首先查询算子间性能开销模型,然后根据当前阶段算子间的性能开销来进行策略搜索。其中,算子间性能开销模型计算相应的流水线阶段开销。算子内并行策略搜索模块:该模块采用缩点消边的动态规划算法进行数据并行与张量并行的策略搜索。它先查询算子内性能开销模型,再进行策略搜索。而算子内性能开销模型通过使用基于执行的方法进行计算开销预估,同时使用基于计算的方法进行通信开销预估。本发明的搜索算法相比已有工作的搜索算法,具有更低的理论时间复杂度,能够更快地得出搜索结果,并还能保证搜索得到的策略质量。

转化前景

本专利属于并行分布式处理系统技术领域,本专利结合了现有的三种主流并行方式,包括数据并行、算子模型并行以及流水线并行,为机器学习模型的并行分布式训练设计了一种新的快速搜索混合并行策略的方法及系统。 在技术优势方面,现有的自动搜索机器学习模型混合并行策略的方法存在两个主要问题:第一个问题是考虑的并行方式较少,只考虑了数据并行、算子模型并行以及流水线并行中的部分方式;第二个问题是搜索时间过长。针对这些问题,本专利提出了新型的性能开销模型,设计了基于动态规划的策略搜索算法,能够考虑全部三种主流并行方式,同时在保证并行策略质量的前提下快速搜索出混合并行策略,相比已有技术优势显著。 在性能指标方面,和之前的机器学习模型混合并行策略搜索方法相比,本专利的方法及系统可以将搜索时间优化最高2.53倍,并且随着模型越来越大,优化效果会更加显著。按照本专利搜索到的并行策略训练模型,训练时间和之前工作的差距控制在4%以内。 随着机器学习技术的蓬勃发展,本专利的产业化应用前景将会非常广阔,能够加快机器学习模型的训练速度,有效减少搜索模型并行训练策略的成本。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 转让
预估金额
联系合作