基于客户端自主性的分布式训练方法、系统、介质及设备
知识产权简介
一种基于客户端自主性的高效分布式训练算法,包括: 1、客户端状态分析:采用客户端每次本地迭代所花费的时间表示客户端的系统特征, 采用周期性采样和统计进程确定并描述客户端在每轮训练中的状态变化特征; 2、计算优化:采用“提前终止”策略,提前停止客户端的训练,并最小化“提前终 止”策略对全局模型的影响,减少计算资源消耗,增加整体系统的训练收益; 3、通信优化:采用“基于错误反馈机制的提前传输”策略,增加计算-通信重叠时间, 提升资源利用率,提升效率。