混部集群中基于二阶段干扰感知离线任务调度方法及系统
知识产权简介
本发明公开了一种在大规模数据中心里基于对离线任务画像和在线离线任务干扰量化的调度方法。为了提高数据中心集群中的主机资源利用率，通常将延迟敏感型的在线服务和批处理离线任务混合部署在同一台机器上。但是当主机资源利用率提升时，会不可避免的带来不同应用之间的干扰问题，通常是由于竞争共享的L1、L2 Cache或者最后一级缓存LLC引起的。本发明通过对离线任务画像和干扰量化的方法来缓解干扰，旨在提高在线服务的服务质量。方法具体包括离线任务资源画像、在线服务干扰量化器和离线干扰量化器三个部分。其中任务资源画像模块通过对历史离线任务进行分类和特征分析，预测新到来的任务的资源消耗特征；在线干扰量化器通过基于价值的强化学习模型分析任务的可调度候选主机；离线干扰量化器基于注意力机制从候选容器选取最佳策略进行任务的调度。本发明根据历史数据分析，设计出了一种基于干扰感知的离线任务调度框架，并给出了具体细节和实现方法。