基于上下文强化学习的码率自适应方法及控制器构建方法
知识产权简介
本发明公开了一种基于上下文元强化学习的码率自适应方法,包括:构建以网络吞吐上下文信息为输入、当前网络动态隐变量表示为输出的网络动态编码器和以用户状态信息和当前网络动态隐变量表示为输入、当前视频切片的最优码率版本为输出的码率自适应元策略网络;网络参数训练过程中,利用基于互信息正则化的近端策略优化算法优化该模型的网络参数;同时设计可以由任意现有码率自适应算法或人工标记方法得出的码率自适应专家策略,并通过行为克隆方式快速学习较好的神经网络参数初始化,进而极大地提高参数训练的样本采样效率,提高了模型训练速度;通过以上方法最终获得最优的网络动态编码器和元策略网络神经网络参数;通过本发明,码率自适应方法能够快速自适应异构用户的本地网络带宽环境,从而最大化用户的整体观看体验质量,提高了网络视频流传输的带宽利用率和泛化鲁棒性。