基于计算机视觉的轻量化视频动作理解方法及系统

• 国民经济行业：信息传输、软件和信息技术服务业／软件和信息技术服务业／软件开发
• 学科类别：信息科学与系统科学／信息科学与系统科学基础学科／信息科学与系统科学基础学科其他学科
• 权利人：上海交通大学

知识产权简介

一种基于计算机视觉的轻量化视频动作理解方法及系统，该方法包括如下步骤：将视频序列截取处理为RGB视频帧；根据视频序列截取处理后的RGB视频帧提取相邻图像之间的光流场；通过视频序列截取处理后的RGB视频帧构建深度神经网络模型并提取RGB视频帧之间的高维特征；通过视频帧相邻图像之间的光流场构建深度神经网络模型并提取光流场的高维特征；将提取的RGB视频帧之间的高维特征和提取的光流场的高维特征进行堆叠融合，形成混合高维特征；通过混合高维特征训练基于长短时间记忆网络（LSTM）的时空视频动作理解模型；基于长短时间记忆网络的视频动作理解模型，通过张量分解结构压缩视频动作理解模型尺寸；通过压缩的长短时间记忆网络时空模型实现视频中的动作理解。