人机交互界面的UI元素解析方法、系统、终端及介质
知识产权简介
本发明公开了一种人机交互界面的UI元素解析方法与系统。该系统主要由以下四个模块组成:区块分割模块,利用视觉分割模型及后处理模块,对人机交互界面图像进行语义化的区域分割处理,以获取人机交互界面各区域模块的功用属性、模块间的嵌套关系等结构信息;UI检测模块,通过专门构建训练的UI检测器,来检测定位并识别人机交互界面图像中的功能性UI元素;文本识别模块,用于从人机交互界面图像中提取特定区域内的文本信息;以及融合解析模块,该模块融合文本与功能性UI元素,并精确解析UI元素之间的嵌套关系。本公开能够在纯视觉场景下高效地检测、识别并解析复杂人机交互界面图像中的区块结构和UI元素,为多样化人机交互应用中显著提升机器人流程自动化等智能代理的操作准确性和场景泛化能力,进而提高交互流程自动化的效率和可靠性。