一种设备安装施工安全隐患识别与视觉接地字幕生成方法

  • 国民经济行业:建筑业/建筑安装业/管道和设备安装
  • 学科类别:土木建筑工程/土木建筑工程施工/土木施工电器工程
  • 权利人:上海交通大学

知识产权简介

本发明通过将设备安装施工安全规范知识与多模态视觉接地技术相融合,实现对设备安装施工图像中安全隐患的自动识别、规范化描述,以及隐患对应区域的精确定位。具体组成包括:1、设备安装施工安全规范数据库模块。它通过从国家及行业安全规范中提取并规范化处理安全术语及其关联条款,形成按“术语−安全类别−关联安全规范−对应规范及条款编号”结构化存储的安全知识库,为设备安装施工隐患判别与规范化表述提供依据。2、设备安装施工图像多层级自动标注模块。它通过对象识别、关系抽取与安全规范语义扩展,实现对施工图像从对象与属性、对象关系到安全规范条款关联的结构化标注,并生成用于模型训练的图文数据。3、视觉接地隐患识别与字幕生成模型模块,它通过对输入施工图像进行特征编码与安全语义对齐,生成包含安全隐患描述的规范化字幕,并输出与隐患语义对应的像素级掩码,实现隐患“描述−定位”一致性。通过上述模块协同,本发明能够在无需人工指定区域的情况下,对设备安装施工场景中的多类安全隐患进行准确识别与规范化表达,并实现隐患区域的可解释、可视化定位,提升设备安装施工安全隐患识别的自动化水平与工程应用可靠性。

转化前景

本发明针对设备安装施工安全隐患识别与描述中存在的依赖人工巡检、复杂场景(空间结构复杂、多对象交互、作业行为细节密集)下识别与表达能力不足,以及难以将文本描述与图像中具体对象/区域建立精确对应等问题,提出了一种基于视觉接地的设备安装施工安全隐患识别与图像字幕生成系统。该系统通过三大核心技术环节实现设备安装施工场景的高效理解、专业表达与可视化定位:首先,构建设备安装施工安全规范术语数据库,系统汇聚设备安装施工相关国家/行业规范中的安全术语与对应条款编号,并以结构化方式存储,为后续施工图像数据标注与模型的安全隐患识别及其字幕生成提供可检索、可追溯的规范知识支撑;其次,开发面向设备安装施工图像的多层级自动标注技术,在图像中对象识别与像素级分割、对象关系与场景要素抽取、场景结构化表示与密集字幕生成的基础上,进一步将施工图像关联到对应的安全规范条款以形成额外上下文标注,并通过专家复核与隐患真值补充机制生成高质量训练与评估数据;最后,构建具备视觉接地能力的多模态模型(即设备安装施工安全隐患识别与视觉接地图像字幕生成模型),通过引入设备安装施工场景编码器、安全语义投影层与多模态解码器,使模型在生成图像的设备安装施工场景字幕(含安全隐患文本描述)的同时,输出与文本片段对应的像素级掩码,从而实现“描述−定位”一致的结果表达,提升设备安装施工安全隐患识别输出的可解释性与现场处置效率。 本发明的创新点在于:将设备安装施工安全规范知识引入施工图像多层级自动标注流程,并进一步与视觉接地多模态模型进行耦合,形成从数据构建到模型输出的一体化链路,使系统不仅能够生成面向设备安装施工的专业场景字幕,还能将关键对象与安全隐患要素在图像中可视化定位。其意义在于,为设备安装施工现场的智能监测、隐患分析与安全决策提供技术支撑,降低对人工巡检的依赖,并为后续安全宣教培训、隐患案例沉淀与工程数字化管理提供可复用的数据与模型基础。此外,该技术路线可扩展到设备安装施工之外的其他施工场景(如土建工程施工)与同时存在多类型安全隐患要素的施工场景,具有良好的工程推广价值与应用前景。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 入股,许可,转让
预估金额
联系合作