基于跨模态对齐进行不安全行为识别方法、装置及介质

  • 国民经济行业:建筑业/房屋建筑业/房屋建筑业
  • 学科类别:计算机科学技术/人工智能/人工智能其他学科
  • 权利人:上海交通大学

知识产权简介

本发明旨在针对脚手架施工现场不安全行为识别中存在的遮挡干扰强、场景动态复杂、单一模态监测鲁棒性不足以及多模态方法依赖双设备同时可用等技术痛点,提供一种基于IMU惯性传感数据与人体骨骼关键点(KP)数据的跨模态对齐预训练方法及系统,通过在训练阶段建立异构模态语义特征对齐机制并将互补知识注入单模态模型,使得在推理阶段仅依赖单一模态输入时仍能实现对脚手架作业不安全行为的自动、准确、稳定识别,从而降低漏检与误报、提升现场安全监测的可靠性与可部署性。

转化前景

本研究通过三阶段跨模态对齐训练策略,CIKP可以突破单模态表征学习的性能瓶颈。实验数据显示,相比于主流基线方法,CIKP 在 IMU 模态下的 F1-Score 提升了约 9.6%,而在 KP 模态下的提升幅度更是接近 15%,且 Group F1-Score 逼近 95%。此外,对比不同训练范式的实验表明,传统的对比预训练和联合优化在存在模态强度差异时容易导致特征崩塌问题。我们所提出的三阶段策略通过将表征独立学习、跨模态对齐与下游微调进行渐进式解耦,确保了两个模态在保留各自独特物理特性的同时,在共享语义空间内实现最大程度的互补。这种范式为解决多模态学习中的非均衡优化问题提供了一种通用的理论视角与实践路径。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 转让
预估金额
联系合作