3D物体多模态知识自动生成与标注方法、系统及介质

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业
  • 学科类别:计算机科学技术/人工智能
  • 权利人:上海交通大学

知识产权简介

3D 物体多模态知识自动生成与标注方法、系统及介质

转化前景

当前 3D 物体相关的研究面临多方面的难题: 1.对3D 物体进行知识标注: 1)标注复杂且数据稀缺:像操作可供性这类知识,由于物体自身形状的多样性,手动标注极为复杂,导致相关标注数据集稀缺。 2)传统标注范式效率低下:传统标注方式通常一次仅对一个对象标注一种类型的知识。研究者需针对不同知识类型开发不同的标注平台,标注人员也需多次参与标注,耗费大量的时间和人力成本。 3)现有数据集存在局限:过往大多数 3D 物体相关的大规模数据集,仅提供类标签,仅适用于简单的分类任务,难以满足如分割、姿态估计和机器人操作等复杂任务的需求。 2.物体数字资产的获取:传统获取数字资产的方式主要包括通过3D扫描仪进行扫描和人工3D建模两种。二者在实际执行中均会耗费大量的人力和财力资源,难以被推广、大量进行。同时,上述两种方式获得的数字资产在用于基于深度学习的模型训练时,同样面临上述第1点中所述的困难。 3.由机器人执行对物体的操作:多数现有方法从物体或物体部件这一层级出发,严重依赖高质量 3D 数据进行训练。如上述两点中提到,获取和标注大量高质量 3D 铰接数据成本高昂、劳动密集,且难以全面覆盖真实世界中多样的物体类别。因此,此类方法的有效性被严重限制。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作