基于施工场景的视觉关系检测方法

作者：王俊杰; 农元君; 张立特; 翟佩臣

来源：吉林大学学报（工学版）, 2023, 53(01): 226-233.

DOI：10.13229/j.cnki.jdxbgxb20210510

• 计算机应用技术
• 视觉关系检测
• 施工场景
• 卷积神经网
• 场景图
• 图像理解

鉴于施工现场中工人与施工机械及施工用具之间不合规的交互关系是引发安全事故的重要原因，提出了一种基于施工场景的视觉关系检测方法。首先，采用卷积神经网络搭建实体检测和关系检测分支，以提取出施工场景中的实体特征和关系特征；其次，构建视觉模块、语义模块和空间模块对提取出的特征进行学习，使网络充分感知和理解视觉信息、语义信息与空间信息；最后，设计了一种图形对比损失函数，以提高模型的视觉关系检测性能。在自制的施工场景关系检测数据集上的实验结果表明，本文方法实现了75.89%、77.64%、78.93%的R@20、R@50、R@100召回率，具有良好的视觉关系检测性能，能精准地检测出施工场景中的目标及其交互关系。

• 单位
  中国海洋大学