一种适用于模态缺失的多模态目标检测方法及系统

作者：程腾; 孙磊; 张峻宁; 陈炯; 石琴; 丁莉

来源：2021-12-01, 中国, ZL202111456527.1.

本发明公开了一种适用于模态缺失的多模态目标检测方法及系统,该方法包括如下步骤：S1、将数据集中的多模态数据对神经网络单元进行训练；将数据集的所有模态数据输入进训练好的神经网络单元进行检测,保存检测结果；S2、对其余维度的模态数据进行提取；利用生成网络单元生成伪模态特征张量,接着进行拼接,输入进注意力网络单元、信息融合单元、判别网络单元,直至完成对生成网络单元的训练；S3、通过数据采集设备实时采集模态数据,利用训练完成的神经网络单元生成目标的种类和标识。本发明方法在避免噪声引入和特征信息丢失的前提下,通过虚拟生成缺失的模态数据,极大程度上减小了模型的计算量以及复杂度,可以提高生成模态的表示一致性。

• 单位
  合肥工业大学