用于无监督跨模态检索的充分场景表达生成方法

作者：沃焱; 罗杰庭

来源：2021-03-23, 中国, CN202110306464.5.

本发明公开了一种用于无监督跨模态检索的充分场景表达生成方法,包括：1)对不同模态的数据分别提取局部特征,并构造相对应的局部特征集；2)基于各模态数据的局部特征集,为不同模态的数据生成对应的统计表达；3)基于统计表达定义各模态对应的统计流形,并据此构造相应的公共统计流形；4)搭建多个浅层神经网络来学习不同模态间的投影,为多模态数据补齐自身所缺失的其它模态下的统计表达；5)将多模态数据自身的统计表达与所学习到的其它模态下的统计表达进行级联,从而获得一个包含充分的场景信息的表达,并相应地将各模态的数据统一嵌入到公共统计流形中以进行跨模态检索。本发明为不同模态的数据生成充分场景表达来进行更加精确的跨模态检索。

• 单位
  华南理工大学