科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种多粒度特征融合的跨模态图文检索方法,解决了现有跨模态检索方法不能全面提取模态数据的信息,且不能在跨模态数据间进行细粒度信息交互的技术问题,实现包括：建立图文检索数据集；图文特征提取；构建基于注意力的细粒度跨模态交互网络和多粒度特征融合网络；使用联合损失函数对交互网络和融合网络进行训练,完成图文的双向检索。本发明使用预训练模型提取特征,用特征融合网络学习更强大的特征表示,使得本发明构建的跨模态检索模型在双路编码结构下具有较高的检索效率和精度,本发明检索精度和效率高,应用于人工智能领域,如信息推荐和信息检索等。
- 单位
