科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种图像描述的方法,其特点是采用双线性编码器与多模式解码器,以改善具有细粒度区域对象特征的图像描述。在编码器中,双线性池化用于编码细粒度的区域图像特征,使用transformer的简单编码器对图像的感兴趣区域特征进行编码,并且编码所有的特征,与门结构融合在一起,作为图像的整体编码特征。在解码器中,从细粒度的区域图像特征与类别特征中提取多模态特征,并将它们与整体编码特征融合在一起,解码语义信息以生成描述。本发明与现有技术相比具有为图像描述及其应用工作提供了一个新的解决方案,方法简便,效率高。
- 单位
