科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于深度解耦框架的图文编码方法,步骤如下：获取待进行编码的数据,分离出每个样本的图像数据和对应的文本数据；将所述图像输入预先训练的图像编解码模型,对所述图像进行编码,得到图像向量；将对应的文本数据输入预先训练的文本编解码模型,对文本数据进行编码,得到文本向量；将图像向量和文本向量进行结合,得到一个具有公共特征的向量；并通过该公共特征向量解耦出图像特有特征向量和文本特有特征向量；最终,将图像特有特征向量和文本特有特征向量以及公共特征向量进行拼接,得到最终的图文编码。通过本发明,可同时编码图像数据和其对应的文本数据,得到高质量的图文编码表示。
- 单位
