科研之友
微信
新浪微博
Facebook
分享链接
摘要
目前家装客服系统中主要依靠人工方式进行装修案例检索，导致该系统不能满足用户对咨询服务快捷、及时的需求而且人力成本高，故提出了一种基于特征融合的装修案例跨模态检索算法。针对多模态数据的语义信息挖掘不充分，模型检索精度低等问题，对现有的风格聚合模块进行了改进，在原始模块中引入通道注意力机制，以此来为每组装修案例中不同图片的特征向量添加合适的权重，从而增强包含更多有用信息的重要特征并削弱其他不重要的特征。同时，为了充分利用多模态信息，设计了一种适用于检索场景下的多模态特征融合模块，该模块能够自适应地控制两种不同模态的特征向量进行一系列的融合操作，以实现跨模态数据间的知识流动与共享，从而生成语义更丰富、表达能力更强的特征向量，进一步提升模型的检索性能。在自建的装修案例多模态数据集上将本文方法与其他方法进行了比较，实验结果表明本文方法在装修案例检索上具有更优越的性能。
- 单位
