科研之友
微信
新浪微博
Facebook
分享链接
摘要
近年来，视觉问答逐渐成为计算机视觉领域的研究热点之一。目前大多数研究是围绕2D图像的问答，但2D图像存在由视点改变、遮挡和重投影引入的空间模糊性。现实生活中，人机交互的场景往往是3D的，研究3D问答更具实际应用价值。已有的3D问答算法能感知3D对象以及它们的空间关系，并能回答意义复杂的问题。但是，由点云组成的3D场景和问题属于两种模态的数据，这两种模态数据之间存在明显的差异，难以对齐，两者潜在的相关特征容易被忽略。针对这一问题，提出了一种基于自监督学习的3D真实场景问答方法。该方法首次在3D问答模型中引入对比学习，通过3D跨模态对比学习对齐3D场景和问题，缩小两种模态的异构差距，挖掘两者的相关特征。此外，将深度交互注意力网络用于处理3D场景和问题，对3D场景中的对象和问题中的关键词做充分的交互。在ScanQA数据集上进行的大量实验表明，3DSSQA在EM@1这个主要指标上的准确度达到了24.3%,超过了目前最先进的模型。
- 单位
