摘要
[研究目的]针对多源多模态数据在情报感知应用中存在的问题,在梳理多源多模态数据融合方法的基础上提出一种新的多模态数据融合思路,以支撑细粒度情报感知的相关研究。[研究方法]首先,系统梳理了情报感知和多源多模态数据的特征,总结了多源多模态数据融合面临的挑战。其次,从不同的融合粒度详细调研了多源异构数据的融合方法;从不同的融合深度总结了多模态数据的语义融合方法。最后,提出了时序数据和地理空间数据辅助的多模态数据融合思路。[研究结论]面向情报感知的多源多模态数据融合中,细粒度的融合是基础,语义融合是核心,基于深度学习的融合方法是大势所趋,基于异质图神经网络的融合方法推动了情报感知更准确、全面和智慧的发展。
- 单位