科研之友
微信
新浪微博
Facebook
分享链接
摘要
如今，社交媒体因其低成本、易于访问和快速传播而成为人们获取新闻资讯和了解实时事件的主要渠道之一。社交媒体为分析特定事件提供了包含文本和图像等多种模态的信息，这其中包含了大量无关事件和虚假信息。为此，结合文本-图像对来判断文本和图像是否提供了与特定事件相关的信息，从而筛选出与之无关的噪声事件。由于文本中的描述往往与相对应的图像中的情景相关联，因此提出了一个基于多模态注意力的结合文本和图像信息的方法进行事件分类。该方法能很好地关注到文本和图像中的重要信息并促进不同模态的信息交互。在CrisisMMD数据集上的实验结果表明，该方法优于6种强的基线方法，证明了所提多模态注意力模型能够有效融合不同模态的特征，得到更优的联合表示。
- 单位
