在疾病诊断过程当中通常会生成各种各样的医疗图像,利用计算机综合考虑来自不同模态的医疗图像来辅助诊断成了一个热门的研究方向。本方法利用深度神经网络获取不同模态的医疗图像的特征,通过设计损失函数的正则化项,使得这些特征在共同语义空间上保持结构上的相似性,来让网络学习到更加鲁棒的特征。本方法在CPM-RadPath2020和CheXpert这两个数据集上取得比一般方法更高的准确率,表明了其在多模态医疗图像分类问题上的有效性。