基于异构光子神经网络的多模态特征融合

作者：郑一臻; 戴键; 张天^*; 徐坤

来源：中国光学(中英文), 2023, 16(06): 1343-1355.

• 光子神经网络
• 多模态
• 注意力机制

当前光子神经网络的研究主要集中在单一模态网络的性能提升上，而缺少对多模态信息处理的研究。与单一模态网络相比，多模态学习可以利用不同模态信息之间的互补性，因此，多模态学习可以使得模型学习到的表示更加完备。本文提出了将光子神经网络和多模态融合技术相结合的方法。首先，利用光子卷积神经网络和光子人工神经网络相结合构建异构光子神经网络，并通过异构光子神经网络处理多模态数据。其次，在融合阶段通过引入注意力机制提升融合效果，最终提高任务分类的准确率。在多模态手写数字数据集分类任务上，使用拼接方法融合的异构光子神经网络的分类准确率为95.75%；引入注意力机制融合的异构光子神经网络的分类准确率为98.31%，并且优于当前众多先进单一模态的光子神经网络。结果显示：与电子异构神经网络相比，该模型训练速度提升了1.7倍。与单一模态的光子神经网络模型相比，异构光子神经网络可以使得模型学习到的表示更加完备，从而有效地提高多模态手写数字数据集分类的准确率。

• 单位
  信息光子学与光通信国家重点实验室; 北京邮电大学