科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对现有算法仅考虑音乐或视频单模态特征，分类效率低下的问题，本文提出了基于多模态深度学习的音乐情感分类算法。首先设计了二维音频卷积神经网络，该网络将音频梅尔谱图作为输入，以学习音乐的音频特征；其次，设计了视频神经网络，以学习音乐视频的时空特征；采用多模态融合技术，将音频和视频特征融合，设计了多模态深度学习分类算法对音乐的情感进行分类。针对缺乏已标记音乐视频数据集的问题，本文构建了一个具有多样性的音乐视频数据集。基于该数据集进行实验，以验证所提出算法的有效性，并对比分析了不同优化器对单模态分类模型性能的影响。实验结果表明，与单模态情感分类器相比，多模态分类器能实现最佳的分类性能。
- 单位
