本发明公开了一种基于融合语义神经网络的图像分类方法,通过在神经网络中融入语义知识,克服了现有技术中神经网络依赖大量样本训练、网络结构复杂、模型层数多的问题。本发明实现的步骤是:(1)输入待分类的彩色图像;(2)获得训练样本集和测试样本集;(3)构建胶囊网络;(4)获取训练样本集和测试样本集彩色图像的语义分类预测结果;(5)训练胶囊网络;(6)对测试样本集进行分类。本发明具有在少量训练样本上分类准确率更高、网络结构简单的优点,可用于自然图像的分类。