摘要

本发明公开了一种基于深宽度联合神经网络的多模态数据知识信息提取方法,包括步骤:1)收集智能制造工厂生产所产生的多模态数据,进行数据清洗预处理后存储至Hadoop分布式文件系统中;2)将存储在HDFS中的原始数据日志记录按模态性质进行细分建表,分别将多模态数据处理成单模态数据特征,包括语音,文本,图像等单模态数据特征表等并存储到HIVE数据库中;3)利用深宽度联合网络对多模态数据特征表进行特征提取,得到对应的高层抽象特征知识,从而实现深宽度联合网络对多模态数据知识信息的提取。