摘要
针对实际工业过程的非线性和动态性特点,并考虑过程变量中存在的冗余信息,提出一种带自注意力机制的卷积有序神经元长短时记忆网络(ordered neurons long short-term memory, ONLSTM)多层时序预测模型。首先利用卷积神经网络降低局部特征维度,对输入变量进行局部特征提取,并通过构建层级重要性指标对长短时记忆网络(long short-term memory, LSTM)隐藏层神经元进行特定排序,以辨识层级结构信息,提高网络模型的重要信息判断能力;其次将自注意力机制引入ONLSTM网络,根据各输入变量之间内部相关性,自适应地为其分配不同的注意力权重,以提高模型预测性能;最后将模型应用于青霉素发酵过程的产物浓度预测,并与其他先进网络模型进行对比,验证了模型的有效性。
- 单位