联合Transformer注意力机制的PM2.5浓度预测网络研究

作者：刘恩海; 付英健; 张智; 李妍^*; 赵娜; 张军

来源：安全与环境学报, 2023, 23(10): 3760-3768.

DOI：10.13637/j.issn.1009-6094.2022.1187

• 环境学
• PM2.5浓度预测
• Transformer注意力机制
• 时空建模

应用深度学习技术进行PM2.5浓度预测方法的研究，提出联合Transformer注意力机制的循环预测网络。模型的核心是多头注意力-长短期记忆网络(MH-LSTM),通过构建统一记忆单元捕捉时空特征关联。MH-LSTM单元使用LSTM联合Transformer注意力机制对时间变化和全局空间特征统一建模形成记忆信息。记忆信息“之”字流向跨越堆叠的MH-LSTM模块，高层记忆信息辅助下一时刻低层记忆信息的获取。应用该模型结合河北省生态环境监测中心提供的PM2.5浓度数据开展预报试验，结果表明，相对于卷积LSTM网络(ConvLSTM)、预测循环神经网络(PredRNN)、双重记忆网络(MIM),该模型预测的平均绝对误差分别减小了18.13%、10.23%、9.62%,实现了同时捕捉PM2.5浓度的时空相关性，具有更优预测性能。

• 单位
  河北工业大学