基于均值偏差奖赏函数的放煤口控制策略研究

作者：罗开成; 高阳; 杨艺; 常亚军; 袁瑞甫

来源：煤炭工程, 2022, 54(09): 105-111.

• 综合机械化开采
• 放顶煤
• 智能化
• 强化学习

根据液压支架的空间布局以及放煤口动作过程的特性，将放煤过程抽象为马尔科夫决策过程。同时，以强化学习为框架，在无需样本训练的情况下，利用Q-learning算法在线学习顶煤赋存状态与放煤口动作之间的映射关系，从而实现放煤口动作的最优决策。为保证放煤过程中煤岩分界面均匀下降，在Q-learning算法中设计了一种基于均值偏差的奖赏函数，并在Linux系统中建立了工作面连续进刀放煤三维仿真实验平台，对算法的有效性进行了验证。实验结果表明，基于均值偏差奖赏函数学习到的放煤口控制策略，能够保证在放顶煤过程中煤岩分界面更加均匀地下降。在工作面连续进刀放煤条件下，基于均值偏差奖赏函数Q-learning的智能放煤工艺，放煤平均奖励可达13467.8,比原Q-learning智能放煤工艺提高8.8%,比单轮顺序放煤等传统工艺提高约10%。

• 单位
  河南理工大学; 郑州煤矿机械集团股份有限公司; 自动化学院