非泊松工件流CSPS系统的Q学习算法适用性仿真研究

作者：苏娜; 唐昊^*; 戴飞; 王彬; 周雷

来源：控制理论与应用, 2020, 37(12): 2591-2600.

• 传送带给料加工站
• 马尔可夫调制泊松过程
• 半马尔可夫调制泊松过程
• Q学习

研究工件非泊松到达情况下,传送带给料加工站(CSPS)系统无法建立成半马尔可夫决策过程(SMDP)模型时, Q学习算法的适用性问题.首先,以马尔可夫调制泊松过程(MMPP)和半马尔可夫调制泊松过程(SMMPP)来模拟非泊松工件流,并在相同的平均到达率下,仿真评估其Q学习算法性能,并分别与泊松工件流情况下的Q学习算法性能进行比较:其次,在非泊松工件流情况下,观测以实时统计平均到达率作为工件标准泊松到达率的理论优化情况:最后讨论在MMPP和SMMPP叠加混合非泊松工件流情况下CSPS系统的Q学习算法性能.实验表明,在工件非泊松到达情况下Q学习算法依然能学到较好的控制策略,从而说明了CSPS系统中Q学习算法的适用性.

• 单位
  合肥工业大学