策略梯度强化学习中的最优回报基线

作者：王学宁; 徐昕; 吴涛; 贺汉根

来源：计算机学报, 2005, (06): 1021-1026.

• 强化学习
• 策略梯度
• 部分可观测马氏决策过程
• 回报基线 reinforcement learning
• policy gradient
• partial observable Markov decision process
• reward baseline

尽管策略梯度强化学习算法有较好的收敛性,但是在梯度估计的过程中方差过大,却是该方法在理论和应用上的一个主要弱点.为减小梯度强化学习算法的方差,该文提出一种新的算法———Istate Grbp算法:在策略梯度算法Istate GPOMDP中加入回报基线,以改进策略梯度算法的学习性能.文中证明了在Istate GPOMDP算法中引入回报基线,不会改变梯度估计的期望值,并且给出了使方差最小的最优回报基线.实验结果表明,和已有算法相比,该文提出的算法通过减小梯度估计的方差,提高了学习效率,加快了学习过程的收敛.

• 单位
  中国人民解放军国防科学技术大学