科研之友
微信
新浪微博
Facebook
分享链接
摘要
在两方零和马尔科夫博弈中，由于玩家策略会受到另一个玩家策略的影响，传统的策略梯度定理只适用于交替训练两个玩家的策略.为了实现同时训练两个玩家的策略，文中给出两方零和马尔科夫博弈下的策略梯度定理.然后，基于该策略梯度定理，提出基于额外梯度的REINFORCE算法，可使玩家的联合策略收敛到近似纳什均衡.文中从多个维度分析算法的优越性.首先，在同时移动博弈游戏上的对比实验表明，文中算法的收敛性和收敛速度较优.其次，分析文中算法得到的联合策略的特点，并验证这些联合策略达到近似纳什均衡.最后，在不同难度等级的同时移动博弈游戏上的对比实验表明，文中算法在更大的难度等级下仍能保持不错的收敛速度.
- 单位
