一种基于双经验池优先采样的深度强化学习算法

作者：李思博; 臧兆祥; 吕相霖

来源：长江信息通信, 2023, 36(11): 73-76.

DOI：10.3969/j.issn.1673-1131.2023.11.020

• 稀疏奖励
• 双经验池
• 优先经验回放
• 奖励函数
• 深度强化学习

智能体在游戏、机器人控制、自动驾驶和自然语言处理等领域有着广泛应用。然而，稀疏奖励问题成为智能体学习和探索的困难之一。文章提出了改进算法，采用双经验池存储经验样本，并融入优先经验采样以提高采样效率。同时，对奖励函数进行重构，细分为多段奖励，以引导智能体学习。实验结果表明，改进算法优于传统DQN(Deep Q-Network)算法和同策略的A2C(Advantage Actor-Critic)算法，有效应对了稀疏奖励问题，并提高了智能体的学习效率。在经典Cartpole游戏环境中进行的实验验证了改进算法的优越性。

• 单位
  三峡大学