科研之友
微信
新浪微博
Facebook
分享链接
摘要
强化学习算法依赖于精心设计的外在奖励，然而Agent在和环境交互过程中，环境反馈给Agent的外在奖励往往是非常稀少的或延迟，这导致了Agent无法学习到一个好的策略。为了解决该问题，从新颖性和风险评估这两方面设计一个内在奖励，使Agent能充分地探索环境以及考虑环境中存在不确定性动作。该方法分为两部分，首先是新颖性描述为对当前状态-动作和转换后状态的访问次数，将具体执行的动作考虑进去；其次是动作的风险程度，风险评估从累积奖励方差考虑，来判断当前动作对状态的意义是有风险的还是无风险的。该方法在Mujoco环境下进行了评估，实验验证该方法取得了更高的平均奖励值，尤其是在外在奖励延迟的情况下，也能取得不错的平均奖励值。说明该方法能有效地解决外在奖励稀疏的问题。
-
单位贵州大学; 贵州广播电视大学
