科研之友
微信
新浪微博
Facebook
分享链接
摘要
强化学习策略迁移是一条降低深度强化学习训练消耗的有效途径，其中，局部策略迁移是在较小粒度上实现策略的迁移，它对整体策略性能的提升和策略灵活组合形成新整体策略有重要意义。但当今大多策略迁移研究聚焦于研究整体策略迁移，研究局部策略迁移的相对较少，对此本文提出了深度强化学习局部策略迁移方法。该方法借鉴了软件工程中“高内聚，低耦合”的思想，通过对作为策略载体的神经网络进行划分，使得不同子神经网络承载不同局部策略，然后通过对子神经网络的迁移，实现局部策略迁移，该方法支持局部策略灵活替换和组合，形成性能更优秀和适应新环境的新总策略。本文选取经典深度强化学习算法DQN作为实验算法，对比DQN算法使用本文方法前后的迁移能力和表现性能。结果表明，DQN算法使用本文方法后实现了局部策略迁移的同时还提升了约27.5%表现性能。
-
单位山西证券股份有限公司; 北方自动控制技术研究所; 太原理工大学
