科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对智能物联网中，搭载深度强化学习智能体的智能设备缺乏有效安全数据共享机制的问题，提出一种面向深度强化学习智能体的通用联邦强化学习（GenFedRL）框架。GenFedRL不需要共享深度强化学习智能体的本地私有数据，而通过模型共享技术实现共同训练，在保护各智能体私有数据隐私的同时，有效地利用其数据资源和计算资源。为应对现实通信环境的复杂性与满足加速训练的需要，为GenFedRL设计了基于同步并行的模型共享机制。结合常见深度强化学习算法自身的模型结构特点，基于FedAvg算法设计了适用于单网络结构与多网络结构的通用联邦强化学习算法，进而实现了具有同种网络结构的智能体间的模型共享机制，更好地保护各类智能体的私有数据。仿真实验表明，即使在大部分数据节点无法参与训练的恶劣通信环境下，常见深度强化学习算法智能体在所提框架上仍表现出良好的性能。
- 单位
