摘要

随着深度强化学习的广泛应用,其安全性问题日益凸显。本文面向深度强化学习的安全问题探索模型防御方法,提出了基于模仿对抗策略的鲁棒性增强方法,搭建对抗状态生成器并优化生成最优对抗策略,同时与深度强化学习智能体联合训练提高模型鲁棒性。具体地,创新性的搭建基于模仿学习的对抗状态生成器,旨在生成具有泛化性的对抗样本,同时结合深度强化学习模型的反馈来增强对抗状态的攻击能力,以此间接性增强干净模型对异常干扰的适应能力,然后动态生成对抗样本参与深度强化学习模型的训练从而增强模型的鲁棒性。进一步,通过大量实验对比了多种防御方法以及不同扰动样本比例的防御效果,同时验证面对白盒和黑盒对抗攻击的性能,最后分析了不同对抗样本比例对模型鲁棒性的影响。