科研之友
微信
新浪微博
Facebook
分享链接
摘要
传统的强化学习算法通过与环境进行大量交互以才能获取稳定的动作选择策略，且无法有效应对任务环境发生改变的情况，因此难以应用于实际问题。离线元强化学习通过使用包含多个任务的经验回放数据集进行离线策略学习，为复杂情况下智能体快速适应新任务提供了一种有效方法。将离线元强化学习算法应用于复杂任务将会面临两个挑战：首先，由于无法与环境进行充分交互，离线强化学习算法会错误估计数据集外动作的价值，进而选择次优动作；其次，元强化学习算法不仅需要学习动作选择策略，还需要具备稳健而高效的任务推理能力。针对上述挑战，本文提出一种结合对比预测的离线元强化学习算法。为了应对价值函数的错误估计问题，该算法使用行为克隆技术鼓励策略选择包含在数据集中的动作。为了提高元学习的任务推理能力，该算法使用循环神经网络对智能体上下文轨迹进行任务推理，并利用对比学习和预测网络来分析辨别不同任务轨迹中的潜在结构。实验结果表明，相比于现有方法，使用本文算法训练得到的智能体在面对未见过的任务时的得分提高了25%以上，并且具有更高的元训练效率和更好的泛化性能。
- 单位
