基于强化学习DQN算法的内存控制器设计

作者：陈家扬; 王宇

来源：中国集成电路, 2023, 32(05): 31-61.

• 强化学习
• 内存控制器
• DRAM
• FPGA
• 地址映射

为了提高神经网络加速器的访存性能，本文介绍了一种基于强化学习算法DQN的内存控制器（DQNMC）。首先，利用特定的访存序列在强化学习DQN算法中迭代优化，训练出基于BIM(Binary Invertible Matrix)的地址映射策略。其次，将训练好的地址映射策略在Xilinx VC707 FPGA上基于MIG IP硬件实现。实验结果表明，内存控制器DQNMC在10组测试基准中均实现了最高行缓存命中率，系统平均访问延迟降低了23.84%，最大访问延迟降低了33.58%。DQNMC以几乎可以忽略的硬件代价来达到超过主流地址映射方法的性能。