一种负载均衡的LSTM硬件加速器设计

作者：查羿; 潘红兵^*

来源：南京大学学报(自然科学), 2019, 55(05): 733-739.

DOI：10.13232/j.cnki.jnju.2019.05.004

• 神经网络加速器
• 模型压缩
• 负载均衡
• 嵌入式设计

神经网络在嵌入式端的应用日益广泛,为满足嵌入式端低功耗,低延迟等特点,通常的解决方案是针对长短记忆序列LSTM模型(Long-Short Term Memory)进行压缩,并定制专用的硬件加速器.当LSTM模型经过剪枝等压缩操作后,其网络模型将变得稀疏且不规则,会给PE(Process Element)运算单元带来负载不均衡的问题.通过排序的方法,将权重矩阵按一定的规则重新分发给各个PE单元,并在此基础上针对稀疏化的模型定制专用的硬件单元.在赛灵思zynq系列XCZU9EG-2FFVB1156E开发板上进行实验,实验结果显示,当PE单元多消耗0.314%硬件资源的情况下,其运算速度取得了2%的提升.

• 单位
  南京大学