一种卷积神经网络在加速器上的推理性能评估系统

作者：秦华标; 廖远达

来源：2022-04-11, 中国, ZL202210375974.2.

本发明公开了一种卷积神经网络在加速器上的推理性能评估系统,属于计算机视觉领域。包括三个模块：硬件性能分析模块、模型解析模块、时间预测模块。硬件性能分析模块用于测试并分析加速器的性能信息,包括运算速率和访存带宽。模型解析模块用于统计网络的复杂度信息,包括网络的结构信息、运算量、数据传输量。时间预测模块结合加速器的性能信息与网络的复杂度信息,计算评估网络在加速器上的推理时间。本发明支持不同的主流深度学习框架格式,具有适用性广的特点；同时,本发明在评估网络的推理性能时,充分考虑了硬件计算特性与网络结构特点,评估结果误差小；此外,本发明的评估过程无需将待评估网络部署至加速器,评估过程简单高效。

• 单位
  华南理工大学