基于图卷积网络的卷积神经网络耗时预测算法

作者：李哲暘; 张如意; 谭文明^*; 任烨; 雷鸣; 吴昊

来源：北京航空航天大学学报, 2022, 48(12): 2450-2459.

DOI：10.13700/j.bh.1001-5965.2021.0149

• 耗时预测
• 图卷积网络
• 深度学习
• 网络结构搜索
• 模型部署

通过可学习的预测算法获取卷积神经网络(CNN)在硬件上的推理耗时越来越受到研究者的关注。现有耗时预测算法主要面临2个问题：卷积神经网络设计空间采样复杂度高，数据采集成本高；无法准确预测硬件编译器的算子融合技术对推理耗时的影响。为了解决上述问题，提出了一种基于图卷积网络(GCN)的耗时预测算法，将整体网络耗时看作多节点耗时补偿的累加，并利用图卷积对结构算子融合产生的耗时影响进行建模。同时，提出一种新型差分训练方案，减少采样空间规模，提高算法的泛化能力。在HISI3559硬件平台上对MB-C连续空间采样模型的耗时预测实验表明：所提算法可将耗时估计的平均相对误差从传统算法的302%降低到5.3%。另外，通过将传统耗时预测算法替换成所提算法进行耗时评估，可以使网络结构搜索算法搜索到耗时更加接近目标的高精度网络。

• 单位
  杭州海康威视系统技术有限公司; 杭州海康威视数字技术股份有限公司