异构平台下卷积神经网络推理模型自适应划分和调度方法

作者：尚绍法; 蒋林^*; 李远成; 朱筠

来源：计算机应用, 2023, 43(09): 2828-2835.

• 张量虚拟机
• 卷积神经网络
• 模型划分
• 任务调度
• 特征分析

针对卷积神经网络（CNN）在异构平台执行推理时存在硬件资源利用率低、延迟高等问题，提出一种CNN推理模型自适应划分和调度方法。首先，通过遍历计算图提取CNN的关键算子完成模型的自适应划分，增强调度策略灵活性；然后，基于性能实测与关键路径-贪婪搜索算法，在CPU-GPU异构平台上根据子模型运行特征选取最优运行负载，提高子模型推理速度；最后利用张量虚拟机（TVM）中跨设备调度机制，配置子模型的依赖关系与运行负载，实现模型推理的自适应调度，降低设备间通信延迟。实验结果表明，与TVM算子优化方法在GPU和CPU上的推理速度相比，所提方法在模型推理准确度无损前提下，推理速度提升了5.88%～19.05%和45.45%～311.46%。

• 单位
  电子工程学院; 西安邮电大学; 西安科技大学