基于边端协同的CNN推理加速框架

作者：郭永安; 周金粮; 王宇翱

来源：南京邮电大学学报(自然科学版), 2023, 43(03): 68-77.

DOI：10.14132/j.cnki.1673-5439.2023.03.008

• 协同CNN推理
• 分步决策
• 低时延
• 计算资源利用率

基于卷积神经网络(CNN)的移动应用程序通常处理的是计算密集型任务，然而传统的云推理和端推理方式在低时延和高准确率方面仍面临着挑战。针对以上问题，提出了一种基于边端协同的CNN推理框架，它能让一个端设备和多个边缘服务器协同工作以提供CNN推理服务。该方法综合考虑高度动态的网络带宽和设备负载情况，分步决策出模型多个最佳分割位置以优化计算和通信权衡。基于硬件测试平台的实验评估表明，相较于3种流行的CNN推理方法，该方法实现了14.3%～67.5%的推理加速，提升边缘服务器的计算资源利用率100%。

• 单位
  通信与信息工程学院; 南京邮电大学