基于深度学习的目标跟踪算法由于其网络结构十分复杂,计算量大,难以在功耗受限的移动平台上部署,本文针对这一问题提出了一种基于FPGA进行加速神经网络向前推断的异构跟踪系统,使用YOLOv5目标检测算法,根据卷积神经网络特点设计硬件加速模块,改进Deepsort跟踪算法以获得更好的抗遮挡效果,设计指令集开发上位机使硬件模块可以加速YOLOv5目标检测速度,采取软硬件协同优化设计方法分配计算任务,使跟踪系统达到低功耗,实时性的效果,实测处理速度达到50 fps。