传统人工巡检轨道交通缺陷存在效率低、误差大等缺点,运用综合轨道检查车(CTIV)为检测平台,建立了一种车载式轨道交通图像识别智能巡检系统。利用CTIV采集连续轨道边界框图像建立数据集,在C++中使用应用程序开发框架(QT)设计了可视化数据标注的定制软件工具。通过全卷积网络(FCN)建立了多任务学习扩展网络架构,结合多个检测器可以提高轨枕和轨道弹力紧固件的缺陷检测性能。实验结果表明,提出方法在检测轨枕和紧固件缺陷时具有较高的精度。