本发明公开了一种基于双目视觉的三维目标检测系统及方法,包括特征提取模块、二维目标检测模块、三维目标检测模块和目标深度值计算模块,其中,特征提取模块用于从目标的左视图和右视图中获取左特征图和右特征图,二维目标检测模块用于通过左特征图和右特征图预测二维目标框,三维目标检测模块用于预测目标的类别、物理尺寸、朝向角以及投影中心点坐标,目标深度值计算模块用于计算目标深度,然后根据投影矩阵恢复目标真实的三维目标框。本发明解决了现有方法检测准确率低的问题,有较好的识别精度和速度。