为了对复杂环境中的目标进行长时间的精确跟踪,在压缩跟踪算法的基础上提出一种尺度自适应的多模型压缩跟踪算法。该算法首先利用离线学习获得目标的尺度约束集,建立目标的多尺度模型,实现尺度的自适应选择;其次,利用随机投影矩阵对多尺度图像特征进行降维,减少算法计算量;最后,利用多模型分类器在线学习训练朴素贝叶斯分类器实现目标跟踪。实验结果表明,本文算法在跟踪尺度变化的目标和外观变化的目标时,跟踪性能有了较大改善,虽然处理时间有一定程度的增加但仍满足实时性的要求。