忘得少，数得好：一种域增量式自蒸馏终身人群计数基准（英文）

作者：高佳琪; 李婧琦; 单洪明; 曲延云; 王则; 王飞跃^*; 张军平^*

来源：Frontiers of Information Technology & Electronic Engineering, 2023, 24(02): 187-203.

• 人群计数
• 知识蒸馏
• 终身学习

人群计数在公共安全和流行病控制方面具有重要应用。一个鲁棒且实用的人群计数系统须能够在真实场景中不断学习持续到来的新域数据，而非仅仅拟合某一单域的数据分布。现有方法在处理多个域的数据时有一些不足之处：（1）由于来自不同域的固有数据分布之间的差异，模型在训练来自新域的图像数据后在旧域中的性能可能会变得十分有限（甚至急剧下降），这种现象被称为灾难性遗忘；（2）由于域分布的偏移，在某一特定域数据中训练好的模型在其他未见域中通常表现不佳；（3）处理多个域的数据通常会导致存储开销的线性增长，例如混合来自所有域的数据进行训练，或者是简单地为每一个域的数据单独训练一个模型。为克服这些问题，我们探索了在域增量式训练设置下一种新的人群计数任务，即终身人群计数。它的目标是通过使用单个模型持续不断地学习新域数据以减轻灾难性遗忘并提高泛化能力。具体来说，提出一种自蒸馏学习框架作为终身人群计数的基准模型（forget less,count better,FLCB），这有助于模型可持续地利用之前学到的有意义的知识来更好地对人数进行估计，以减少训练新数据后对旧数据的遗忘。此外，设计了一种新的定量评价指标，即归一化后向迁移（normalized BackwardTransfer,nBwT），用于评估模型在终身学习过程中的遗忘程度。大量实验结果证明了该模型的优越性，即较低的灾难性遗忘度和较强的泛化能力。

• 单位
  中国科学院自动化研究所; 复旦大学; 复杂系统管理与控制国家重点实验室