摘要
深度神经网络极大地推动了视觉感知与自然语言处理任务的发展,但当前大多数深度模型执行的是静态推理图,即网络结构(深度)在推理阶段固定不变。这种静态推理模式使模型无法根据输入样本的特性(如复杂度)自适应地调节深度,无法平衡模型推理效率和预测精度。因此以深度自适应神经网络为代表的动态神经网络近年来引起了广泛的关注,该类神经网络能够根据输入样本的复杂度自动地调节推理深度。从三个角度对现有工作进行系统性的归纳总结:深度自适应网络的结构设计;样本复杂度估计方法的研究;深度自适应神经网络的训练方法。最后讨论了该方向未来有价值的问题。
- 单位