全连接神经网络对原始特征空间剖分过程的可视化和编码

作者：纪超; 唐宏^*

来源：信号处理, 2020, 36(04): 486-494.

DOI：10.16798/j.issn.1003-0530.2020.04.002

• 神经网络
• 可视化
• 特征变换
• 剖分
• 编码

神经网络虽然在众多模式识别任务中取得了巨大的成功,但是由于其多层的非线性变换结构,使得人们难以直观理解和高效准确地使用这类模型,该问题在当前广泛使用的深度神经网络中表现得尤为突出。可视化技术以其简洁直观的特点成为我们理解复杂模型工作机制的重要手段,这使得神经网络可视化技术成为深度学习中一个学术研究热点。本文着眼于全连接神经网络对原始特征空间的剖分过程,从特征变换、剖分、编码三个角度分析了全连接神经网络在分类过程中的作用。对网络最小的分类单元——胞腔的形成和分解过程进行了分析和可视化。借助本文提出的激活编码的方式,使得我们对于无法直观可视化的高维空间的剖分情况能够进行一定程度的了解,并能够成为定义与讨论"压缩"与"自正则"两种现象的一种工具。通过分析相同训练数据下不同网络结构的表现以及相同网络结构在不同训练数据上的表现,揭示了自正则、胞腔数量以及网络学习能力之间的联系。

• 单位
  遥感科学国家重点实验室; 北京师范大学