摘要

深度学习重振人工智能十年后的今天,我们提出一个理论框架来帮助理解深度神经网络在整个智能系统里面扮演的角色。我们引入两个基本原则:简约与自洽;分别解释智能系统要学习什么以及如何学习。我们认为这两个原则是人工智能和自然智能之所以产生和发展的基石。虽然这两个原则的雏形早已出现在前人的经典工作里,但是我们对这些原则的重新表述使得它们变得可以精准度量与计算。确切地说,简约与自洽这两个原则能自然地演绎出一个高效计算框架:压缩闭环转录。这个框架统一并解释了现代深度神经网络以及众多人工智能实践的演变和进化。尽管本文主要用视觉数据建模作为例子,我们相信这两个原则将会有助于统一对各种自动智能系统的理解,并且提供一个帮助理解大脑工作机理的框架。