您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

神经网络的每一层网络，有什么实际的意义吗？

解释性,神经网络,模型神经网络的每一层网络，有什么实际的意义吗？

发布时间：2020-12-06加入收藏来源：互联网点击：

神经网络的每一层网络，有什么实际的意义吗？

回答于 2019-09-11 08:43:50

回答于 2019-09-11 08:43:50

这个问题涉及的是神经网络的可解释性（interpretability）问题。在训练完之后，神经网络的每一层网络都显然具有其实际的意义，只是这种意义通常很难被人类简单地理解。人类可以去尝试重复一个已经被训练的神经网络进行的计算，但这种计算的意义是不够明确的，因此通常认为神经网络的「可解释性」不强。

总体上来看，深度网络较浅层的神经元提取的是一些低层次的特征，较深层的神经元提取的是一些高级别的特征。在许多问题中，我们可以设计一些方法，让各个隐藏层所提取的特征变得可视化，但这种方法其实也不能很好地解释所有的问题，因而很多人讲神经网络视作「黑箱」。

在一些特定的问题中，模型可能具有较好的可解释性，例如一个经典的案例就是卷积神经网络（CNN）逐层所提取的一些特征，如下图所示，较低层的网络提取的是图像的边缘、纹理等特征，随着层级的提高，网络逐渐提取的是更为高层级、更整体的特征。不过这也并不是说 CNN 的可解释性就是完美的，只能说 CNN 比一般的神经网络有相对更好的可解释性，但我们仍然很难真正说清楚每一层网络，究竟有什么实际的意义。

在深度学习被提出之前，当时在机器学习领域最流行也最成功的方法其实是随机森林，而随机森林中的每一棵决策树都是具有很好解释性的——深度学习抛弃了这种解释性，从模型最终的表现上来看，它也有比各种随机森林更好的表现。从这个例子中我们也可以感受到，模型的可解释性跟模型的表现之间有着很复杂的关系。当你的模型很简单时，模型的可解释性越强，模型的表现可能会越好；但一旦模型变得复杂时，模型的可解释性和模型的表现之间可能就存在着矛盾。

回答于 2019-09-11 08:43:50

去看一些深度网络和物理系统联系的论文吧，比如和重整化群，entanglement renormalization，量子电路，tensor network等的联系。数学上每层是一个映射，物理上是一次状态演化或信息处理，几何上是曲线延伸。

回答于 2019-09-11 08:43:50

这是一个很好的问题，是区分入门应用者和真正研究人员的分水岭。

简要说来，网络里的每一层代表更高层次的表征和特征抽象。用人类的语言来说，就是对学习目标不同层次概念的概括。当然不是所有的网络层都能够一一用人能理解的概念描述的，有些特征只有计算机明白，或只在数学角度能被解释，而且难以证明其解法的唯一性。这也是为什么构建神经网络在今年的NIPS被有的研究人员称为“炼金术”的原因之一。

但是总的来说，是可以把网络看成一层层概念/特征的提取及叠加的。

回答于 2019-09-11 08:43:50

讲简单也很简单，本质上每层网络就是特征转换，是在特定空间中的转换而已，至于实际的意义，那要结合你的网络是用来干什么说的，分类、聚类、识别、预测、压缩、拟合等等都可以做，所以只能说网络层就是用来进行转换的。

回答于 2019-09-11 08:43:50

神经网络实现所谓的记忆和学习，其内在的机理究竟如何还是一个未知的理论难题。只是在应用方面，目前的深度学习确实可以收敛并实现分类预判，一般认为，每一层网络进行卷积滤波，就是一次特征抽象和提取的过程，这个过程逐步深入，人类已无法直观理解最终得到的模型，这也是目前深度学习的迷。