您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
神经网络的每一层网络,有什么实际的意义吗?
解释性,神经网络,模型神经网络的每一层网络,有什么实际的意义吗?
发布时间:2020-12-06加入收藏来源:互联网点击:
神经网络的每一层网络,有什么实际的意义吗?
回答于 2019-09-11 08:43:50
回答于 2019-09-11 08:43:50
这个问题涉及的是神经网络的可解释性(interpretability)问题。在训练完之后,神经网络的每一层网络都显然具有其实际的意义,只是这种意义通常很难被人类简单地理解。人类可以去尝试重复一个已经被训练的神经网络进行的计算,但这种计算的意义是不够明确的,因此通常认为神经网络的「可解释性」不强。
总体上来看,深度网络较浅层的神经元提取的是一些低层次的特征,较深层的神经元提取的是一些高级别的特征。在许多问题中,我们可以设计一些方法,让各个隐藏层所提取的特征变得可视化,但这种方法其实也不能很好地解释所有的问题,因而很多人讲神经网络视作「黑箱」。
在一些特定的问题中,模型可能具有较好的可解释性,例如一个经典的案例就是卷积神经网络(CNN)逐层所提取的一些特征,如下图所示,较低层的网络提取的是图像的边缘、纹理等特征,随着层级的提高,网络逐渐提取的是更为高层级、更整体的特征。不过这也并不是说 CNN 的可解释性就是完美的,只能说 CNN 比一般的神经网络有相对更好的可解释性,但我们仍然很难真正说清楚每一层网络,究竟有什么实际的意义。
在深度学习被提出之前,当时在机器学习领域最流行也最成功的方法其实是随机森林,而随机森林中的每一棵决策树都是具有很好解释性的——深度学习抛弃了这种解释性,从模型最终的表现上来看,它也有比各种随机森林更好的表现。从这个例子中我们也可以感受到,模型的可解释性跟模型的表现之间有着很复杂的关系。当你的模型很简单时,模型的可解释性越强,模型的表现可能会越好;但一旦模型变得复杂时,模型的可解释性和模型的表现之间可能就存在着矛盾。
回答于 2019-09-11 08:43:50
去看一些深度网络和物理系统联系的论文吧,比如和重整化群,entanglement renormalization,量子电路,tensor network等的联系。数学上每层是一个映射,物理上是一次状态演化或信息处理,几何上是曲线延伸。
回答于 2019-09-11 08:43:50
这是一个很好的问题,是区分入门应用者和真正研究人员的分水岭。
简要说来,网络里的每一层代表更高层次的表征和特征抽象。用人类的语言来说,就是对学习目标不同层次概念的概括。当然不是所有的网络层都能够一一用人能理解的概念描述的,有些特征只有计算机明白,或只在数学角度能被解释,而且难以证明其解法的唯一性。这也是为什么构建神经网络在今年的NIPS被有的研究人员称为“炼金术”的原因之一。
但是总的来说,是可以把网络看成一层层概念/特征的提取及叠加的。
回答于 2019-09-11 08:43:50
讲简单也很简单,本质上每层网络就是特征转换,是在特定空间中的转换而已,至于实际的意义,那要结合你的网络是用来干什么说的,分类、聚类、识别、预测、压缩、拟合等等都可以做,所以只能说网络层就是用来进行转换的。
回答于 2019-09-11 08:43:50
神经网络实现所谓的记忆和学习,其内在的机理究竟如何还是一个未知的理论难题。只是在应用方面,目前的深度学习确实可以收敛并实现分类预判,一般认为,每一层网络进行卷积滤波,就是一次特征抽象和提取的过程,这个过程逐步深入,人类已无法直观理解最终得到的模型,这也是目前深度学习的迷。
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |