您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

神经网络relu怎么反向求导？

偏差,神经元,神经网络神经网络relu怎么反向求导？

发布时间：2016-12-08加入收藏来源：互联网点击：

神经网络relu怎么反向求导？

回答于 2019-09-11 08:43:50

回答于 2019-09-11 08:43:50

RELU是神经网络中的激活函数。

在神经网络中从输入到输出前向传播中，是必然会经过激活函数的。因此，在反向传播调整的过程中，我们也需要对Relu根据链式求导法则调整偏差或梯度。

在神经网络中，对于每两层神经元之间的权重的调整是按照梯度来进行调整的，这个梯度调整的幅度和方向取决于前一层神经元经过激活函数后的输入值a，以及后一层神经元进入激活函数前的输出量的偏差。而对Relu反向求导，就是求神经元输出量（进入激活函数前的输出量）的偏差。请参考我的文章“BP反向传播算法的思考和直观理解 -卷积小白的随机世界”

对Relu反向就偏差，比如：L+1层的偏差时m，那么L层经过Relu之后的偏差就是m*wij.如果此时，L层Relu之前的输出是Zi。如果Zi小于0。那么，L层神经元经过Relu之前的偏差就是0；如果Zi大于0。那么，L层经过Relu之前的偏差还是m*wij。