您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

前馈(鍓嶉绁炵粡缃戠粶)

神经元,神经网络,函数前馈(鍓嶉绁炵粡缃戠粶)

发布时间：2019-02-08加入收藏来源：互联网点击：

到目前为止，我们已经讨论了隐藏层中的计算。现在我们将讨论输出层中的计算。

带连接的通用网络

我们可以通过取与W3相关的权重的点积和前一层h 2加上偏置矢量b 3的激活来计算输出层的预激活a3。

预激活输出层

为了找出网络的预测输出，我们将一些函数应用于预激活值。

预测值

这两个输出将形成概率分布，这意味着它们的总和将等于1。

根据手头的任务选择输出激活函数，可以是softmax或线激活函数。

Softmax函数

我们将使用Softmax函数作为输出激活函数，这是深度学习中最常用的激活函数（用于分类问题）。

Softmax函数

在Softmax函数中，无论输入如何，输出始终为正。

现在，让我们在上面显示的带有4个输出神经元的网络上演示Softmax函数。这4个神经元的输出都用向量a表示。对于这个向量，我们将使用我们的softmax激活函数来得到预测的概率分布，如下所示，

应用Softmax函数

通过应用softmax函数，我们得到预测的概率分布，我们的真实输出也是概率分布，我们可以比较这两个分布来计算网络的损失。

损失函数

在本节中，我们将讨论二元分类和多类分类的损失函数。损失函数的目的是告诉模型在学习过程中需要进行一些校正。

通常，输出层中的神经元数量将等于类的数量。但是在二元分类的情况下，我们只能使用一个输出概率P（Y = 1）的sigmoid神经元，因此我们可以得到P(Y=0) = 1-P(Y=1)。在分类的情况下，我们将使用交叉熵损失来比较预测的概率分布和真实的概率分布。

二元分类的交叉熵损失由下式给出，

多类分类的交叉熵损失由下式给出，

学习算法：非数学版本

我们将看到使用梯度下降学习算法的非数学版本。该学习算法的目标是确定参数的最优取值，使深度神经网络的整体损失尽可能地减小。

学习算法是这样的，

我们随机地初始化所有权重w（w111，w 112，...）和b（b 1，b 2，...）。然后我们迭代数据中的所有观察结果，对于每个观察，从神经网络中找到相应的预测分布并使用交叉熵函数计算损失。根据损失值，我们将更新权重，使新模型的模型总损失小于模型的当前损失。

结论

在这篇文章中，我们简要地研究了感知器和sigmoid神经​​元等传统模型处理非线数据的局限，然后我们继续研究了如何使用简单的神经网络来解决复杂的决策边界问题。然后，我们详细研究了一般意义上的神经网络和神经网络背后的计算。最后，我们研究了深度神经网络的学习算法。

本文到此结束，希望对大家有所帮助呢。

 2/2   首页 上一页 1 2