今天，有了像TensorFlow、Keras或PyTorch这样的开源机器学习软件库,即使结构非常复杂，我们也可以用几行代码创建神经网络。尽管如此，神经网络背后的数学对我们中的一些人来说仍然是一个谜，拥有神经网络和深度学习背后的数学知识可以帮助我们理解神经网络内部发生的事情。它还有助于架构的选择、深度学习模型的微调、超参数的调整和优化。

感知器

图1.感知器的示意图

由Frank Rosenblatt在1957年发明的感知器是最简单的神经网络，它包含n个输入，只有一个神经元和一个输出，其中n是我们机器学习数据集的特征数。通过神经网络传递数据的过程称为正向传播，在感知器中进行的正向传播分为以下三个步骤。

步骤1：对于每个输入，将输入值xᵢ与权重wᵢ 相乘，然后将所有相乘后的值相加。权重-表示神经元之间连接的强度，并决定给定输入将对神经元输出产生多大影响。如果权重w 1的值大于权重w 2，则输入x 1对输出的影响将大于w 2。

输入和权重的行向量分别为x = [x₁，x 2，…，xₙ]和w = [w₁，w 2，…，wₙ]，其点积 由下式给出：

因此，总和等于向量x和w的点积

步骤2：将偏差b添加到相乘值的总和中，我们称之为z。偏差——也称为偏移量，在大多数情况下，将整个激活函数向左或向右移动以生成所需的输出值是必要的。

步骤3：将z的值传递给非线性激活函数。激活函数-用于将非线性引入神经元的输出，没有激活函数，神经网络将只是一个线性函数。此外，它们对神经网络的学习速度有显著的影响。感知器的激活函数是二元阶跃函数。我们将使用Sigmoid -也称为逻辑函数作为我们的激活函数。

其中，σ表示Sigmoid激活函数，在经过正向传播后获得的输出称为预测值 ŷ。

学习算法

该学习算法由反向传播和优化两部分组成。

反向传播（Backpropagation）：是backward propagation of errors的缩写，是指用于计算损失函数相对于权重的梯度的算法。但是，该术语通常用于指整个学习算法。以下两个步骤说明了在感知器中进行的反向传播。

第1步：为了知道我们离期望解有多远的估计，可以使用损失函数。一般采用均方误差作为回归问题的损失函数，交叉熵作为分类问题的损失函数。让我们来看一个回归问题，其损失函数为均方误差。

对整个训练数据集计算损失函数，其平均值称为成本函数C。

第2步：为了找到感知器的最佳权值和偏差，我们需要知道成本函数与权值和偏差的关系。这是在梯度(变化率)的帮助下完成的——一个量是如何相对于另一个量改变的。在我们的例子中，我们需要找到成本函数相对于权重和偏差的梯度。

让我们使用偏导数计算成本函数C相对于权重wᵢ的梯度。由于成本函数与权重wᵢ没有直接关系，因此我们使用链式法则。

现在我们需要找到以下三个梯度

让我们从成本函数（C）相对于预测值（ŷ）的梯度开始

y =[y₁ , y₂ , … yₙ]和ŷ =[ ŷ₁ , ŷ₂ , … ŷₙ]是实际值和预测值的行向量。因此，上述方程式简化为

现在让我们找到预测值相对于z的梯度。

z相对于权重wᵢ的梯度为

因此我们得到

偏差呢?-偏差在理论上被认为是输入值为1的常数。因此,

优化：优化是从一些可用替代方案中选择最佳项，在我们的案例中，优化是选择感知器的最佳权重和偏差。我们的优化算法是选择梯度下降法，它改变权值和偏差值，与成本函数的梯度值相对于相应权重或偏差值的负值成正比。学习率（α）是一个超参数，用于控制权重和偏差的变化量。

权重和偏差按如下更新，重复进行反向传播和梯度下降直到收敛。

结论

本文中解释了单个神经元的工作原理，但是这些基本概念适用于经过修改的各种神经网络。

相关：

特朗普：被无人机击毙前，伊朗将军正密谋炸我们大使馆【环球网报道 记者 侯佳欣】美国有线电视新闻网(CNN)最新消息称，美国总统特朗普当地时间9日表示，伊朗少将苏莱曼尼上周被美国无人机击毙之前，正密谋炸毁美驻伊拉克大使馆。CNN报道截图报道称，特朗普表示，“..

伊拉克-叙利亚边境什叶派民兵武装仓库遭空袭俄罗斯卫星通讯社报道截图【环球网快讯】俄罗斯卫星通讯社10日最新消息称，阿拉伯语媒体“Al Mayadeen”援引消息人士的话称，当地时间10日，伊拉克-叙利亚边境附近的卡车和人群遭到空袭，该地区的伊拉克什叶派民..