今天，有了像TensorFlow、Keras或PyTorch这样的开源机器学习软件库,即使结构非常复杂，我们也可以用几行代码创建神经网络。尽管如此，神经网络背后的数学对我们中的一些人来说仍然是一个谜，拥有神经网络和深度学习背后的数学知识可以帮助我们理解神经网络内部发生的事情。它还有助于架构的选择、深度学习模型的微调、超参数的调整和优化。

感知器

图1.感知器的示意图

由Frank Rosenblatt在1957年发明的感知器是最简单的神经网络，它包含n个输入，只有一个神经元和一个输出，其中n是我们机器学习数据集的特征数。通过神经网络传递数据的过程称为正向传播，在感知器中进行的正向传播分为以下三个步骤。

步骤1：对于每个输入，将输入值xᵢ与权重wᵢ 相乘，然后将所有相乘后的值相加。权重-表示神经元之间连接的强度，并决定给定输入将对神经元输出产生多大影响。如果权重w 1的值大于权重w 2，则输入x 1对输出的影响将大于w 2。

输入和权重的行向量分别为x = [x₁，x 2，…，xₙ]和w = [w₁，w 2，…，wₙ]，其点积 由下式给出：

因此，总和等于向量x和w的点积

步骤2：将偏差b添加到相乘值的总和中，我们称之为z。偏差——也称为偏移量，在大多数情况下，将整个激活函数向左或向右移动以生成所需的输出值是必要的。

步骤3：将z的值传递给非线性激活函数。激活函数-用于将非线性引入神经元的输出，没有激活函数，神经网络将只是一个线性函数。此外，它们对神经网络的学习速度有显著的影响。感知器的激活函数是二元阶跃函数。我们将使用Sigmoid -也称为逻辑函数作为我们的激活函数。

其中，σ表示Sigmoid激活函数，在经过正向传播后获得的输出称为预测值 ŷ。

学习算法

该学习算法由反向传播和优化两部分组成。

反向传播（Backpropagation）：是backward propagation of errors的缩写，是指用于计算损失函数相对于权重的梯度的算法。但是，该术语通常用于指整个学习算法。以下两个步骤说明了在感知器中进行的反向传播。

第1步：为了知道我们离期望解有多远的估计，可以使用损失函数。一般采用均方误差作为回归问题的损失函数，交叉熵作为分类问题的损失函数。让我们来看一个回归问题，其损失函数为均方误差。

对整个训练数据集计算损失函数，其平均值称为成本函数C。

第2步：为了找到感知器的最佳权值和偏差，我们需要知道成本函数与权值和偏差的关系。这是在梯度(变化率)的帮助下完成的——一个量是如何相对于另一个量改变的。在我们的例子中，我们需要找到成本函数相对于权重和偏差的梯度。

让我们使用偏导数计算成本函数C相对于权重wᵢ的梯度。由于成本函数与权重wᵢ没有直接关系，因此我们使用链式法则。

现在我们需要找到以下三个梯度

让我们从成本函数（C）相对于预测值（ŷ）的梯度开始

y =[y₁ , y₂ , … yₙ]和ŷ =[ ŷ₁ , ŷ₂ , … ŷₙ]是实际值和预测值的行向量。因此，上述方程式简化为

现在让我们找到预测值相对于z的梯度。

z相对于权重wᵢ的梯度为

因此我们得到

偏差呢?-偏差在理论上被认为是输入值为1的常数。因此,

优化：优化是从一些可用替代方案中选择最佳项，在我们的案例中，优化是选择感知器的最佳权重和偏差。我们的优化算法是选择梯度下降法，它改变权值和偏差值，与成本函数的梯度值相对于相应权重或偏差值的负值成正比。学习率（α）是一个超参数，用于控制权重和偏差的变化量。

权重和偏差按如下更新，重复进行反向传播和梯度下降直到收敛。

结论

本文中解释了单个神经元的工作原理，但是这些基本概念适用于经过修改的各种神经网络。

,神经网络hsbc hk 背后的数学概念

相关：

支付宝集五福玩法公布；数十万家用摄像头遭破解■2020年支付宝新春集五福来了2020年支付宝新春集五福活动今天正式宣布，从1月13日（腊月十九）开始到1月24日（除夕）。今年的支付宝集五福活动继承了此前的五福活动玩法，包括AR扫福字、蚂蚁森林浇水得福字等，更重要的是今年支付宝带来了全家福卡、福满全球的活动。支付宝五福产品经理冠华公布了全新五福的玩法，今年新增了全家福卡，拥有此卡，即可有机会抽取“帮还全家花呗”全年大奖，最高48888元。另外今年，支付宝新春集..

特斯拉掀开了苏州企业一角文 | 孙滢这其实是一条已不算新闻的新闻：发生在2019年9月，被披露出来是在同年11月，我看到则是在2019年年底。然而，就是这条已不算新闻的新闻，却让我一下子兴奋起来。我知道，我找到了解决困扰我多日的一个问题的办法！先来看看这条新闻：苏州苏净安发空调有限公司被上海特斯拉超级工厂评为2019年度最佳供应商。再来看看困扰我多日的问题：2019年11月，我和同事陪同中机联执行副会长于清笈到苏州机电企业调研。调研过程中，..

电影《半个喜剧》：半是喜感，半是忧伤　　半是喜感，半是忧伤　　韩晓征　　当电影《半个喜剧》片尾曲“如果我不是我……”响起的时候，观众有的起身离去，有的依然坐在那里盯着屏幕——关于爱情与婚姻，自我与他人，相爱与独立……你只能猜想，沉浸于片尾曲的人，至少有其中一条，触痛了他们或麻木或敏感的神经。　　《半个喜剧》的故事说起来有点狗血：高富帅官二代郑多多与好哥们儿孙同分享自己在北京的单元房，由此引出一系列的误会与冲突。郑多多与未婚妻高璐冷..

孙红雷新剧回归硬汉形象 参加综艺让他获得角色烟火气　　孙红雷新剧回归硬汉形象，接受本报专访回应“综艺咖”标签　　参加综艺让我获得角色烟火气　　本报记者 徐颢哲　　孙红雷主演的新剧《新世界》即将于下周一在东方卫视开播。该剧由《红色》的编剧徐兵自编自导，孙红雷、张鲁一、万茜、尹昉主演，讲述1949年新中国成立前22天北平发生在三兄弟之间的家国情仇。2019年的一部《带着爸爸去留学》，孙红雷有些出戏的“猫爸”形象让不少观众失望。此次《新世界》中，他将再次以硬汉..

陆地航母，集结完毕！2020年春运在即 中国铁路南昌局集团公司 南昌西动车组运用二所投入使用 与南昌西动车组运用一所 共同服务春运 　　从夜空俯瞰 两个动车所的存车线上灯火通明 两艘“陆地航母”并驾齐驱 1000余名动车机械师 时刻准备 一列列完成检修的动车组 集结完毕，蓄势待发！ 你被帅到了吗？ 　　记者/郭一淳 陈丹阳 【编辑:刘欢】

救出祖孙二人后，他们又一次冲进了火场……　　2019年年底，福建省宁德市一处茶厂宿舍起火，火势逐渐蔓延至周边。一位年近8旬的老妇和她5岁的孙子被困在一间着火的房屋里，房子随时有坍塌的危险。 　　危急之时，退伍军人林泽和水电师傅林生群，挺身而出，毅然冲进火场，将被困的祖孙俩救出。 　　祖孙两人被困火中，路人冲进火场救援 　　宁德茶厂位于宁德市蕉城区金涵乡，厂区内有不少联排宿舍，建于上世纪70年代，采用砖木结构。当天上午11点左右，由于供电线路受损..

这里的百姓为保净水不种地、不养鱼，却反而致富了！　　这里的百姓为保净水不种地、不养鱼，却反而致富了！原来吃的是这碗饭 　　丹江口水库是南水北调工程中线工程的核心水源地，水库生态环境的好坏，直接关系着南水北调沿线群众的用水安全。 　　河南省南阳市淅川县是丹江口水库的水源核心区。丹江口水库区一级水源保护区全部在淅川县内，全县56.6%的面积被划进中线工程核心水源区内，80.3%被列入生态红线以内。如何破解守护与发展的矛盾？ 　　南水北调中线工程从鄂豫交界处..

周星驰母亲爆料，社团强迫周星驰拍戏，结果起了严重冲突周星驰母亲凌宝儿在接受采访时说出了一个，很多人都不知道的消息。周星驰母亲凌宝儿在现场说明，在一天晚饭时候周星驰接到了一个很陌生的电话，他原本是不想接的，就发消息说有什么事工作时间在谈，可这个陌生电话收到消息还是接连打了过来，周星驰觉得别人别有事需要帮忙，所以就赶紧接了电话。打过电话的人自称社团大佬，想找周星驰拍戏，并表示很多明星都被从外地带了回来拍戏，就少周星驰了并说明周星驰你一定要来，那些艺人..

再生医学高科技示范园开工建设 　　国内首个再生医学高科技示范园近日在北京正式开工建设。 　　再生医学高科技示范园，以幸福益生再生医学产业园为基地来建设。该基地一期工程2400㎡GMP标准厂房于2018年2月投产，二期工程26亩于2019年12月21日正式开工。 　　示范园的开工建设将助力再生医学产业集群形成，带动和促进我国再生医学产业发展。（李经）

过年买阿胶小心“非驴皮”成分 春节快到了，很多人喜欢买些像阿胶这样的传统滋补品来自己服用，或作为礼物送给家里的亲戚长辈。但你知道吗？市面上销售的阿胶可能有假。去年10月，本报曾推出《“阿胶”变“马皮胶”？半数阿胶查出马皮成分》的报道，曝光了一个行业“公开的秘密”——用马皮、牛皮代替驴皮熬胶。新春佳节临近，记者发现，这些“假阿胶”仍然在市场流通。 近日，山东某行业协会报送了200批次以阿胶为原料类别的产品至青岛海关技术中心，监测..