科普：深度学习真的那么难吗？

层吧。这个期间，双方各种磨合，柴米油盐酱醋茶。

3.稳定期。对应于输出层，是否合适，就看磨合得咋样了。大家都知道，磨合很重要，怎么磨合呢？就是不断学习训练和修正的过程嘛！比如女朋友喜欢草莓蛋糕，你买了蓝莓的，她的反馈是negaTIve，你下次就别买了蓝莓，改草莓了。

看完这个，有些小伙可能要开始对自己女友调参了。有点不放心，所以补充一下。撩妹和深度学习一样，既要防止欠拟合，也要防止过拟合。所谓欠拟合，对深度学习而言，就是训练得不够，数据不足，就好比，你撩妹经验不足。要做到拟合，送花当然是最基本的，还需要提高其他方面，比如，提高自身说话的幽默感等，因为本文重点并不是撩妹，所以就不展开讲了。这里需要提一点，欠拟合固然不好，但过拟合就更不合适了。过拟合跟欠拟合相反，一方面，如果过拟合，她会觉得你有陈冠希老师的潜质，更重要的是，每个人情况不一样，就像深度学习一样，训练集效果很好，但测试集不行！就撩妹而言，她会觉得你受前任（训练集）影响很大，这是大忌！如果给她这个印象，你以后有的烦了，切记切记！

深度学习也是一个不断磨合的过程，刚开始定义一个标准参数（这些是经验值，就好比情人节和生日必须送花一样），然后不断地修正，得出图1每个节点间的权重。为什么要这样磨合？试想一下，我们假设深度学习是一个小孩，我们怎么教他看图识字？肯定得先把图片给他看，并且告诉他正确的答案，需要很多图片，不断地教他，训练他，这个训练的过程，其实就类似于求解神经网络权重的过程。以后测试的时候，你只要给他图片，他就知道图里面有什么了。

所以训练集，其实就是给小孩看，带有正确答案的图片，对于深度学习而言，训练集就是用来求解神经网络的权重，最后形成模型；而测试集，就是用来验证模型的准确度。
对于已经训练好的模型，如下图所示，权重（w1，w2.。.）都已知。

图4

图5

我们知道，像上面这样，从左至右容易算出来。但反过来我们上面讲到，测试集有图片，也有预期的正确答案，要反过来求w1，w2.。..。.，怎么办？

绕了半天，终于该求偏导出场了。目前的情况是：

1.我们假定一个神经网络已经定义好，比如有多少层，每层有多少个节点，也有默认的权重和激活函数等。输入（图像）确定的情况下，只有调整参数才能改变输出的值。怎么调整，怎么磨合？刚才我们讲到，每个参数都有一个默认值，我们就对每个参数加上一定的数值？，然后看看结果如何？如果参数调大，差距也变大，你懂的，那就得减小？，因为我们的目标是要让差距变小；反之亦然。所以为了把参数调整到最佳，我们需要了解误差对每个参数的变化率，这不就是求误差对于该参数的偏导数嘛。

2.这里有两个点：一个是激活函数，这主要是为了让整个网络具有非线性特征，因为我们前面也提到了，很多情况下，线性函数没办法对输入进行适当的分类（很多情况下识别主要是做分类），那么就要让网络学出来一个非线性函数，这里就需要激活函数，因为它本身就是非线性的，所以让整个网络也具有非线性特征。另外，激活函数也让每个节点的输出值在一个可控的范围内，这样计算也方便。

貌似这样解释还是很不通俗，其实还可以用撩妹来打比方：女生都不喜欢白开水一样的日子，因为这是线性的，生活中当然需要一些浪漫情怀了，这个激活函数嘛，我感觉类似于生活中的小浪漫，小惊喜，是不是？相处的每个阶段，需要时不时激活一下，制造点小浪漫，小惊喜。比如，一般女生见了可爱的小杯子，瓷器之类都迈不开步子，那就在她生日的时候送一个特别样式，要让她感动得想哭。前面讲到男人要幽默，这是为了让她笑，适当的时候还要让她激动得哭。一哭一笑，多整几个回合，她就离不开你了。因为你的非线性特征太强了。

当然，过犹不及，小惊喜也不是越多越好，但完全没有就成白开水了。就好比每个layer都可以加激活函数，当然，不见得每层都要加激活函数，但完全没有，那是不行的。

关键是怎么求偏导。图2和图3分别给了推导的方法，其实很简单，从右至左挨个求偏导就可以。相邻层的求偏导其实很简单，因为是线性的，所以偏导数其实就是参数本身嘛，就跟求解x？的偏导类似。然后把各个偏导相乘就可以了。

这里有两个点：一个是激活函数，其实激活函数也没啥，就是为了让每个节点的输出都在0到1的区间，这样好算账嘛，所以在结果上面再做了一层映射，反正都是一对一的。由于激活函数的存在，所以在求偏导的时候，也要把它算进去，激活函数，一般用si