深度神经网络（DNN）=人类大脑皮层结构？

　　深度学习和神经科学这两个学科现在都很大，我们在学习的过程中总是难以正确解读深度学习和神经科学之间的联系。

　　神经元

　　在深度学习领域，神经元是最底层的单元，如果用感知机的模型， wx + b， 加上一个激活函数构成了全部，输入和输出都是数字，研究的比较清楚，别的不说，在参数已知的情况下，有了输入可以计算输出，有了输出可以计算输入。

　　但在神经科学领域，神经元并不是最底层的单位，举例来说，有人在做神经元膜离子通道相关的工作。一个神经元的输入，可以分为三部分，从其他神经元来的电信号输入，化学信号输入，还有编码在细胞内的信号（兴奋，抑制类型，这里可以类比为 激活函数？），输出也是三个，电输出，化学输出，改变自身状态（LTP 长时程增强， LTD长时程抑制）。

　　我们是否足够了解神经元？ 我个人十分怀疑这一点，前几天还看到一个关于神经元的进展，大意是神经元不仅能对单一信号产生反应，还能对一定一定间隔的信号产生反应。 神经元的底层编码能力其实更强。我们神经科学发展了这么久，可能真的连神经元都没真正的搞清楚。

　　在这另外说一句，深度神经网络里面，大部分节点都是等同的，但是在人类神经网络里面，并不是这样。不同的脑区，甚至脑区内部，神经元的形态都可以有很大的差异，如V1内部的六层就是基于神经元形态的区分。从这个角度，人类神经系统要更复杂一些。我个人并不否认每一种神经元可以用不同初始化参数的节点来代替，但是目前来说，复杂度还是要比深度神经网络要高。

　　信号编码方式

　　再说编码方式，神经科学里面的神经元是会产生0-1 的动作电位，通过动作电位的频率来编码相应的信号（脑子里面的大部分是这样，外周会有其他形式的），而人工神经网络？大部分我们听到的，看到的应该都不是这种方式编码的，但是脉冲神经网络这个东西确实也有，（今天去ASSC 开会的时候看到了一个很有趣的工作，以后有空再写。）

　　神经网络的结构

　　目前的深度神经网络主要是三种结构，DNN（全连接的），CNN（卷积）， RNN（循环）。还有一些很奇怪的， 比如说AttenTIon 的？不好意思，文章还没看，不敢乱说……

　　放点图：

　　DNN：

　　CNN：

　　RNN：

　　出神经科学里面的网络结构，此处以V1 为例：

　　和大家想的不同，视觉区分了V1，V2，V3，V4，V5（MT），上面还有FFA， 和一些掌管更高级功能的脑区。在这里面每一个小的视皮层里面，并不是纯由神经元互相连接构成的，仍然存在不同的层级结构。这里去google 找了一张图，不用管具体的文章，主要说明的是V1 的精细结构和连接关系。V1 的主要功能是识别点和不同角度的线段（Hubel 和W 在上世纪50年代在猫上的工作），但是其实不止如此，V1 还对颜色有一定的感知。

　　如果在这个层面作比较，我自己的理解是，人类神经网络是 DNN+ CNN + RNN 再加上脉冲作为编码方式。层内更像DNN， 层间和CNN 很类似，在时间上展开就是RNN。

　　训练方式：

　　深度神经网络的训练方式主要是 反向传播，从输出层一直反向传播到第一层，每一层不断修正出现的错误。但是大脑里面并没有类似反向传播机制，最简单的解释，神经元信号传递具有方向性，并没机会把信号返回上一层。举个例子，我要拿起手边的杯子，视觉发现向右偏移了一点，那我会自然而然的移动整个手臂向左一点，然后试着去重新抓住杯子。好像没人是让手指，手，最后是手臂朝杯子移动，甚至多次才能最后成功吧。在此引用下一篇文章里面的图。

　　我们的大脑，更像最后 DFA 的原理。出错了，把误差送到一个更靠近输入的地方，然后重新训练。

　　记忆和遗忘：

　　提到记忆的话，这里主要说的是LSTM， LSTM 的记忆储存在每个节点的权重里面，同时有专门的 遗忘门 控制遗忘速率。这些都是以数字的形式存储的。在神经系统里面，记忆的存储是由一些脑区的突触的形成和消失来存储的。其实他们有一个比较共通的地方在于，他们在训练过程中都是渐变的。得益于反向传播机制和 神经系统的生物性，他们在训练过程中和在不断的学习过程中都只能以一个相对慢的速度发生改变，从学习速率角度来讲，他们是比较相似的。

　　然后我们来说遗忘。遗忘在LSTM 里面是通过门来控制的，在神经系统里面，我觉得是和STDP相关的，它的基础是 Hebb 假说， Fire Together， Wire Together， 同步放电的神经元倾向于建立一个更强的连接。STDP 拓展了这一点，考虑了两神经元放电的先后顺序带来的影响。

简单来说，如果突触前神经元