第二章 人工神经网络基础

1. 神经元是脑组织的基本单元，近860亿个。
2. 神经网络的组成：生物科学，大数据，超算，纳米科技。
3. 生物神经元由4部分组成：细胞体，轴突，树突，突触。
4. 生物信号传输过程：
   • 信号传输通过化学信号
   • 达到阈值标注，发射信号
   • 突触来控制信号抑制还是传输
5. 生物神经网络中各个神经元之间连接的强弱按照外
   部的激励信号作自适应变化，每个神经元随着接收
   到的多个激励信号而得到的综合结果呈现出兴奋或抑制状态。
6. 大脑的学习过程就是神经元之间连接强度随外部激
   励信息作自适应变化的过程，大脑处理信息的结果
   由各神经元状态的整体效果确定。
7. 神经元不仅是组成大脑的基本单元，也是大脑进行信息处理的基本元件。
8. 生物神经元的功能
   • 时空整合功能。生物神经元可以对同一时刻来自不同神经元的神经冲动进行组合处理，也可以对不同时刻来自同一突触传入的神经冲动进行组合处理。
   • 兴奋与抑制。兴奋是传入冲动的时空整合结果使得细胞膜电位升高，超过阈值，细胞进入兴奋状态，产生神经冲动；抑制是细胞膜电位低于阈值，细胞进入抑制状态，无神经冲动。
   • 突触时延和不应期。不应期是在相邻的两次神经冲动间需要时间间隔。在不应期内，突触对任何激励不做相应。
   • 学习，遗忘和疲劳。
   • 脉冲与电位转换。
   • 神经纤维传导。
9. 人工神经元模型应该具有生物神经元的基本特性。
10. 激活函数比较：
    • ReLu
    • Sigmoid

第三章 感知器

1. 神经元的状态取决于细胞自身或从其他的神经细胞收到的输入信号量。当输入或者激励信号量总和超过了某个阈值时，细胞体就会产生电脉冲，电脉冲会沿着轴突通过突触传播到其他神经元。
2. 感知器第一次引入了学习的概念，使得人脑具备的功能在数学中得到了一定的模拟。
3. 简单感知器模型是M-P模型的结构，是一种单层感知器模型，一层为输入层，另一层具有计算单元。
4. 感知器即单层神经网络，或者叫神经元，是组成神经网络的最小单元。这种神经元模型由一个线性累加器和传递函数单元组成。
5. 感知器的激活函数采用阶跃函数或符号函数。
6. 单层感知器只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力非
   常有限，只能用于解决线性可分的问题，不能解决异或问题。
7. 感知器的局限性：
   • 感知器的激活函数是单向阈值函数，感知器网络的输出值只能取0或1；
   • 感知器只能对线性可分的向量集合进行分类，不能解决异或问题；
   • 感知器采用纠错学习规则进行学习，当样本中存在奇异样本时，网络训练所花费的时间就很长。

第四章 反向传播（BP）网络

1. 梯度：函数在自变量x增加时，最大增长率的方向。
2. 负梯度：函数的最陡峭下降方向。
3. 损失函数：定义在单个样本上的，是指一个样本的误差。
4. 代价函数：定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。
5. 三种梯度下降优化框架
   • 批量梯度下降法
     • 每次使用全部的训练样本来进行学习
     • 优点：每次更新都会朝着正确的方向进行，最后能保证收敛于极值点
     • 缺点：每次学习的时间过长，并且如果训练集很大， 以至于需要消耗大量的内存们不能进行在线模型参数更新。
   • 随机梯度下降法
     • 每次从训练集中随机选择一个样本来进行学习
     • 优点：每次只随机选择一个样本来更新模型参数，因此每次的学习是非常快速的，并可以进行在线更新。
     • 缺点：每次更新可能不会朝着正确的方向进行，因此会带来优化波动，使得迭代次数增多，即收敛速度变慢。
   • 小批量梯度下降法
     • 在每次更新速度与更新次数中间做一个平衡，其每次更新从训练集中随机选择k个样本进行学习
     • 优点：相对于随机梯度下降，Mini-batch梯度下降降低了收敛波动性，即降低了参数更新的方差，使得更行更加稳定。相对于批量梯度下降，提高了每次学习的速度。不需要担心内存瓶颈。
6. 反向传播算法的思想：中间隐层由于不直接与外界连接，误差无法估计。 从后向前反向逐层传播输出层的误差，以间接计算隐层的误差，算法可以分为两个阶段：
   • 正向过程：从输入层经隐层逐层正向计算各单元的输出；
   • 反向过程：由输出误差逐层反向计算隐层个单元的误差，并用此误差修正前层的权值。

第六章 玻尔兹曼机

1. 玻尔兹曼机是第一个受统计力学启发的多层学习机，是一类典型的随机神经网络，属于反馈神经网络类型。
2. 玻尔兹曼机在神经元状态变化中引入了统计概率，网络的平衡状态服从玻尔兹曼分布，网络运行机制基于模拟退火算法。
3. 玻尔兹曼机结合多层前馈神经网络和离散Hopfield网络。
4. 离散Hopfield神经网络+模拟退火+隐单元 = 玻尔兹曼机
5. 对于BM机，随着网络状态的演变，从概率意义上网络的能量总是朝着减小的方向变化。

第七章 自组织映射神经网络

1. 自组织神经网络的典型结构：竞争层与输入层
2. 自组织神经网络属于竞争性学习网络，包括：
   • 输入层起观察作用，负责接收外界信息并将输入模式向竞争层传递；
   • 竞争层起分析比较作用，负责找出规律并完成模式归类。各神经元之间的虚线连接线即使模式生物神经网络层内神经元的侧抑制现象。神经细胞一旦兴奋，会对其周围的神经细胞产生抑制作用。
3. 自组织学习
   • 通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。
   • 自组织网络的自组织功能是通过竞争学习实现的。
   • 分类：在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中。
   • 聚类：无导师指导的分类。聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。
4. 相似性测量：余弦法，欧式距离法。
5. 竞争学习规则：网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个神经元被激活，称为获胜神经元，而其它神经元的状态被抑制，称为胜者为王规则。
6. 自组织映射的原理：一个神经网络接收外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的相应特征，而且这个过程是自动完成的。
7. SOM网采用的学习算法成为Kohonen算法，是在胜者为王算法基础上改进而来的，二者主要的区别在于调整权向量和侧抑制方式不同。
   • 侧抑制方式：在胜者为王算法中，只有获胜神经元才有权调整权向量，其他任何神经元都无权调整，因此它对周围所有神经元的抑制是封杀式的。SOM网的获胜神经元对其临近神经元的影响是由近到远，由兴奋转为抑制。
   • 调整权向量方式：SOM网的学习算法中，不仅获胜神经元本身要调整权向量，其周围的神经元在其影响下也要调整权向量。
8. 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网格以及学习方法。
9. 在构成多层网络时，层间的转移函数应该是非线性的，否则多层网格的计算能力并不比单层网络强，若干的线性单元层叠加还是线性单元。

第八章 卷积神经网络

1. 卷积神经网络(Convolutional Neural Network, CNN)其本质是一个多层感知机，成功的原因在于其所采用的局部连接和权值共享的方式。
   • 一方面减少了权值的数量，使得网络易于优化
   • 另一方面降低了模型的复杂度，减小了过拟合的风险。
2. 卷积操作的核心是：可以约减不必要的权值连接，引入稀疏或者局部连接，带来的权值共享策略大大减少参数量，相对的提升了数据量，从而可以避免过拟合现象的发生。