本文是个人对于图灵异步图书《深度学习》的读书笔记，希望与各位分享，不足之处欢迎提出修改意见

第一部分 机器学习发展

一、早期的人工智能

1. 人工智能早期主要用于解决可以用一系列形式化数学规则来描述的问题。
2. 这种规则化的系统遇到的主要挑战在于解决对人来说很容易执行，但很难形式化描述的任务。
3. 代表实例为知识库方法。知识库是将世界的知识用形式化的语言进行硬解码，从而使计算机可以通过逻辑推理规则来自动理解形式化语言中的声明。其中Cyc项目通过一个推理引擎和Cylc语言声明的数据库就是基于此思想实现的项目。
4. 早期人工智能最大的弊端在于数据库是由人为输入的，对于复杂的项目来说极为耗费人力，且人类无法设计足够精细化的规则来描述世界。

二、机器学习（Meachine Learning）

1. 针对无法使用规则化的语言来描述世界，机器学习应运而生。
2. 机器学习为AI系统自己具备获取知识的能力，即从原始数据中提取模式的能力。它能够解决涉及现实世界知识的问题，并能做出看似主观的决策。
3. 简单的机器学习算法的性能很大程度上依赖于给定的表示，然而对于很多任务来说，我们很难直到应该提取哪些特征。

   三、表示学习（Representation Learning）

4. 表示学习是指通过机器学习来发掘表示本身，提取出当前任务所需要的表示特征，而不仅仅把表示映射到输出。
5. 典型实例是自编码器。自编码器包括解码器函数和编码器函数，编码器将输入数据转换为一种不同的表示，编码器将新的表示转换为原来的形式。自编码器的训练目标为新的数据尽可能多地保留信息，并希望有各种好的特性，针对不同的特性可以设计不同的编码器。
6. 表示学习的优点是学习到的表示往往比手动设计的表示更好，且只需要极少的人工干预。
7. 表示学习的主要困难来源于多个变差因素同时影响着我们能够观察到的每一个数据，例如在一张包含红色汽车的图片中，其单个像素在夜间可能接近于黑色，汽车的轮廓取决于视角等等。从原始数据中提取高层次、抽象的特征十分困难。

   四、深度学习（Deep Learning）

8. 深度学习通过其他较简单的表示来描述复杂的表示，改善了表示学习。
9. 深度学习相比较简单的表示学习，有了更抽象特征的额外层。
10. 衡量模型深度的方式：
    一种是架构所需执行的顺序指令的数目。

      另一种是将描述概念彼此如何关联的概念图的深度作为模型的深度。

深度学习

深度学习的发展浪潮

1. 20世纪40-60年代，深度学习的雏形初现在控制论中。

2. 20世纪80-90年代，深度学习表现为联结主义。

3. 直到2006年，真正以深度学习之名复兴。

   深度学习的神经观点

4. 深度学习的神经观点受两个主要思想启发：

   一个想法是大脑证明智能行为是可行的，因此建立智能的直接途径是逆向大脑背后的计算原理，并复制其功能。
   另一种看法是理解大脑和人类智能背后的原理。

5. 现代术语“神经网络”超越了目前机器学习模型的神经科学观点，诉诸于多层次组合。这个原理同样适用于那些普通的机器学习框架。

   联结主义

   联结主义的中心思想是网络将大量简单的计算单元链接在一起时，可以实现智能行为。

6. 分布式表示：系统 的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。

7. 反向传播在训练具有内部表示的深度神经网络中的成功使用及反向传播算法的普及。

第二部分 应用数学与机器学习基础