【深度学习学习记录】之一：开篇闲扯一些话

深度学习的历史可谓是一波三折，而就在最近阿尔法狗战胜李世乭，让深度学习再次回到人们的视线。

我对深度学习的真正意义上的认识，还得从2016.05.26日的一节课上说起。

讲课老师是信科软工所的李戈老师，他是一位较年轻的副教授，讲课风趣幽默，看上去很健谈，喜欢笑。

这位老师在三个小时的课程中，带领我们从只是听说过深度学习到对深度学习有个大致了解。全程我都非常认真的听了，这种感受已经在大三之后都几乎没有过了，我认为一方面是老师讲课的方式非常吸引人，另一方面是兴趣使然，我对人工智能方面还是非常感兴趣的。

对老师的讲课内容做了一个粗略的梳理，内容如下：

1、神经网络：
神经元：存储状态，传递信号
神经元状态：非激活/激活

2、基础：线代、高数、概率论

3、线性性质：相对关系不会变化，不能进行分类，因此监督式学习不能采用线性变化

线性函数：一个向量 * 一个矩阵，结果是将向量进行基变换，但是向量中的数据的相对位置不会发生变化、

非线性函数：非常重要！！！！！！！！！

4、多个神经元组成神经网络

5、神经网络的能力：隐藏层的数量，隐藏层越多，神经网络的能力越强。

多层神经网络结构： 输入层 ：隐藏层 ：··· ： 输出层

一个神经网络的层数：隐藏层层数+输出层（不含输入层）

6、Why deep?
1）仿生学角度：大脑皮层是有厚度的区分的

2）认知学角度：hubel wiesel试验 / 稀疏编码算法

输入 —> Low-Level Feature —>Mid-Level Feature —> High-Level Feature —> 输出

普遍特征—> 深度学习 —>抽象特征
抽象：不是直观可以获得的。
举例：通过考试分数来判断学生的学习能力，这是简单的特征抽取；但是通过考试分数来判断一个人的性格，则是抽象特征抽取。
前者对应简单神经网络，后者对应深度神经网络。

7、深度学习缺点：training过程复杂，计算量大

8、反向传播算法：back-propagation
梯度下降算法：局部最优特性

问题：梯度消失、梯度爆炸

9、深度神经网络的对头：SVM（核函数），SVM缺点：没有完全利用数据的维度；需要经过人工筛选特征，依赖于先验知识；can’t contain hierarchial structure

10、Hinton 2016
Basic papers on deep learning
Movies of the neutral network

ImageNet

11、深度学习在近年来又重新热门的原因：
　　1）计算能力增强
　　2） 数据集的增加

12、NLP：word2vec，依存树

记录的内容非常零散，根据老师所讲的内容。