算法、模型的介绍

0. 模型间的内在关系

models comparision



逻辑回归是朴素贝叶斯的条件化（ conditional）的版本；

HMMs 是朴素贝叶斯的序列化（sequence）的版本；

1. 机器学习

降维：（x⃗ i∈Rp,z⃗ i∈Rq,p>q）

线性变换，z⃗ i=Aq×px⃗ i，要求 A 满秩（列正交）ATA=I

非线性变换：z⃗ i=f(x⃗ i)

Gradient-Based Learning

Introduction to Gradient-Based Learning

2. softmax function

Softmax function

3. LeNet

较低的网络层（lower-layers）交替地执行卷积和池化；

较高的网络层（higher-layers）通过一次全连接到达一个 MLP（Hidden layer+logistic regression）