机器学习目录结构

前言：监督式学习

第一部分 线性回归

最小均方差算法(LMS algorithm)

正规方程组

2.1. 矩阵导数

2.2. 最小方差回顾

用概率论原理阐述最小均方差

局部权重线性回归

第二部分 分类和逻辑回归

逻辑回归

引申：感知机学习模型

最大化对数似然函数——牛顿方法

第三部分 广义线性模型

指数族函数

构造广义线性模型(GLM)

2.1. 普通均方差

2.2. 逻辑回归

2.3. Softmax 回归

第四部分 生成学习算法

高斯判别分析

1.1. 多项式普通分布

1.2. 高斯判别分析模型

1.3 讨论：高斯判别分析与逻辑回归

朴素贝叶斯

2.1. 拉普拉斯平滑

2.2. 文字分类的事件模型

第五部分 支持向量机

间隔的直观理解

标记符

函数约束和几何约束

最优间隔分类器（一）

拉格朗日对偶问题

最优间隔分类器（二）

核函数

正规化和线性不可分

顺序最小化(SMO)算法

9.1. 坐标上升算法

9.2. SMO

第六部分 学习理论

偏差和波动平衡

联合边界定理、霍夫丁不等式和经验误差最小化

有限假设集H

无限假设集H

正规化和模型选择

5.1. 坐标上升算法

5.2. 特征选择

5.3. 贝叶斯统计和正规化

感知器和大间隔分类器

第七部分 k-means 聚类算法

第八部分 混合高斯模型和EM算法

第九部分 EM算法

Jensen 不等式

EM算法

回顾高斯混合模型

第十部分 因子分析

Σ的约束

多元高斯分布的边缘分布和条件分布

因子分析模型

EM算法应用于因子分析

第十一部分 主元素分析

第十二部分 独立元素分析

独立元素模糊

密度和线性变换

独立元素分析法

第十三部分 增强学习和控制

马科夫决策过程

值迭代与策略迭代

马科夫决策过程学习模型