第一章统计学习方法概论

李航的统计学习方法概论主要讲监督学习（supervised learning ）的一些常见的算法，是很好的作为机器学习，数据挖掘入门的基础理论书籍。

监督学习的三要素：模型model
策略strategy 算法 algorithm

基本概念：输入X，输出Y

训练集T={（x1，y1）,(x2,y2),......,(xN,yN)
}

1.输入变量和输出变量均连续的预测问题成为回归问题

2.输出变量为有限个离散变量的预测问题成为分类问题

3.输入输出均为变量序列的预测问题称为标注问题

Model

1.非概率模型假设空间

假设空间

2.概率模型

假设空间



Stragegy

策略：要在假设空间中找最优的模型，按什么标准来找

损失函数：度量预测的错误程度的函数，记做L(Y,f(X))

损失函数的期望称为风险函数（risk function)

通常将模型f(X)关于训练数据集的平均损失称为经验风险（emperical risk）

我们的最优策略就是经验风险最小化（ERM），使得经验风险最小的模型就是最优的模型，所以就变成了求解最优化问题

F为特征空间。

当模型为条件概率分布时，损失函数为对数损失函数，ERM就等价于极大似然估计。

为了防止过拟合，采用结构风险最小化（SRM）模型：等价于正则化（regularization）

J(f)为模型的复杂度，其前面的系数为惩罚系数。

结构风险最小化认为最优化的模型为求解最优化问题

Algorithm

上面我们讲了，求解最优模型就是求解最优化问题，这里讨论的算法即求解最优化问题的算法

为了防止过拟合（over-fitting）,采用如下模型选择方法

1.正则化

第一项是经验风险函数，第二项是正则化项。

在回归问题证，损失函数是平方损失，则

第一项经验风险较小的模型可能较复杂，这时第二项的模型复杂度会很高，正则化的作用是选择经验风险和模型复杂度同时较小的模型

2.交叉验证

交叉验证的思想是重

泛化能力是指学习方法学到的模型对位置数据的预测能力复的使用数据,把给定的数据进行切分，将切分数据集组合为训练集和测试集，在此基础上重复的进行训练和模型选择。

泛化能力。

第一项为训练误差，第二项为N的单调递减函数，d为模型的个数，N为训练集的大小

监督学习方法可以分为生成方法和判别方法，由生成方法学到的模型成为生成模型，判别方法学到的模型称为判别模型

1.生成模型：

，朴素贝叶斯模型，隐马尔科夫模型


2.判别模型
4000

二分类问题：

TP-将正类预测为正类  FN-将正类预测为负类

FP-将负类预测为正类  TN-将负类预测为负类