统计学习的三要素

统计学习的三要素简单表述为：

方法=模型 + 策略 + 算法

模型

在监督学习过程中，模型就是所要学习的条件概率或决策函数，模型的假设空间包含有所有可能的条件概率分布或决策函数。

假设空间可以定义为决策函数的集合：



假设空间也可以定义为条件概率的集合：



这里决策函数表示的模型为非概率模型，条件概率表示的模型为概率模型。

策略

监督学习中预测值f(x)和真实值Y可能一致可能不一致，用一个损失函数来度量预测错误的程度，常见的损失函数为：



经验风险：



结构风险：



监督问题最终变成了经验风险或结构风险函数的最优化问题（1.11）和（1.13）。

[参考文献]

1、李航.统计学习方法。P（6-10）