机器学习基本概念

相关定义

什么是学习？

如果一个系统能够通过执行某个过程改进它的性能，这就是学习。（赫尔伯特·西蒙）

什么是机器学习？

对于某给定的任务T，在合理的性能度量方案P的前提下，计算机程序可以通过自主学习任务T的经验 E；随着提供合适，优质，大量的经验E，该程序对于任务T的性能逐步提高。（任务，经验，性能）

什么是统计机器学习？

（这里主要是针对监督学习的定义）

方法=模型+策略+算法

模型：所需要学习的条件概率分布或者决策函数；其决策空间包括所有可能条件概率分布或决策函数；

策略：学习的准则；两个基本策略，经验风险最小化，结构风险最小化；

算法：学习模型的计算方法，最优化方法。

机器学习分类

有监督学习

每组训练数据有一个明确的label。在建立模型时（模型），通过建立一个学习过程（算法），将预测结果和真实结果比较，不断调整，知道达到预期的准则（策略）要求。

无监督学习

数据没有label，学习模型是为了推断出数据的一些内在结构。常见的算法有Aprior（关联分析），K-means（聚类）等。

半监督学习

数据部分有label，部分没有，是上述两种方法的结合，通常首先对没有label的数据进行建模，然后对有label的数据预测。

强化学习

输出数据作为模型的反馈，模型必须及时的作出调整。更多应用在机器人控制及系统控制领域，常见算法有Q-learning及时间差学习。

监督学习分类

判别式学习

由数据直接学习决策函数 y=f(x) 或者条件概率分布P(y|x) 作为预测的模型;通过寻找不同类别之间的最优分类面，反应的是异类数据之间的差异，不能放映训练数据本身的特性。

特点：分类边界更灵活，效果更好，适用类别多，比较容易学习；缺点是不能反映数据特性；

常见的算法有：线性回归，Logistic回归，支持向量机，决策树，分类会归树（CART），K近邻，神经网络，高斯过程，条件随机场（CRF）。

生成式学习

由数据直接学习联合概率密度分布P(x|y)，然后求出条件概率分布P(y|x)作为预测模型；统计表示数据的分布情况，能够反映数据本身的特性，但是不关心分类边界的问题。

特点：信息更丰富，更灵活，适用于数据不完整情况；缺点是学习过程更复杂；

常见的算法有：高斯判别分析（GDA），朴素贝叶斯（NB），混合高斯模型，贝叶斯网络，马尔科夫随机场，深度信念网络（DBN），隐马尔科夫模型（HMM）。

两者的关系

生成学习可以得到判别学习，反之不行；