机器学习基石笔记1——学习问题

1、机器学习的本质

通过在数据中得到的经验来提高性能。

（1）冥冥中存在着一个隐藏的模式，我们的任务就是“发现”这个模式；

（2）这个模式是无法定义的（否则就不需要“学习”了）；

（3）然而我们能够拿到关于这个模式是数据——这些数据就是机器学习的学习对象。

我们通过这几条来判断一个问题是否需要用机器学习的方法解决。

2、学习问题的形式化

基本的符号：

输入：\(x \in X\)

输出：\(y \in Y\)

需要学习的隐藏模式\(\Leftrightarrow \)目标函数：\(f:X\rightarrow Y\)

数据\(\Leftrightarrow \)训练样本：\(D=\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})\}\)

假设：\(g:X\rightarrow Y\)（通过学习得到的公式）

机器学习大概就是如下图所示的过程：



因此我们最后得到的是对隐藏模式 \(f\) 的一个假设 \(g\) （因为我们根本不知道 \(f\) 长啥样，怎么知道得到的 \(g\) 一定是 \(f\) 呢，因此也只能说是假设）

机器学习的一般过程如下：



这里，假设集 \(H\) 中有好的假设，也有不好的假设，由算法 \(A\) 选择一个最好的假设 \(g\) 作为对目标函数 \(f\) 的近似。

学习模型 \(= A + H\)