Andrew Ng 机器学习笔记（三）

欠拟合与过拟合的概念

如果我们以一个房价的训练集来做出一个线性的预测，如果我们做一个一次函数，那房价的预测线条应该是一个向上攀升的直线；如果做一个二次函数，可能有些部分会陡一点有些部分会平缓一点，像是右边那样

；如果是6次函数，那可能就这样了

。我们可以发现一点，如果用一次函数表示，那么数据中某些非常明显的模式没有被正确的表示出来，我们叫它“欠拟合”，如果用6次函数，这种算法仅仅反映了所给特定性质的数据，没有展现出一般的规律，我们叫它“过拟合”。

“参数学习算法”

参数学习算法是一类有固定数目的参数来进行数据拟合的办法。

“非参数学习算法”

它是一个参数向量会随着m增长的算法（m表示训练集的大小），即算法的维持是基于整个训练集的。

“局部加权回归”

这个办法可以让我不必太担心对训练数据的选择

下面我我们要引入一个新的分类算法：

如果用线性回归的话，一些离散的数据，诸如y={0,1}这样的，分布图大概是这个样子

如果用线性回归的话搞出这样一条直线显然是非常糟糕的，因为全新的训练集会极大的改变这个拟合的结果变化幅度影响会非常的大，因此线性回归只能用在线性的训练集上。为了改进这种情形，我们推导出Logistic回归来进行分类，它是一种线性的分类器。Andrew大神给了一堆推导公式，放不上来，但是听他的意思这个公式的推导还是非常重要的，可以看一下这位大神的博客：http://www.cnblogs.com/tornadomeet/p/3395593.html上面有严谨的推导过程。