斯坦福大学机器学习课程笔记一但变量线性回归模型

课程的第一周第二讲讲述了但变量的线性回归模型。以房屋价格预测问题为例，讲述函数的选取，代价函数的度量的最小化问题。

如上图所示，试图找一个函数将输入（房屋面积）映射到输出（房屋价格），我们首先尝试线性模型，假设该函数为

 

参数为：

代价函数：

目标：

对于一元线性回归模型来说，这个模型我们已经比较熟悉了，当x为一维时，这就是最小二乘法的方程，当取值变化时，代价函数与两个参数之间的关系可能为：

最小化（通常是极小化）代价函数通常采用梯度下降（Gradient descemnt）算法,该算法的主要框架为：

1.初始化（比如赋值为0）

2.不停的改变，以减小代价函数

3.直到达到我们期望的最小值

需要注意的是，当我们选取不同的初始值时，所求得的极小值通常是不同的，直观理解如下图所示：