代价函数（目标函数） cost function

Cost Function

Cost Function的思想：选择合适的参数θ，使得使用此参数的估计模型（线性回归等）得到的估计结果和真实结果之间的误差最小。

假设训练集为(x,y),用hθ(x)来表示估计的模型,则



Cost function也可以描述为：



通过梯度下降等方法来寻找cost function的最小值，就可以确定参数θ，从而使得模型的效果最好。

例子：线性回归 （Linear regression with one viriable)



通过对cost function的最小化，就可以求得最佳的参数θ







两个参数的时候将是三维空间中的一个曲面，寻找最小值（如上）

总结：cost function虽然形式简单，原理也很容易，但是在机器学习中确实经常使用到的用来确定参数的方式之一。正确深入的理解了cost function的含义对之后的机器学习的学习过程非常重要。

Reference: Machine Learning course on Coursera by Andrew Ng