极大似然法推导线性回归和逻辑回归代价（cost）函数

问题描述

现使用在Andrew-ng教程上的房价与房间面积的例子。
假设房价与房间面积之间存在着线性关系

。
在实际的预测中，由于不可能找到所有影响房价的因素，因此无法完美准确的预测房价与房子大小的关系。我们勉为其难，只需要找到一个最近似的关系，所以只要把其他因素都看成是一些与房子大小无关的小噪声就好了。于是就得出：

，其中的

就是一些与房子大小无关的小噪声，可以用随机变量E来表示。这样就得到了：

。

极大似然法解释

对于给定的数据集，我们可以把其中的数据看做是事实，而我们要做的工作就是得到参数为了使我们的模型更加接近事实，也就使得由数据集中的X得到对应的Y这件事发生的可能性最大。也即对于数据集中的数据D (Y, X)，

的值最大。显然对于每一组（x，y）他们之间是独立的。因此

，对于一组数据（x,y），

。

我们可以这样理解。对于一个输入X，事实表明结果为y，而通过我们的模型计算出的结果为

，我们的模型结果和实际结果之间的差距是由于存在着一个随机小噪声，而要使我们的模型结果与实际结果相同，那么这个随机小噪声应当取值为

。则

。

具体推导

现在我们假设这个随机小噪声满足N（0,1）的高斯分布。那么

。
则

。


,其中

。

要使得上式最大，就需要使得

最小，这和线性回归的代价函数

所表达的含义是一致的。

逻辑回归推导

说明：

接着上面对于线性回顾代价函数的推导。由于逻辑回归的输出即为其概率。因此这里使用极大似然法相对于线性回归来说更容易理解。则：

，

，则


。这里需要最大化上式，也就是最小化上式的相反数，即代价函数J。