逻辑回归假设函数，代价函数的由来

逻辑回归：

我们知道，线性回归可以预测一个数值，但是这个数值的大小呢，不一定，然而对于分类问题，我们想要得到0或者1，怎么办？



 

拿这张图片的例子来说，我们想要预测这两类，可以明显的找到一条线性回归直线分开他们，但这时候我们不再需要什么预测数值，我们只想要0和1。假如现在我们找到了这条线，然后，线上方的红叉类元素带入直线方程后一定大于0；线下方的绿色圈圈元素带入直线方程后一定小于0；线之上的元素带入进去肯定等于0.这样我们有了天然的分类属性。

有没有什么函数能把大于0的函数都归类为1，或者把小于0的函数归类为0呢，有的，这就是sigmoid function





但凡大于0的，都收敛于1；小于0的，都收敛于0；等于0的，恰好等于0.5。这样联合起来，得到：


，其含义是输出变量＝1的可能性，带有一定的概率含义。

。

同样的，我们必然要定义代价函数，也叫损失函数。怎么评定这条直线是最好的分类边界呢？

依然如上，我们用平方误差作为代价函数，带入我们的

,很不幸，当我们以

为自变量，代价函数

为因变量时，这个


是一个非凸函数。而非凸函数是极其性质不友好的函数，我们需要得到一个凸函数。

因此，我们不再用平方误差作为代价函数，而是用下面的：


 



 


 

梯度下降算法依然不变，仍然记住，之前的特征缩放很有必要。



 

至此，基本上思路上还有算法层面上的内容都已经搞定。我们可以明确的看出一个通用的道理，衡量任何一个模型好坏都需要一个代价函数，然后是逻辑回归和线性回归的代价函数是极其不一样的。

然后就是最常用的梯度下降算法，求取函数的局部最小值。