斯坦福大学机器学习——logistic回归

Logistic回归是一种最常见的二分类算法，它利用已知样本对模型进行参数估计，属于监督算法。

一、 logisitic 函数

形如

的函数称为logistic函数，也称sigmoid函数（S形函数），
其函数图像如下图所示：



logistic函数具有如下性质：

1) 连续性：在区间

连续；

2) 对称性：关于点(0,0.5)对称；

3) 单调性：在区间

单调递增；

4) 有界性：在区间

取值范围为：[0,1]。

二、 Logistic回归模型

Logistic回归的预测函数（hypotheses）为：





输入：m个训练样本

，其中



输出：回归系数

。

令：

，那么，



以上两式可以合并为如下形式：





它的极大似然方程为：












化为对数形式：











由于

与

具有相同的单调性，因此求出

的最大值即可。












对

求偏导：





利用stochastic梯度上升规则对各

进行迭代求值：





这看上去与LMS的迭代公式类似，但是

不同，因此是两个不同的迭代公式。

最后将求出的

带入

，输入新的样本会得到

的值，如果

,那么

，该样本属于标签1的概率更大，将该样本归为标签1所在的类；反之，若

，该样本属于标签0的概率更大，则将该样本归为标签0所在的类；