浅谈逻辑回归
2017-07-30 11:53
169 查看
逻辑回归是我们经常使用的一种模型,网上介绍的文章很多,所以逻辑回归的详细内容这里就不介绍了。我的问题是:我们为什么要使用逻辑回归?跟其它分类、回归模型相比,逻辑回归有什么特点?
逻辑斯谛函数(又称sigmoid函数)的表达式为:
σ(x)=11+e−x (1)
其函数图像如下:
图1.
我们要最大化的目标即极大似然概率为:
L(θ)=∏P(y|x;θ) (2)
即为每个样本概率的乘积。
由图1我们可以看出,逻辑斯谛函数在x=0附近变化较快,而在离开x=0时变化速度迅速减小,直至接近于0。
如果Q: θx = 0为逻辑回归的回归平面,平面上的点对应于图1中x=0处,可以看到,在离回归平面较近时(即x=0附近),函数值的变化较快。因为极大似然估计为每个样本概率的乘积,所以导致L(θ)的变化较快,即离回归平面近的点对回归平面的影响较大。而那些远离回归平面的点,它们的概率接近1,变化速度接近于0,回归平面发生变化时它们的概率变化极小,所以它们对回归平面的变化影响很小。
结果就是离回归平面近的样本对回归平面产生较大影响,离回归平面远的样本对回归平面产生较小的影响,并且随着距离的增大,对回归平面的影响迅速减小,甚至可以忽略。
这就是逻辑回归的特点,也是逻辑斯谛函数的特点。
事实上人们发现现实生活中很多问题都表现出逻辑斯谛函数S形曲线的特点,所以逻辑斯谛函数被广泛采用在很多问题的建模上,如人口增长、信息传播等。这可能也是逻辑回归被我们大量使用的原因。
LMSE回归使用均方误差来做为回归的损失函数,表达式为:
E=∑(θx−t)2 (3)
我们的目标是使E最小。
x2是一个二次函数,它的函数曲线如下:
图2.
由图可以看出,函数在远离x=0时函数变化逐渐加快。
在图像上就是那些离平面θx - t = 0较远的点对回归平面的影响较大,而离平面θx - t = 0较近的点对回归平面的影响较小。
由于目标值t有两个取值1和-1,所以上述平面θx - t = 0相当于有两个:θx - 1 = 0和θx + 1 = 0,最终的回归平面θx = 0在这两个平面的中间。所以结果是,离回归平面较近和较远的样本都对回归平面产生较大影响,而只有那些离回归平面距离“适中”,即接近于θx=t的点对回归平面的影响较小。
那些离分离平面最近的点称为支持向量,支持向量机的分离平面完全由支持向量决定,跟其它的样本无关。
图3.
上图中三种模型的分离平面与我们上面的论述相一致:
逻辑回归的回归平面受离回归平面近的点的影响较大,受离回归平面远的点的影响较小。
LMSE回归的回归平面受左上角两个绿色样本的影响而向上倾斜。
支持向量机的分离平面只由两个支持向量决定。
另外我们看到,在本例中逻辑回归和支持向量机得到的分离平面很接近,但是支持向量机的推导和训练过程要比逻辑回归复杂很多。所以加州理工学院的Yaser教授说,支持向量机像一辆豪华轿车,它很好,但是我们要为之付出更多的代价,逻辑回归像一辆家用轿车,它比较廉价,但是可以拉我们去我们想去的地方。
逻辑回归的特点
逻辑回归使用逻辑斯谛函数定义输出值,做为样本分类的概率,然后对样本进行极大似然估计,来求得最优参数θ。逻辑斯谛函数(又称sigmoid函数)的表达式为:
σ(x)=11+e−x (1)
其函数图像如下:
图1.
我们要最大化的目标即极大似然概率为:
L(θ)=∏P(y|x;θ) (2)
即为每个样本概率的乘积。
由图1我们可以看出,逻辑斯谛函数在x=0附近变化较快,而在离开x=0时变化速度迅速减小,直至接近于0。
如果Q: θx = 0为逻辑回归的回归平面,平面上的点对应于图1中x=0处,可以看到,在离回归平面较近时(即x=0附近),函数值的变化较快。因为极大似然估计为每个样本概率的乘积,所以导致L(θ)的变化较快,即离回归平面近的点对回归平面的影响较大。而那些远离回归平面的点,它们的概率接近1,变化速度接近于0,回归平面发生变化时它们的概率变化极小,所以它们对回归平面的变化影响很小。
结果就是离回归平面近的样本对回归平面产生较大影响,离回归平面远的样本对回归平面产生较小的影响,并且随着距离的增大,对回归平面的影响迅速减小,甚至可以忽略。
这就是逻辑回归的特点,也是逻辑斯谛函数的特点。
事实上人们发现现实生活中很多问题都表现出逻辑斯谛函数S形曲线的特点,所以逻辑斯谛函数被广泛采用在很多问题的建模上,如人口增长、信息传播等。这可能也是逻辑回归被我们大量使用的原因。
LMSE回归
相比之下,我们再来看一下LMSE(最小均方误差)回归。LMSE回归使用均方误差来做为回归的损失函数,表达式为:
E=∑(θx−t)2 (3)
我们的目标是使E最小。
x2是一个二次函数,它的函数曲线如下:
图2.
由图可以看出,函数在远离x=0时函数变化逐渐加快。
在图像上就是那些离平面θx - t = 0较远的点对回归平面的影响较大,而离平面θx - t = 0较近的点对回归平面的影响较小。
由于目标值t有两个取值1和-1,所以上述平面θx - t = 0相当于有两个:θx - 1 = 0和θx + 1 = 0,最终的回归平面θx = 0在这两个平面的中间。所以结果是,离回归平面较近和较远的样本都对回归平面产生较大影响,而只有那些离回归平面距离“适中”,即接近于θx=t的点对回归平面的影响较小。
支持向量机
支持向量机是使离分离平面最近的点到分离平面的距离最大。那些离分离平面最近的点称为支持向量,支持向量机的分离平面完全由支持向量决定,跟其它的样本无关。
逻辑回归, LMSE回归与支持向量机相比较
下面是用上述三种模型做分类时的一个简单示例,图中样本的分布不对称,绿色样本有两个点离其它样本的位置较远:图3.
上图中三种模型的分离平面与我们上面的论述相一致:
逻辑回归的回归平面受离回归平面近的点的影响较大,受离回归平面远的点的影响较小。
LMSE回归的回归平面受左上角两个绿色样本的影响而向上倾斜。
支持向量机的分离平面只由两个支持向量决定。
另外我们看到,在本例中逻辑回归和支持向量机得到的分离平面很接近,但是支持向量机的推导和训练过程要比逻辑回归复杂很多。所以加州理工学院的Yaser教授说,支持向量机像一辆豪华轿车,它很好,但是我们要为之付出更多的代价,逻辑回归像一辆家用轿车,它比较廉价,但是可以拉我们去我们想去的地方。
相关文章推荐
- 浅谈利用逻辑回归来解决文本分类时的模型调优
- 浅谈利用逻辑回归来解决文本分类时的模型调优
- 浅谈利用逻辑回归来解决文本分类时的模型调优
- 信用评分之七--逻辑回归中的虚拟变量设置
- Andrew Ng机器学习笔记ex5 正则化的逻辑回归、偏差和方差
- 分类和回归(三)-逻辑回归
- 机器学习算法解析—逻辑回归分类
- 逻辑回归-梯度下降法 python实现
- 机器学习算法:逻辑回归
- 逻辑斯蒂回归模型
- 统计学习笔记之逻辑回归
- 对数线性模型之一(逻辑回归), 广义线性模型学习总结
- 【5】机器学习之简单美:逻辑回归
- 对线性回归、逻辑回归、各种回归的概念学习
- 文本分类---逻辑回归(1)
- 机器学习算法与Python实践之(七)逻辑回归(Logistic Regression)
- 01-逻辑回归的代价函数(交叉熵代价函数)以及梯度下降法
- 七月算法机器学习笔记4--线性回归与逻辑回归
- 机器学习-sklearn逻辑回归分析
- 逻辑回归