logistic regression 逻辑斯蒂回归(两类)
2013-12-14 10:42
190 查看
logistic regression 从字面上就可以看出,分类实际上也是一种特殊的回归。其与linear regression的不同是输出增加了一个非线性映射,映射到0-1,从而可以利用概率进行分类。
分类问题有很多种模型,包括logistic regression,SVM支持向量机,神经网络等等,logistic是分类问题中最基本的内容。很多教材上也有讲到。但是对logistic函数的来龙去脉讲的并不清楚,到底logistic函数是如何推导出来?我找了很多相关的资料,终于把线索渐渐理清。
在所有讨论之前,我们先把logistic regression二类分类的模型画出来吧,给大家一个直观的感受。
图0. logistic regression 二类分类模型
其中f代表sigmoid函数。可能大家会问了,既然是二类分类,为什么只有一个输出呢?答:假如输出的值是正例的概率,那么反例的概率自然可以由1-P(正例)算出来。所以只用一个变量就够了。好了接下来我们开始引入我们的问题。
问题
图中"+"代表样本值为1,"o"代表样本值为0,求它们的分界线。(来自这里,该页面提供文档及源码)
图1
建立模型
图1中有N个样本,每个样本只能出现"+"或"o",因此每个样本
服从二项分布,设
为正样本出现的出现的概率,二项分布可以写成这样:
(1)
其中每个
是由
和
确定的
(2)
那么函数f到底是具有什么样的形态呢?
我们知道二项分布属于exponential family(详见这篇博文),写成指数分布的好处有很多,包括求似然的时候连成可以变为连加等等。。
为了方便起见,我们先略去下标
,(1)式可以写为
(3)
整理得
(4)
这一步步看似好像我们把(1)变复杂了,非也。现在它可以和exponential famility的标准形式比较一下
exponential family 标准形式:
(5)
我们对比(4)和(5),那么很自然的就有
(6)
也即
(7)
(7)式就是大名鼎鼎的logistic function啊!如是我们就把它推导出来了!
我们再简要的总结一下。能够(-∞,∞)映射到[0,1]的函数有很多,为什么我们就要用logistic函数呢?
原因:
(1)logistic function能让伯努利的指数分布是标准型式,更简洁。
(2)logistic function的求导很简洁,其它函数不行。
导数
,多么简洁!
好了,中间我们插入了这么多,回过头来继续我们的分类问题。
将(7)代入(4),我们得到
(8)
由于
的取值是(-∞,+∞),我们可以令
,因此(8)可以写为
(9)
那么正反例的概率分别是
这和李航《统计学习方法》中逻辑斯蒂回归一节中是一致的,但该书并没有给出这两个公式怎么来的。
为了求解参数w, 我们对(1)式求最大似然,结合(1)(3)可得似然函数
(10)
这个式子很容易化简,得到
(11)
问题就转换成解这个最优化问题了。
我们同时把L关于w的导数也写在下面。
(12)
其中
的定义如(7)。
模型求解
思路一:解析法可行吗?为了求w我们只需令(12)为0就可以了。很可惜,对于(12)没有解析解。(这点与linear regression不同)
思路二:迭代法求解。包括梯度下降法和牛顿法。在linear regression线性回归一文中有介绍。
最终得到结果
好了,我们已经成功解决了线性分类问题。那么万一不是线性可分怎么办?我们将在下一节中解决。
参考资料
【1】http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.html (本文中例程及matlab源码来自这里)
【2】《Pattern Recognition and Machine Learning》第三四章,写的最本质,个人觉得最好的材料。下载这里
【3】《Machine Learning A Probabilistic Perspective》第七八九章,下载这里
【4】《统计学习方法》李航. 第六章。总结的很好,但是不够本质,没有给出公式的推导。看完【2】再看此书会很爽
分类问题有很多种模型,包括logistic regression,SVM支持向量机,神经网络等等,logistic是分类问题中最基本的内容。很多教材上也有讲到。但是对logistic函数的来龙去脉讲的并不清楚,到底logistic函数是如何推导出来?我找了很多相关的资料,终于把线索渐渐理清。
在所有讨论之前,我们先把logistic regression二类分类的模型画出来吧,给大家一个直观的感受。
图0. logistic regression 二类分类模型
其中f代表sigmoid函数。可能大家会问了,既然是二类分类,为什么只有一个输出呢?答:假如输出的值是正例的概率,那么反例的概率自然可以由1-P(正例)算出来。所以只用一个变量就够了。好了接下来我们开始引入我们的问题。
问题
图中"+"代表样本值为1,"o"代表样本值为0,求它们的分界线。(来自这里,该页面提供文档及源码)
图1
建立模型
图1中有N个样本,每个样本只能出现"+"或"o",因此每个样本
服从二项分布,设
为正样本出现的出现的概率,二项分布可以写成这样:
(1)
其中每个
是由
和
确定的
(2)
那么函数f到底是具有什么样的形态呢?
我们知道二项分布属于exponential family(详见这篇博文),写成指数分布的好处有很多,包括求似然的时候连成可以变为连加等等。。
为了方便起见,我们先略去下标
,(1)式可以写为
(3)
整理得
(4)
这一步步看似好像我们把(1)变复杂了,非也。现在它可以和exponential famility的标准形式比较一下
exponential family 标准形式:
(5)
我们对比(4)和(5),那么很自然的就有
(6)
也即
(7)
(7)式就是大名鼎鼎的logistic function啊!如是我们就把它推导出来了!
我们再简要的总结一下。能够(-∞,∞)映射到[0,1]的函数有很多,为什么我们就要用logistic函数呢?
原因:
(1)logistic function能让伯努利的指数分布是标准型式,更简洁。
(2)logistic function的求导很简洁,其它函数不行。
导数
,多么简洁!
好了,中间我们插入了这么多,回过头来继续我们的分类问题。
将(7)代入(4),我们得到
(8)
由于
的取值是(-∞,+∞),我们可以令
,因此(8)可以写为
(9)
那么正反例的概率分别是
这和李航《统计学习方法》中逻辑斯蒂回归一节中是一致的,但该书并没有给出这两个公式怎么来的。
为了求解参数w, 我们对(1)式求最大似然,结合(1)(3)可得似然函数
(10)
这个式子很容易化简,得到
(11)
问题就转换成解这个最优化问题了。
我们同时把L关于w的导数也写在下面。
(12)
其中
的定义如(7)。
模型求解
思路一:解析法可行吗?为了求w我们只需令(12)为0就可以了。很可惜,对于(12)没有解析解。(这点与linear regression不同)
思路二:迭代法求解。包括梯度下降法和牛顿法。在linear regression线性回归一文中有介绍。
最终得到结果
好了,我们已经成功解决了线性分类问题。那么万一不是线性可分怎么办?我们将在下一节中解决。
参考资料
【1】http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.html (本文中例程及matlab源码来自这里)
【2】《Pattern Recognition and Machine Learning》第三四章,写的最本质,个人觉得最好的材料。下载这里
【3】《Machine Learning A Probabilistic Perspective》第七八九章,下载这里
【4】《统计学习方法》李航. 第六章。总结的很好,但是不够本质,没有给出公式的推导。看完【2】再看此书会很爽
相关文章推荐
- 梯度下降法解逻辑斯蒂回归
- 李航·统计学习方法笔记·第6章 logistic regression与最大熵模型(1)·逻辑斯蒂回归模型
- 【学习笔记】斯坦福大学公开课(机器学习) 之逻辑斯蒂回归
- 逻辑斯蒂回归3 -- 最大熵模型之改进的迭代尺度法(IIS)
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- exercise 3 (逻辑斯蒂回归实现多分类问题)
- 数据挖掘--逻辑斯蒂回归的java实现(求最优点的方法用是梯度下降法)
- 影响逻辑斯蒂回归性能的因素
- 逻辑斯蒂回归-机器学习ML
- 白话机器学习-逻辑斯蒂回归-理论+实践篇
- 逻辑斯蒂回归
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 【Python-ML】SKlearn库逻辑斯蒂回归(logisticregression) 使用
- 逻辑斯蒂回归梯度下降法推导
- 【学习笔记】斯坦福大学公开课(机器学习) 之逻辑斯蒂回归(续)
- 学习笔记:逻辑斯蒂回归(logistic regression)
- 使用R完成逻辑斯蒂回归分类
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型