逻辑回归模型(一)——数学模型
2018-03-29 17:41
375 查看
学习李航的《统计学习算法》,今天周三,这周任务之一完成逻辑回归模型的博文记录。
逻辑回归(Logistic Regression)属于分类方法(classification)。逻辑回归与最大熵模型(maximum entropy)都属于对苏线性模型。
分布函数
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/2a03ea19d41a135dea086b2b12702170)
(1.1) 密度函数
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/4692eb141ad40c8b1b6bf4e6fea08852)
(1.2)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/17fcc580d8d27991182a516daba29746)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/76b7cf63d396f0ca03143cc3402e7206)
如图所示,F(x)为sigmoid函数,(即S形函数),以
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/9f471092df4f6e2c22627214eea6a5bb)
为中心对称,即
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/11230525fadedb95b26458ab6342ab50)
d536
sion),一种分类模型,由条件概率分布
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/a03f53a50c42ff137e5606c67a77fdc7)
表示。
其中,Y取值为0,1;X取值为实数。
条件概率分布如下:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/6c76de1b423ec4209984df6335a7893b)
(1.3)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/61ab4fd1690ec6a407e471374b2069a3)
(1.4)
其中,
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/e786da17e848aecba3b1bf37e1abe0ea)
为输入。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/13d499e130366a7199641c8363117383)
为输出。w为权值向量,b为偏置。基本分类方法为,按照(1.3)(1.4)分别计算出输入对应的
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/4cfb2700c7438fb5b604998ec74fa8c0)
,
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/635816ee6730ea6110e598e6d4415021)
的概率值,将x分类到概率较大的一方。【注】为方便书写和计算,将权值向量和输入向量加以扩充,仍记作w,x,即
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/da904f246b04ec92669028e6bc0721ed)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/319c2e7b5782c373db49b1d55a3779ff)
相应的模型变为:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/acd3d823489d6eb843c5f7c1bfff8ff7)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/34b074ba8456db221baf480328805ec5)
时间发生的几率(odds)为事件发生的概率与事件没有发生的概率的比值。假设发生概率为p,没有发生为1-p,则几率为
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/926007b593c41a12fdf6ac4ea1b83ed2)
.对数几率(log odds)或logit函数为
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/a7a967d6f77ae9cbec89695bdab13faa)
对于逻辑回归,
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/31ef1802beb8deeaddaa7568a3d8ef09)
。演算如下图:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/58bad2d01494cfbd7f6c95e99001964b)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/458987a018f3c47c453f71d221ab1ded)
,
设
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/dfea8623d82e493cdac6ef73d5c47eea)
,
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/251fb20fd24c66ea17e8f8d595b76c6e)
似然函数 :
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/dbcacdc0a5f59d46392187c0b94c9a01)
对数似然函数:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/7989b364cd7e12409122fed5c16d8210)
对L(w)求极大值,得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。假设得到的w的极大似然估计值为
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/ece85b9059c0d0e95706470b9cd89c5d)
,则得到逻辑回归模型为
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/f854219da6ae27eda3023613ff992e97)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201803/29/2f3ca6e9db097e6f9f1a8d79b0a17da5)
逻辑回归(Logistic Regression)属于分类方法(classification)。逻辑回归与最大熵模型(maximum entropy)都属于对苏线性模型。
【逻辑回归模型】
【逻辑分布】
X连续随机变量,服从逻辑分布是指:分布函数
(1.1) 密度函数
(1.2)
如图所示,F(x)为sigmoid函数,(即S形函数),以
为中心对称,即
【二项逻辑回归模型】
二项逻辑回归模型(binomial logistic regresd536
sion),一种分类模型,由条件概率分布
表示。
其中,Y取值为0,1;X取值为实数。
条件概率分布如下:
(1.3)
(1.4)
其中,
为输入。
为输出。w为权值向量,b为偏置。基本分类方法为,按照(1.3)(1.4)分别计算出输入对应的
,
的概率值,将x分类到概率较大的一方。【注】为方便书写和计算,将权值向量和输入向量加以扩充,仍记作w,x,即
相应的模型变为:
时间发生的几率(odds)为事件发生的概率与事件没有发生的概率的比值。假设发生概率为p,没有发生为1-p,则几率为
.对数几率(log odds)或logit函数为
对于逻辑回归,
。演算如下图:
【模型参数估计】
给定训练数据集,
设
,
似然函数 :
对数似然函数:
对L(w)求极大值,得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。假设得到的w的极大似然估计值为
,则得到逻辑回归模型为
相关文章推荐
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 统计学习方法笔记:逻辑斯谛回归与最大熵模型(上)
- 对数线性模型之一(逻辑回归), 广义线性模型学习总结
- Python 信用卡评分模型 自动分箱&逻辑回归&制作评分卡
- 逻辑回归Logistic Regression 模型简介
- 大数据下的逻辑回归训练模型方法论