逻辑回归模型(一)——数学模型
2018-03-29 17:41
232 查看
学习李航的《统计学习算法》,今天周三,这周任务之一完成逻辑回归模型的博文记录。
逻辑回归(Logistic Regression)属于分类方法(classification)。逻辑回归与最大熵模型(maximum entropy)都属于对苏线性模型。
分布函数
![](https://img-blog.csdn.net/20180329150419192?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
(1.1) 密度函数
![](https://img-blog.csdn.net/20180329152423253?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
(1.2)
![](https://img-blog.csdn.net/20180329152811121?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180329152739748?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
如图所示,F(x)为sigmoid函数,(即S形函数),以
![](https://img-blog.csdn.net/20180329153034204?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
为中心对称,即
![](https://img-blog.csdn.net/20180329153622173?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
d536
sion),一种分类模型,由条件概率分布
![](https://img-blog.csdn.net/20180329153913736?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
表示。
其中,Y取值为0,1;X取值为实数。
条件概率分布如下:
![](https://img-blog.csdn.net/20180329154309679?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
(1.3)
![](https://img-blog.csdn.net/20180329154334777?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
(1.4)
其中,
![](https://img-blog.csdn.net/20180329154430588?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
为输入。
![](https://img-blog.csdn.net/20180329154530797?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
为输出。w为权值向量,b为偏置。基本分类方法为,按照(1.3)(1.4)分别计算出输入对应的
![](https://img-blog.csdn.net/20180329154921898?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
,
![](https://img-blog.csdn.net/20180329154933522?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
的概率值,将x分类到概率较大的一方。【注】为方便书写和计算,将权值向量和输入向量加以扩充,仍记作w,x,即
![](https://img-blog.csdn.net/20180329155317440?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180329155349852?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
相应的模型变为:
![](https://img-blog.csdn.net/20180329161037671?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180329161105282?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
时间发生的几率(odds)为事件发生的概率与事件没有发生的概率的比值。假设发生概率为p,没有发生为1-p,则几率为
![](https://img-blog.csdn.net/20180329155705811?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
.对数几率(log odds)或logit函数为
![](https://img-blog.csdn.net/20180329155816822?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
对于逻辑回归,
![](https://img-blog.csdn.net/20180329160658222?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
。演算如下图:
![](https://img-blog.csdn.net/20180329160521201?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180329165214286?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
,
设
![](https://img-blog.csdn.net/20180329165303777?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
,
![](https://img-blog.csdn.net/20180329165319906?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
似然函数 :
![](https://img-blog.csdn.net/20180329165518227?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
对数似然函数:
![](https://img-blog.csdn.net/20180329171154496?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
对L(w)求极大值,得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。假设得到的w的极大似然估计值为
![](https://img-blog.csdn.net/20180329171506602?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
,则得到逻辑回归模型为
![](https://img-blog.csdn.net/20180329171719962?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
![](https://img-blog.csdn.net/20180329171743632?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FteV9tbQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
逻辑回归(Logistic Regression)属于分类方法(classification)。逻辑回归与最大熵模型(maximum entropy)都属于对苏线性模型。
【逻辑回归模型】
【逻辑分布】
X连续随机变量,服从逻辑分布是指:分布函数
(1.1) 密度函数
(1.2)
如图所示,F(x)为sigmoid函数,(即S形函数),以
为中心对称,即
【二项逻辑回归模型】
二项逻辑回归模型(binomial logistic regresd536
sion),一种分类模型,由条件概率分布
表示。
其中,Y取值为0,1;X取值为实数。
条件概率分布如下:
(1.3)
(1.4)
其中,
为输入。
为输出。w为权值向量,b为偏置。基本分类方法为,按照(1.3)(1.4)分别计算出输入对应的
,
的概率值,将x分类到概率较大的一方。【注】为方便书写和计算,将权值向量和输入向量加以扩充,仍记作w,x,即
相应的模型变为:
时间发生的几率(odds)为事件发生的概率与事件没有发生的概率的比值。假设发生概率为p,没有发生为1-p,则几率为
.对数几率(log odds)或logit函数为
对于逻辑回归,
。演算如下图:
【模型参数估计】
给定训练数据集,
设
,
似然函数 :
对数似然函数:
对L(w)求极大值,得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。假设得到的w的极大似然估计值为
,则得到逻辑回归模型为
相关文章推荐
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归数学模型
- 逻辑回归模型(一)——数学模型
- 逻辑回归模型(一)——数学模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 逻辑斯蒂回归3 -- 最大熵模型之改进的迭代尺度法(IIS)
- 逻辑斯谛回归与最大熵模型
- 数学建模——统计回归模型
- 逻辑回归模型实例(by Fminunc and Gradient descent)
- 逻辑斯蒂回归模型与最大熵模型