LR推导
2015-10-14 22:39
295 查看
二分类逻辑回归:
假设样本x,预测值y∈{1,0}。
p(Y=1|x)=exp(wx+b)1+exp(wx+b)=π(x)
p(Y=0|x)=11+exp(wx+b)=1−π(x)
损失函数:
L=∏i=1Np(Yi=1|x)yip(Yi=0|x)1−yi=∏i=1Nπ(x)yi(1−π(x)1−yi
对数似然函数:
ℓ=logL=∑i=1Nyilogπ(x)+(1−yi)log(1−π(x))=∑i=1Nyi(wx+b−log(1+exp(wx+b)))+(1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)+(yi+1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)−log(1+exp(wx+b))
对对数似然函数关于w求导
∂ℓ∂wk=∑i=1Nyixki−exp(wx+b)xki1+exp(wx+b)=∑i=1N(yi−(1−11+exp(wx+b)))xki=∑i=N(yi−π(xi))xki
令上式为0,得到
∑i=1N(yi−1+11+exp(wx+b))xki=0
即
∑i=1N(1−yi)xki=∑i=1N(11+exp(wx+b))xki
到这里,我们应该就可以看到逻辑斯蒂回归是没有解析解的。
参考:
1.http://blog.csdn.net/zouxy09/article/details/20319673
2.http://bigbear2017.github.io/logistic-regression/
Written with StackEdit.
假设样本x,预测值y∈{1,0}。
p(Y=1|x)=exp(wx+b)1+exp(wx+b)=π(x)
p(Y=0|x)=11+exp(wx+b)=1−π(x)
损失函数:
L=∏i=1Np(Yi=1|x)yip(Yi=0|x)1−yi=∏i=1Nπ(x)yi(1−π(x)1−yi
对数似然函数:
ℓ=logL=∑i=1Nyilogπ(x)+(1−yi)log(1−π(x))=∑i=1Nyi(wx+b−log(1+exp(wx+b)))+(1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)+(yi+1−yi)(−log(1+exp(wx+b)))=∑i=1Nyi(wx+b)−log(1+exp(wx+b))
对对数似然函数关于w求导
∂ℓ∂wk=∑i=1Nyixki−exp(wx+b)xki1+exp(wx+b)=∑i=1N(yi−(1−11+exp(wx+b)))xki=∑i=N(yi−π(xi))xki
令上式为0,得到
∑i=1N(yi−1+11+exp(wx+b))xki=0
即
∑i=1N(1−yi)xki=∑i=1N(11+exp(wx+b))xki
到这里,我们应该就可以看到逻辑斯蒂回归是没有解析解的。
参考:
1.http://blog.csdn.net/zouxy09/article/details/20319673
2.http://bigbear2017.github.io/logistic-regression/
Written with StackEdit.
相关文章推荐
- LR性能测试指标分析
- LR 性能分析指标分析
- LR中Summary和Average Transaction Response Time报告中的平均响应时间不一样的原因
- 逻辑回归模型
- costFunctionReg
- 对线性回归、逻辑回归、各种回归的概念学习
- 重新认识--LR检查点
- 菜鸟初学网络广告
- 【机器学习】线性回归和逻辑回归的理解
- 逻辑回归不错的文章
- 文章标题
- 关于逻辑回归(Logistic regression)模型的简单思考
- LoadRunner错误信息解析
- 压力测试LoadRunner11下载地址及破解用户数
- 各种回归全解:传统回归、逻辑回归、加权回归/核回归、岭回归、广义线性模型/指数族
- 逻辑回归的MATLAB实现(二分类问题)
- 线性回归与逻辑回归
- 机器学习:逻辑回归
- MapReduce--Logistic Regression (逻辑回归)
- 支持向量机和逻辑回归的异同