逻辑回归之问题建模分析
2014-10-06 22:40
561 查看
首先，我们引入分类问题，其实分类问题和回归问题很相似，只是分类问题中我们要预测的y值是有限数量的离散值，而不是回归问题中的连续值。
为了说明，我们现在只讨论二分类问题，也就是说y只能取0和1两种值。
对于这种二分类问题，当然也可以用线性回归去学习，然后根据给的的x预测出y,只是当预测出的y大于1或者小于0的时候是没有意义的，因为y只能取0或者1.
为了解决这种问题，我们可以提出下面的假设
：
其中
被称之为逻辑函数（logistic function or sigmoid function）,g(z)的函数曲线如下图：
当z趋向正无穷时，g(z)趋向1，当z趋向负无穷时，g(z)趋向0.
因为这种特性，上面我们的假设
的值也就被限制在0和1之间。
这就等于给出了逻辑回归的模型，该如何选择参数θ呢？
从概率的角度出发，作出如下假设：
当然这个假设也可简写为：
假如每一样本都是互相独立的，就可以得出参数θ的似然函数：
自然得到对数似然函数：
现在就是要最大化这个对数似然函数，和线性回归类似，我们同样可以用梯度下降，关键还是对对数似然函数求导：
注意上面推导用到了逻辑函数g(z)的一个性质：
.
因此参数更新可以按照如下规则进行：
为了说明，我们现在只讨论二分类问题，也就是说y只能取0和1两种值。
对于这种二分类问题，当然也可以用线性回归去学习，然后根据给的的x预测出y,只是当预测出的y大于1或者小于0的时候是没有意义的，因为y只能取0或者1.
为了解决这种问题，我们可以提出下面的假设
：
其中
被称之为逻辑函数（logistic function or sigmoid function）,g(z)的函数曲线如下图：
当z趋向正无穷时，g(z)趋向1，当z趋向负无穷时，g(z)趋向0.
因为这种特性，上面我们的假设
的值也就被限制在0和1之间。
这就等于给出了逻辑回归的模型，该如何选择参数θ呢？
从概率的角度出发，作出如下假设：
当然这个假设也可简写为：
假如每一样本都是互相独立的，就可以得出参数θ的似然函数：
自然得到对数似然函数：
现在就是要最大化这个对数似然函数，和线性回归类似，我们同样可以用梯度下降，关键还是对对数似然函数求导：
注意上面推导用到了逻辑函数g(z)的一个性质：
.
因此参数更新可以按照如下规则进行：
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 线性回归、逻辑回归等问题对比分析总结
- 排队论与随机服务问题的建模分析及应用
- 商务随需应变与用例分析方法--网友关于工作流类型应用的建模方法问题的回复
- [Step By Step]SAP HANA PAL逻辑回归预测分析Logistic Regression编程实例LOGISTICREGRESSION（模型）
- 一个逻辑问题的分析：“天堂与地狱的守卫”
- 第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- [全程建模]关于分包的问题——用例、分析模型、设计模型的分包的作用和差异的对话
- 【转载】Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- [PAL编程规范]SAP HANA PAL逻辑回归预测分析Logistic Regression编程规范LOGISTICREGRESSION（模型）
- 机器学习、大数据、深度学习、数据挖掘、统计、决策和风险分析、概率和模糊逻辑的常见问题解答
- 一个逻辑问题的分析：“天堂与地狱的守卫”
- 商务随需应变与用例分析方法--网友关于工作流类型应用的建模方法问题的回复
- 逻辑分析推理（海盗分金问题）
- 逻辑分析推理（戴帽子问题）博弈
- [PAL编程规范]SAP HANA PAL逻辑回归预测分析Logistic Regression编程规范FORECASTWITHLOGISTICR（预测）
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
- 一道逻辑题的分析(3女儿年龄问题)
- 逻辑分析推理（倒水问题）
- 逻辑分析推理（找出轻球问题）
- Stanford机器学习---第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization