【Todo】LR-逻辑回归
2016-12-18 22:24
471 查看
因为逻辑回归对于计算广告学非常重要。也是我们平时广告推荐、CTR预估最常用到的算法。所以单独开一篇文章讨论。
参考这篇文章:http://www.cnblogs.com/sparkwen/p/3441197.html
逻辑回归其实仅为在线性回归的基础上,套用了一个逻辑函数,但也就由于这个逻辑函数,逻辑回归成为了机器学习领域一颗耀眼的明星,更是计算广告学的核心。
逻辑回归其实仅为在线性回归的基础上,套用了一个逻辑函数,但也就由于这个逻辑函数,逻辑回归成为了机器学习领域一颗耀眼的明星,更是计算广告学的核心。
在业界,LR模型之所以很受欢迎,主要是因为LR模型本质是对数线性模型,实现简单,易于并行,大规模扩展方便,迭代速度快,同时使用的特征比较好解释,预测输出在0与1之间契合概率模型。但是,线性模型对于非线性关系缺乏准确刻画,特征组合正好可以加入非线性表达,增强模型的表达能力。另外,广告LR中,基本特征可以认为是用于全局建模,组合特征更加精细,是个性化建模,因为在这种大规模离散LR中,单对全局建模会对部分用户有偏,对每一用户建模又数据不足易过拟合同时带来模型数量爆炸,所以基本特征+组合特征兼顾了全局和个性化。
以下是《机器学习》-周志华的读书笔记:
P54
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218221516667-1666964149.png)
P58 广义线性回归
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218222724073-1145234381.png)
P58 终于讲到逻辑回归了。其实是Logistic Regression。所以这本书坚持翻译成对率回归。迂腐。让人差点看不懂。
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218222328683-603657215.png)
优点:
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218223216292-418828986.png)
解法:
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218223832433-728551277.png)
关于似然函数,有如下解释:
P60 3.4 线性判别分析(Linear Discriminant Analysis, LDA)
因为 LR 对计算广告学极为重要。还要补充。
参考这篇文章:http://www.cnblogs.com/sparkwen/p/3441197.html
逻辑回归其实仅为在线性回归的基础上,套用了一个逻辑函数,但也就由于这个逻辑函数,逻辑回归成为了机器学习领域一颗耀眼的明星,更是计算广告学的核心。
逻辑回归其实仅为在线性回归的基础上,套用了一个逻辑函数,但也就由于这个逻辑函数,逻辑回归成为了机器学习领域一颗耀眼的明星,更是计算广告学的核心。
在业界,LR模型之所以很受欢迎,主要是因为LR模型本质是对数线性模型,实现简单,易于并行,大规模扩展方便,迭代速度快,同时使用的特征比较好解释,预测输出在0与1之间契合概率模型。但是,线性模型对于非线性关系缺乏准确刻画,特征组合正好可以加入非线性表达,增强模型的表达能力。另外,广告LR中,基本特征可以认为是用于全局建模,组合特征更加精细,是个性化建模,因为在这种大规模离散LR中,单对全局建模会对部分用户有偏,对每一用户建模又数据不足易过拟合同时带来模型数量爆炸,所以基本特征+组合特征兼顾了全局和个性化。
以下是《机器学习》-周志华的读书笔记:
P54
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218221516667-1666964149.png)
P58 广义线性回归
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218222724073-1145234381.png)
P58 终于讲到逻辑回归了。其实是Logistic Regression。所以这本书坚持翻译成对率回归。迂腐。让人差点看不懂。
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218222328683-603657215.png)
优点:
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218223216292-418828986.png)
解法:
![](https://images2015.cnblogs.com/blog/899685/201612/899685-20161218223832433-728551277.png)
关于似然函数,有如下解释:
统计学中,似然函数(Likelihood function),或简称似然,是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ).似然函数在推断统计学(Statistical inference)中扮演重要角色,尤其是在参数估计方法中。在教科书中,似然常常被用作“概率”的同义词。但是在统计学中,二者有截然不同的用法。概率描述了已知参数时的随机变量的输出结果;似然则用来描述已知随机变量输出结果时,未知参数的可能取值。例如,对于“一枚正反对称的硬币上抛十次”这种事件,我们可以问硬币落地时十次都是正面向上的“概率”是多少;而对于“一枚硬币上抛十次,落地都是正面向上”这种事件,我们则可以问,这枚硬币正反面对称的“似然”程度是多少。
P60 3.4 线性判别分析(Linear Discriminant Analysis, LDA)
因为 LR 对计算广告学极为重要。还要补充。
相关文章推荐
- LR 逻辑回归代码 (梯度下降)
- python机器学习案例系列教程——逻辑分类/逻辑回归LR/一般线性回归(softmax回归)
- 机器学习总结(lecture 4)算法:逻辑回归Logistic Regression (LR)
- 逻辑回归模型(Logistic Regression, LR)基础---线性回归
- 逻辑回归LR
- 逻辑回归算法的原理及实现(LR)
- 逻辑回归LR的特征为什么要先离散化
- [机器学习笔记] 支持向量机SVM 和逻辑回归LR的异同
- R语言LR逻辑回归实例
- 机器学习算法整理之Logistic Regression (LR) 逻辑斯谛回归 :分类方法(对数线性模型)
- 逻辑回归LR的特征为什么要先离散化
- 机器学习算法-逻辑回归(LR)
- 逻辑回归LR的特征为什么要先离散化
- 机器学习笔记(一) 逻辑斯蒂回归LR
- 基于超出内存可加载范围的数据集的逻辑回归分类器LR分类器
- logistic regression(LR)对数几率回归 / 逻辑回归 公式推导
- 逻辑回归LR
- 逻辑回归(LR)算法java实现
- 【机器学习系列之二】逻辑回归(LR,Logistic Regression)
- theano tutorial -- 用theano实现逻辑回归LR(一)theano基础知识