机器学习岗位面试问题汇总 之 线性回归和LR模型

线性回归

基本思想：用梯度下降法对最小二乘法行社的误差函数进行优化

几个式子：（1）假设 （2）优化目标 （3）梯度下降法（包括推导+特征缩放的目的）

优缺点：实现简单，但不能拟合非线性数据

LR模型

概念：分类、事件发生的概率、本质上是线性回归模型（解释为什么）

几个式子：（1）假设 （2）优化目标（推导） （3）梯度下降法（推导）

优点：实现简单，分类时计算量小、速度快、存储资源要求低

缺点：容易过拟合、一般准确度不高，原始的LR模型只能处理2分类问题

解决过拟合的方法：数据扩充、正则项、提前终止

如何用LR建立一个广告点击的模型：

特征提取—>特征处理（离散化、归一化、onehot等）—>找出候选集—->模型训练，得到结果

为什么LR需要归一化或取对数？

符合假设、利于分析、归一化也有利于梯度下降

为什么LR把特征离散化后效果更好？

引入非线性

LR的特性：

（1）可用于概率预测、也可用于分类 （2）只能用于线性问题 （3）各feature之间不需要满足条件独立假设，但各个feature的贡献独立计算

参考：

《统计学习方法》，李航

《机器学习》，周志华

《斯坦福大学2014机器学习课程笔记》，Andrew Ng主讲，黄海广整理笔记

http://blog.csdn.net/sunpeng19960715/article/details/54745895