数据挖掘回顾七:回归算法之 线性回归
2015-04-11 08:50
309 查看
1,和分类算法一样,回归也是预测目标值的过程。回归较之分类的不同点在于:分类预测出来的是离散型变量(类别),而回归预测的是连续性变量。
2,线性回归的结果会求出一个线性回归方程,确定回归系数的方式是 最小化误差的平方和。 即用回归系数表示出误差的平方和,然后对回归系数求导,令导数为零,即求得回归系数W。其实就是最小二乘法求回归系数。这是一般的线性回归的求法。
3,很多时候,用最小二乘法直接得到的回归系数W,用W来预测目标值,效果可能不是很好。这时,学者们,就在最小二乘法求出的回归系数W的基础之上,对W做了少许修改,较常用的修改方式有:局部加权线性回归、岭回归、前向逐步线性回归。
4,岭回归和逐步线性回归是回归的缩减方法。即把W中不是很重要的参数忽略(减掉),相对的就对另外一部分加重了。
5,判断回归方法的优劣有两个指标:偏差和方差。这里偏差是指模型预测值和真实值之间的差异,方差是指得到的两个回归模型(参数)之间的差异。在判断一个回归模型的优劣势,我们一般要对这两个指标进行折中考量。
6,缩减法可以看作是对一个模型增加了偏差的同时减少了方差。
2,线性回归的结果会求出一个线性回归方程,确定回归系数的方式是 最小化误差的平方和。 即用回归系数表示出误差的平方和,然后对回归系数求导,令导数为零,即求得回归系数W。其实就是最小二乘法求回归系数。这是一般的线性回归的求法。
3,很多时候,用最小二乘法直接得到的回归系数W,用W来预测目标值,效果可能不是很好。这时,学者们,就在最小二乘法求出的回归系数W的基础之上,对W做了少许修改,较常用的修改方式有:局部加权线性回归、岭回归、前向逐步线性回归。
4,岭回归和逐步线性回归是回归的缩减方法。即把W中不是很重要的参数忽略(减掉),相对的就对另外一部分加重了。
5,判断回归方法的优劣有两个指标:偏差和方差。这里偏差是指模型预测值和真实值之间的差异,方差是指得到的两个回归模型(参数)之间的差异。在判断一个回归模型的优劣势,我们一般要对这两个指标进行折中考量。
6,缩减法可以看作是对一个模型增加了偏差的同时减少了方差。
相关文章推荐
- 数据挖掘回顾九:回归算法之 模型树
- 数据挖掘回顾八:回归算法之 CART 算法 (回归树)
- 数据挖掘十大经典算法(10) CART: 分类与回归树
- 数据挖掘笔记-分类-回归算法-最小二乘法
- 数据挖掘回顾十一:关联规则挖掘之 Apirori 算法
- 数据挖掘-diabetes数据集分析-糖尿病病情预测_线性回归_最小平方回归
- 数据挖掘学习笔记——十大算法之决策树算法、逻辑回归概述
- 数据挖掘方法(2) 回归模型(简单线性回归)
- 数据挖掘回顾五:分类算法之 支撑向量机(SVM) 算法
- 数据挖掘回顾十二:关联规则挖掘之 FP-Growth 算法
- 数据挖掘算法逻辑回归-R实现
- 数据挖掘十大经典算法--CART: 分类与回归树
- 数据挖掘回顾三:分类算法之 朴素贝叶斯 算法
- 数据挖掘十大经典算法(10) CART: 分类与回归树
- 数据挖掘十大经典算法--CART: 分类与回归树
- 数据挖掘十大经典算法(10) CART: 分类与回归树
- [Matlab][数据挖掘算法][线性回归]
- 数据挖掘回顾一:分类算法之 kNN 算法
- 数据挖掘回顾二:分类算法之 决策树 算法 (ID3算法)
- 数据挖掘十大经典算法(10) CART: 分类与回归树