第三篇 2.1-线性回归原理，推导，衡量线性回归的指标（MSE，RMSE，MAE,R^2）

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/u013153465/article/details/95476263

本文为学习记录，写的不好请大家指正见谅，互相学习，也为自己巩固学习成果包括后续复习所用！

1.简单的线性回归

我们先来看图

线性回归就是找到一条直线，y=ax+b

加入特征值为x，即预测值为y’，实际值为y，线性回归就是找到|y-y'|的最小值，即（y-y'）^2的最小值，扩展到所有样本就是找到

∑（y-y'）^2的最小值 

也就是找到a和b的值，使得上述算式最小，即对a,b求导

所以得到的b=y(mean)-a*x(mean)

a=∑ (x(i)-x(mean)) * (y(i)-y(mean))  / ∑((x(i) - x(mean)) ^2

使用代码实现fit过程 即

MSE，RMSE，MAE，R^2

回到上面的线性回归，线性回归主要是找到∑（y(train)-y(train)'）^2的最小值 ，这里的y指的是训练集，所以在做衡量线性回归指标的时候，

我们只要找到y测试集的∑（y(test)-y(test)'）^2即可，

在这里，我们只要消除数据量m的影响即可，所以形成了

MSE(均方误差):

再根据均方误差，我们消除平方带来的特征值放大的影响，

所以有RMSE（均方根误差）：

还有我们干脆直接取距离的绝对值，即：

 MAE（平均绝对误差）：

封装代码：

最好的方法为R^2:

分子部分指的是我们自己的模型产生的错误，分母表示使用baseline model（基础模型）y=y(mean) 产生的错误，

两个相除再用1减去之后相当于就是我们拟合住的部分，所以对于R^2来说，越大越好

1.R^2<=1,如果等于1，表示模型完全拟合，没有任何错误。

2.当R^2=0时,表示模型和基础模型一样

3.小于0时，可能我们的模型没有线性关系了已经，可能需要更换算法了

R^2也可以写成

1-  MSE(y',y) / Var(y)  相当于分子分母同时除以一个m，这样我们在实现的时候就很简单了

 

现在我们扩展到多元的线性回归

即

也就是我们每一个特征X之前，都有一个theta值，相当于简单线性回归的扩展

具体的写在纸上

使用程序实现linearRegression