使用python进行ridge回归

前文我们诊断出三个自变量之间存在严重共线性，那么，我们先使用岭回归，进行建模，然后，使用lasso回归。



岭回归，是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法

通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

先使用R语句如下：

install.packages('ridge')

library(ridge)

rig=linearRidge(y~., data=D) # 这里的D是前文已经定义好的，如果有步明白请再次翻看前文

summary(rig) 

出现报错，不知道是什么原因，在网上找了也没有合适的解决方案，那么咱就不拘泥于一个软件

##########################################

那就使用python

import pandas as pd

data=pd.read_csv('/Users/Documents/train_test_model/ridgereg1.csv') 

#导入数据，数据来源于张文彤spss高级教程中的，婴儿 身长，头围，体重，预测周龄

#三个自变量之间存在严重的共线性，所以，看考虑使用岭回归方法，在spss中，也是需要编程实现的

#所幸的是，python中的sklearn中，实现更加便捷

x_data=data[['long','touwei','weight']] # 定义三个自变量

y_data=data['y']

from sklearn.linear_model import Ridge

ridge=Ridge().fit(x_data,y_data)

print("Training set score:{}".format(ridge.score(x_data,y_data)))

print("ridge.coef_: {}".format(ridge.coef_))

print("ridge.intercept_: {}".format(ridge.intercept_))

#以下就是得到的回归系数，如果没有忘记的话，上面普通逐步回归方法做出来的

#回归系数是 1.692736 -2.158831  0.007472 截距是Intercept 11.011694

#使用岭回归以后的回归系数和截距分别是，合理很多

ridge.coef_: [ 1.32650855 -1.624669    0.00731216]

ridge.intercept_: 10.8370697013

当然你也可以指责我，明明使用了两种不同的软件是否有比较严谨

好了，下面把python线性回归的方法语句贴出来

python实现线性回归语句

import pandas as pd

data=pd.read_csv('/Users/Documentsl/ridgereg.csv')

x_data=data[['long','touwei','weight']] # 定义三个自变量

y_data=data['y']

from sklearn.linear_model import  LinearRegression

lr=LinearRegression().fit(x_data,y_data) 

lr

print("lr.coef_: {}".format(lr.coef_)) # 打印出回归系数

print("lr.intercept_: {}".format(lr.intercept_)) # 打印截距

得到

回归系数: [ 1.69273561 -2.15883088  0.00747203]    

截距: 11.0116943268

对比R实现

回归系数是 1.692736  -2.158831  0.007472  

截距是Intercept 11.011694

抱歉，两种软件在线性回归得到同样的值。

#######################################################################################

正如上文一开始说的，lasso方法也是值得我们试一试的，请看

R实现lasso回归



install.packages("lars")

library(lars)

la<-lars(x,y,type="lar")

plot(la)

summary(la)

得到：

LARS/LAR

Call: lars(x = x, y = y, type = "lar")

  Df    Rss      Cp

0  1 990.36 712.391

1  2 481.25 337.894

2  3  46.34  18.272

3  4  24.34   4.000



注意这里的 0 指的是截距，第0个模型是只有截距的自变量为常数的模型

根据图可以得到变量选择优先级为x1,x2,x3，再根据cp的值选择的变量为x1,x2,x3。（Cp的选择是选最小的值的模型，这里就是进入了三个自变量的模型3）.

更多关于Mallows' Cp-请自行下载文献：Least
squares model averaging by Mallows criterion