Stochastic Gradient Descent 随机梯度下降法-R实现

随机梯度下降法

【转载时请注明来源】：http://www.cnblogs.com/runner-ljt/

Ljt

作为一个初学者，水平有限，欢迎交流指正。

批量梯度下降法在权值更新前对所有样本汇总误差，当样本较多时，其计算量就会非常大。

随机梯度下降法的权值更新是通过单个的样本进行更新，每读取一条样本数据就对所有权值进行一次更新，然后判断是否收敛，若不收敛则继续代入样本数据进行更新。

随机梯度下降法使损伤函数趋近最小值的速度更快，但是可能造成永远不能收敛到最小值，或一直在最小值周围震荡。

设置固定步长的随机梯度下降法的R实现：

#Stochastic Gradient Descent 随机梯度下降法
#x为数据矩阵（mxn m:样本数 n:特征数 ）;y观测值;error终止条件;maxiter最大迭代次数

StochasticGradientDescent<-function(x,y,error,maxiter,step=0.001){
m<-nrow(x)
x<-cbind(matrix(1,m,1),x)
n<-ncol(x)
theta<-matrix(rep(0,n),n,1)  #ktheta初始值都设置为0
iter<-0   #迭代次数
k<-0  #第k个样本
newerror<-1
while(iter<maxiter|newerror>error){
iter<-iter+1
k<-k+1
ifelse(k>m,k<-k%%m,k)
xk<-x[k,,drop=FALSE]
yk<-y[k,,drop=FALSE]
hk<-xk%*%theta
des<-t((hk-yk)%*%xk)
new_theta<-theta-step*des
newerror<-t(new_theta-theta)%*%(new_theta-theta)
theta<-new_theta
}
costfunction<-t(x%*%theta-y)%*%(x%*%theta-y)
result<-list(theta,iter,costfunction)
names(result)<-c('系数','迭代次数','误差')
result
}