【学习笔记】 UFLDL-1

写linear_regression的时候发现

按照批梯度下降来说，按照数据格式写成下面这样是没有问题的

train.X = data(1:end-1,1:400);
train.y = data(end,1:400);
X = train.X;%[1 2 3;8 6 8];
y = train.y;%[9 8 11];
n = size(X,1);
m = zeros(size(X,2));
theta = rand(n,1);
g = theta;
a = 0.000001;
for i = 1:10
g = g - a*X * (theta'*X - y)';
theta = g;
end
f = 0.5*(theta'*X - y)*(theta'*X - y)';

但是出现NaN的问题。

但是将数据量减少是没有问题的，比如变成注释后面的变量值。

可以得到theta = [1;1];

同样的东西在linear_regression_vec.m只写

g = X * (theta'*X - y)';
f = 0.5*(theta'*X - y)*(theta'*X - y)';

放在matlab直接执行没有问题。

跟到minFunc里面发现优化算法用的是LBFGS

查了一下，LBFS可以有效解决大规模变量问题，难道跟数据量有关？