使用fminunc找逻辑回归（logistic）代价函数的最小值

在看完UFLDL自编码器autoencoder的代码后，发现其中的训练过程并不是使用训练的手段找到最优的参数theta，而是使用了minFunc寻找代价函数的最小值，并返回优化后的参数theta。其中的minFunc函数的说明里头提到了这个函数提供的各种选项和matlab提供的fminunc函数非常像，所以就去看了下matlab的help。

这里贴出fminunc函数help中最基本的翻译：

fminunc试图找到一个多变量函数的最小值，从一个估计的初试值开始，这通常被认为是无约束非线性优化问题。

x =fminunc(fun,x0) 试图从x0附近开始找到函数的局部最小值，x0可以是标量，向量或矩阵
x =fminunc(fun,x0,options) 根据结构体options中的设置来找到最小值，可用optimset来设置options
x =fminunc(problem) 为problem找到最小值,而problem是在Input Arguments中定义的结构体

Create thestructure problem by exporting a problem from Optimization Tool, as describedin Exporting Your Work.

[x,fval]= fminunc(...) 返回目标函数fun在解x处的函数值
[x,fval,exitflag]= fminunc(...) 返回一个描述退出条件的值exitflag
[x,fval,exitflag,output]= fminunc(...) 返回一个叫output的结构体，它包含着优化的信息
[x,fval,exitflag,output,grad]= fminunc(...) 返回函数在解x处的梯度的值，存储在grad中
[x,fval,exitflag,output,grad,hessian]= fminunc(...) 返回函数在解x处的Hessian矩阵的值，存储在hessian中

对这些说明理解的不是很透彻，然后做了几个简单的实验，如下：

定义函数fun1

function y = fun1(x)
y = (x - 2)^2;
end
显然fun1在x=2处取得最小值0

clear
all;
x0 = 1.5
[x,fval,exitflag,output,grad,hessian] =fminunc(@fun1,x0)

运行结果是：
x =2.0000 fval =1.2490e-16

exitflag = 1

output =

iterations: 1

funcCount: 6

stepsize: 0.5000

firstorderopt: 7.4506e-09

algorithm: 'medium-scale: Quasi-Newtonline search'

message: [1x436 char]

grad = 7.4506e-09 hessian = 2

再做一个多变量实验，定义函数fun2

function y = fun2(x)
y = (x(1)^2)+(x(2)^2);
end

显然，fun2在x1=0,x2=0处取得最小值0

clear
all;
x0 = [2;2];
[x,fval,exitflag,output,grad,hessian]= fminunc(@fun2,x0)

运行结果是：

x =

0

0

fval =0

exitflag =1

output =

iterations: 2

funcCount: 9

stepsize: 1

firstorderopt: 1.4901e-08

algorithm: 'medium-scale: Quasi-Newtonline search'

message: [1x436 char]

grad =

1.0e-07 *

0.1490

0.1490

hessian =

NaN NaN

NaN NaN

但是假如函数形如f(x,y)，而且f(x,y)中还有可变的参数a,b的话如何求取其最小值呢？定义了第三个函数fun3

function y = fun3(x,a,b)
y = (x(1)-a)^2+(x(2)-b)^2;
end
这个函数含两个自变量x(1),x(2)，还有参数a,b，显然函数在x(1)=a,x(2)=b时取得最小值0

clear
all;
x0 = [2;2]
a = 1
b = 0
x = fminunc(@(p)fun3(p,a,b),x0)%注意此处的写法
结果是

x =

1.0000

0.0000

fminunc找到了当我定义a=1,b=0时的函数的最小值是在x=[1;0]处，以后要找到一个需要赋值，还要指定参数值的函数的最小值的时候就可以这样做了。但是不要把x(1)，x(2)分开定义成x,y，这样只会给自己找麻烦。fminunc的help里头提到一个problem的结构体好像可以解决这个问题，没有深究，读者自己去看。

%==================================================================

现在我们用fminunc来找二元逻辑回归的代价函数的最小值

数据在这http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html

logistic_test.m
clear
all; close all;

x = load('G:\training_data\ex4x.dat');
y = load('G:\training_data\ex4y.dat');

theta = [-15.0; 0.14; 0.15];
J = logisticCost(theta,x,y);

theta0 = zeros(3,1);%随机设置一个初始值，其实就在上面那个theta附近
data = x;
label = y;
options=optimset('MaxIter',100);
[opttheta,fval] = fminunc(@(p)logisticCost(p,data,label),theta0)
定义代价函数logisticCost.m
function cost = logisticCost(theta, data, label)

[trainNum trainLength] =size(data);
z = [ones(trainNum,1)data]*theta;

h = inline('1.0 ./ (1.0 + exp(-z))');
htheta = h(z);
cost =(-1/trainNum)*(label'*log(htheta) + (1-label)'*log(1-htheta));
运行[opttheta,fval]= fminunc(@(p) logisticCost(p,data,label),theta0)
的结果是
opttheta =
-16.3787
0.1483
0.1589
fval =
0.4054
这个结果跟上面下载数据的网页处提供的结果一样

其实注意到fminunc是因为稀疏自编码器autoencoder中train.m代码中步骤3：
numgrad =computeNumericalGradient( @(x) sparseAutoencoderCost(x, visibleSize,...
hiddenSize, lambda,...
sparsityParam, beta,...
patches), theta);

此处的写法和x = fminunc(@(p) fun3(p,a,b),x0)类似，我其实是模仿train.m的代码做了个更简单的实验，将参数a,b加入到了fun3中去。在UFLDL的softmax回归的代码softmaxTrain.m中也有类似的求最优的theta的做法，所以从这些实现寻找最优theta的方法中我们发现，神经网络的训练过程可能不是通过一遍一遍的for来实现，而是通过非线性优化之类的寻找最优解的方法来实现的。更多的内容可以自行百度BFGS,L-BFGS之类minFunc中提到的东西来了解。