吴恩达深度学习笔记 2.6~2.9 logistic中的梯度下降

之前我们已经了解了Coss Function的定义,它是一个convex,所以我们能找到它的全局最优解,我们可以先可以先随便选取一组w,b,求得刚开始J(w,b)对w的偏导,用公式:


我们可以对w进行更新,其中α为学习率,为梯度下降的步长,α越大,步长越大,同理也可以对b更新,最后经过一步步迭代,我们能够找到最优解使得Cost Function最小.



逻辑回归中包含了正向传播和反向传播,用一个计算图来表示其过程

计算图:

举一个简单的例子例:

把j(a,b,c)看作logistic回归成本函数j=3(a+bc),它的计算过程为让u=bc,v=a+u 得j=3v

其中正向传播为从左到右得到成本函数的过程

反向传播为对其进行求导得到dJ/da,dJ/db,dJ/dc

现在对一个逻辑回归进行梯度计算:

给定的逻辑回归中,Loss Function 表达式如下:



对于正向传播非常简单,假设输入样本x有两个特征值(x1,x2)则对应的w为w1,w2,则对应的最后的Loss Fuction如下:



对于反向传播计算如下:



得到dz以后就可以对w1,w2进行求导了



则梯度下降算法为


上述表示的是单个样本的logistic回归,对于多个样本的logistic回归表示如下:
Cost Function为:


假设该logistic回归有两个特征值,那么dw1,dw2,db表示如下:



算法流程图如下:

J=0; dw1=0; dw2=0; db=0;        //对w1,w2,b,以及J初始化
for i = 1 to m
z(i) = wx(i)+b;
a(i) = sigmoid(z(i));
J += -[y(i)log(a(i))+(1-y(i)）log(1-a(i));
dz(i) = a(i)-y(i);
dw1 += x1(i)dz(i);
dw2 += x2(i)dz(i);
db += dz(i);
J /= m;
dw1 /= m;
dw2 /= m;
db /= m;
完成上述算法即完成了一次迭代,通过公式:



对其进行更新,这样经过多次迭代后,就能得出最优解