DAY1:神经网络基础和深度学习笔记整理

一、Binary Classfication
符号表示： 
   








二、logistic regression



 


其中w，b为待确定的参数，^y为y（training labels）=1的概率值，所以为了使其落在0~1之间，对y的结果作                     sigmoid处理
三、损失函数
损失函数：loss = -（lnlog^y+(1-y)lnlog(1-^y)）在单个训练样本上定义的，衡量在单个训练样本上的表现



成本函数：衡量在全体样本上参数w和b的表现（in logistic regression）



四、Gradient Descent







五、计算图
前向传播：



  反向传播：
       


logistic中的反向传播（求导）：





m个样本上的梯度下降法：





vectorization（向量化）：



vectorization can faster than for loop  about 300 times.And if there are other possibility ,don't use for loop.