UFLDL 笔记 01 神经网络

UFLDL=Unsupervised Feature Learning and Deep Learning

01 神经网络

神经网络由神经元构成，首先看神经元的结构：

1.1 神经元

单个神经元简单来说就是输入数值（刺激），代入一个激活函数，如果达到阈值便输出一个对应的值。



其输出为hW,b=f(Wtx)=f(∑3i=1Wixi+b)h_{W,b}=f(W^tx)=f(\sum^3_{i=1}W_ix_i+b)

其中激活函数一般可以选为sigmoid函数或者双曲正切tanh函数，当选用sigmoid函数时，单个神经元实际上可以看做一个逻辑回归

导数公式}导数公式}

sigmoid的导数：

f′(z)=f(z)(1−f(z))f'(z)=f(z)(1-f(z))

tanh导数：

f′(z)=1−f2(z)f'(z)=1-f^2(z)

1.2神经网络

多个神经元首位相接就是神经网络，如下图



这里的+1是截距，叫作偏置节点，在说某一层的节点数量时，偏置节点不计数在内。

以上网络的数学形式为



其实这可以写成矩阵的形式，利用线代的知识快速求解

可以看出一共有3∗3+3∗13*3+3*1个权重值w

这里还有简单的标记形式

记z(l)iz^{(l)}_i为l层第i单元输入加权和

那么a(l)i=f(z(l)i)a^{(l)}_i=f(z^{(l)}_i)

那么最后输出的hW,bh_{W,b}就是以z(3)z^{(3)}为输入的了，这里没写下表i，就表示所有向量了。

以上的神经网络的输出为单个输出，如果输出层为多个节点，那就就可以是多输出了。

这样 一层一层先前计算的就是向前神经网路