深度学习原理部分数学公式

01.01 线性分类

k-近邻

超参数

d 1 (l 1 ,l 2 )=∑ i |l p 1 −l p 2 |

d 2 (l 1 ,l 2 )=∑ i |l p 1 −l p 2 | − − − − − − − − − √

01.02 得分函数

f(x,W)=Wx+b

f(x i ,W,b)=Wx i +b

W权重，向量

x数据(像素)，向量

01.03 损失函数

svm损失函数

L i =∑ j≠y i max(0,s j −s y i +1)

1 ⇒ δ

线性函数：f(x,W)=Wx

损失函数01

L=1N ∑ N i=0 ∑ j≠i max(0,f(x i ;W) j −f(x i ;W) y i +1)

损失函数02(加上正则化惩罚项)

L=1N ∑ N i=0 ∑ j≠i max(0,f(x i ;W) j −f(x i ;W) y i +1)+λR(W)

L2正则化

R(W)=∑ k ∑ l W k 2,l

X=[1,1,1,1]

w 1 =[1,0,0,0]

w 2 =[0.25,0.25,0.25,0.25]

W T 1 x=W T 2 x=1

随时函数终极版(数据loss+权重loss)

L=1N ∑ N i=0 ∑ j≠i [max(0,f(x i ;W) j −f(x i ;W) y i +1)]+λ∑ k ∑ i W 2 k,i

01.04 softmax分类器

softmax输出一个概率值

sigmoid函数：g(z)=11+e −z

g(z) ==>{0,1}

损失函数(交叉熵函数)softmax

f j (z)=e z j ∑ k e z k

L i =−log(e s y i ∑ j e s j )

01.05 最优化问题

跟随梯度：df(x)dx =lim h→0 f(x+h)−f(x)h

学习率、梯度下降

01.06 反向传播

f=Wx

L i =∑ j≠y i max(0,s j −s y i +1)

f(x,y,z)=(x+y)z

q=x+y ∂q∂x

f(w,x)=11+e −(w0x0+w1x1+w2)

σ(x)=11+e −x

dσ(x)dx =e −x (1+e −x ) 2 =(1+e −x −11+e −x )(11+e −x )=(1−σ(x))σ(x)

加法门单元：均等分配

max门单元：取最大值

乘法门单元：交换

02.01 神经网络

f(x)=Wx

Li=∑ j≠y i max(0,s j −s y i +1)

layer {神经元}

innerProduct 全链接，内积

A层一个神经元i和 B层全部神经元的一组连接，需要一组权重参数Wi

A层有n个神经元，A==>B，就有n组权重参数Wn

激活函数(非线性单元、非线性表达)

线性函数：f=Wx

非线性函数：

f=W 2 max(0,W 1 x) 单层神经网络

f=W 3 max(0,W 2 max(0,W 1 x)) 双层神经网络

激活函数Sigmoid：σ(x)=11+e −x

Sigmoid会发生梯度消失，不是以0为中心。

激活函数TanH：存在梯度消失

Tanh(x)=sinhxcoshx =e x −e −x e x +e−x

激活函数ReLU：ReLU(x)=max(0,x) (大值增强，<=0忽略)

数据预处理

权重初始化

drop-out： 60%

03.01卷积神经网络

输入大小为：W1 x H1 x D1

需要指定的超参数：filter个数（K），filter大小（F），步长（S），边界填充（P）

输出：

W 2 =(W 1 −F+2P)/S+1

H 2 =(H 1 −F+2P)/S+1

D 2 =K