Matrix Cookbook 公式推导

符号说明

符号	类型
x	Scalar
x1×n	Vector
Xm×n	Matrix

公式 1

tr(An×n)=∑ni=1aii

tr(Am×nBn×m)=∑mi=1∑nj=1aijbji=∑ni=1∑mj=1ajibij=tr(BA)

∀n∈N,n≥2,tr(A1A2...An)=tr(A1(A2...An))=tr((A2...An)A1)=tr(A2...AnA1)

limAm×n=0m×n⇔lim∑mi=1∑nj=1aij2−−−−−−−−−−−−√=0⇔limaij=0,∀i,j∈N,1≤i≤m,1≤j≤n,

证明： |aij|≤∑mi=1∑nj=1aij2−−−−−−−−−−−−√≤∑mi=1∑nj=1|aij|

导数：

x\y	Scalar	Vector	Matrix
Scalar	∂y∂x	∂y∂x=(∂yi∂x)m×1	∂Y∂x=(∂yij∂x)m×n
Vector	∂y∂x=(∂y∂xj)1×n	∂y∂x=(∂yi∂xj)m×n
Matrix	∂y∂X=(∂y∂xji)n×m

微分：

x\y	Scalar	Vector	Matrix
Scalar	dy=∂y∂xdx	dy=∂y∂xdx	dY=∂Y∂xdx
Vector	dy=∂y∂xdx	dy=∂y∂xdx
Matrix	dy=tr(∂y∂XdX)⋆

(⋆)的证明：

tr(∂y∂XdX)=tr(dX∂y∂X)=∑mi=1∑nj=1(∂y∂X)jidxij=∑mi=1∑nj=1∂y∂xijdxij=dy

公式 2

省略的证明见 矩阵变量的矩阵值函数微分公式 （原创） 。

1. (dYm×n)ij=dyij

2. dYm×n≡0m×n⇔Y 是常量。

3. d(kY)=kdY

4. d(A+B)=dA+dB

5. d(AB)=dA⋅B+A⋅dB

6. (dym×1)i=dyi

7. d(ky)=kdy

8. d(y+z)=dy+dz

9. TODO