机器学习：贝叶斯总结_3：线性回归和贝叶斯回归

线性回归的基函数模型

y(x,w)=w0+w1x1+......+wDxDy(x,w)=w_0+w_1x_1+......+w_Dx_D

y(x,w)=w0+∑M−1j=1wjϕj(x)y(x,w)=w_0+\sum_{j=1}^{M-1}w_j \phi_j(x)

ϕj(x)：是基函数\phi_j(x)：是基函数

基函数：多项式；高斯；sigmoid函数

基函数还可以是傅里叶基函数

最大似然与最小平方

误差函数=高斯噪声下的最大似然解

正则项是保证矩阵非奇异

顺序学习(随机梯度下降)

正则化最小平方

ED(w)+λEW(w)E_D(w)+\lambda E_W(w)；λ是正则化的系数\lambda是正则化的系数

12∑Nn=1{tn−wTΦ(xn)2}+λ2∑Mj=1|wj|q\frac{1}{2}\sum_{n=1}^N \{t_n-w^T \Phi(x_n)^2 \}+\frac{\lambda}{2}\sum_{j=1}^M|w_j|^q

q=1 （lasso）：套索，λ足够大则系数为零，生成系数模型\lambda足够大则系数为零，生成系数模型

多变量的输出

偏置-方程折中

最大似然估计容易导致过拟合

贝叶斯线性回归

贝叶斯线性回归可以预防过拟合

贝叶斯模型的比较

假设多项式曲线的拟合问题，概率分布由模型中的一个产生，但不知道是哪个，不确定性通过先验概率表达p(Mi)p(M_i).给定训练集D，

p(Mi|D)−>p(Mi)p(D|Mi)p(M_i|D)->p(M_i)p(D|M_i)

先验概率表示不同模型的优先级

p(D|Mi)是不同模型的优先级p(D|M_i) 是不同模型的优先级

贝叶斯因子=p(D|Mi)p(D|Mj)\frac{p(D|M_i)}{p(D|M_j)}

预测分布：p(t|x,D)=∑Li=1p(t|x,Mi,D)p(Mi|D)p(t|x,D)=\sum_{i=1}^L p(t| x,M_i,D)p(M_i|D)

1. 混合分布

2. 各个模型的预测加权

模型近似

待续