机器学习笔记1_3:广义线性模型(GLM, Generalized Linear Models)

形式：



η称为自然参数(natural parameter), T(y)是充分统计量（通常T(y)=y）,a(η)称为log partition function，上式中e−a(η)作为归一化参数。通过改变η可以得到不同的分布

伯努利分布（对应逻辑回归）：



上式中η=log(ϕ1−ϕ),有趣的是，如果我们反解出ϕ会得到ϕ=11+e−η,正好是sigmoid函数



高斯分布(对应线性回归)

为了简便起见，令σ2=1得到



其中：