[机器学习笔记]三:Generalized Linear Models（广义线性模型）

我们称广义线性模型为GLM

1. The exponential family(指数分布族)

为了说明GLMs，我们定义The exponential family为具有以下形式的函数：

p(y;η)=b(y)exp(ηTT(y)−a(η))(64)(64)p(y;η)=b(y)exp(ηTT(y)−a(η))

在这里，我们称ηη为自然参数，T(y)T(y)为sufficient statistic，a(η)a(η)为log partition function(划分函数),由T,a,bT,a,b组成了一个家族。

2.Constructing GLMs(构造广义线性模型)

想象一下你开了一家便利店，你想通过一些已知参数x来预测一下接下来你店里的人数y。这部分就会介绍如何对这些问题建立GLM。

为了推广这个问题，我们做以下三个假设

1.y|x;θ∼ExponentialFamily(η)y|x;θ∼ExponentialFamily(η)

2.我们的目标是求E[T(y)]E[T(y)]，换句话说，就是令h(x)=E[y|x]h(x)=E[y|x]

3.ηη与xx线性相关

2.1 Ordinary Least Squares(普通最小二乘)

to be continue…