斯坦福机器学习实现与分析之四(广义线性模型)
2015-04-13 16:36
197 查看
[b]指数分布族[/b]
首先需要提及下指数分布族,它是指一系列的分布,只要其概率密度函数可以写成下面这样的形式:
\(\begin{aligned} p(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))\end{aligned}\)
一般的很多分布(如高斯分布,泊松分布,二项式分布,伽马分布等)都属于指数分布族。该分布族有很多良好的特性,参见《Generalized Linear Models (2nd ed.)》一书3.3节。
[b]广义线性模型构建假设[/b]
广义线性模型主要基于以下假设:
1.\(y|x;\theta\)的分布属于指数分布族
2.预测值为\(T(y)\),因此模型就是\(E(T(y)|x)\)
3.模型线性性,即\( \eta=\theta^Tx\)
[b]线性回归与逻辑回归模型推导[/b]
线性回归中,假设\(y|x;\theta\)服从高斯分布\( N(\mu,\sigma^2)\),则将其写成指数分布族形式如下:
\( \begin{aligned} p(y|x;\theta)&={\frac{1}{\sqrt{2\pi}\sigma}}exp(-\frac{(y-\mu)^2}{2\sigma^2})\\&={\frac{1}{\sqrt{2\pi}\sigma}}e^{-\frac{y}{2\sigma^2}}exp(\frac{{\mu}y}{\sigma^2}-\frac{\mu^2}{2\sigma^2}) \end{aligned} \)
注意这里\(\eta\)和\(T(y)\)可以有多种取法满足上面这个式子,但根据上面假设的第二条,由于我们需要预测的是\(y\),则\(T(y)=y\),从而就有
\(\begin{aligned} b(y)= {\frac{1}{\sqrt{2\pi}\sigma}}e^{-\frac{y}{2\sigma^2}}\end{aligned}\)
\(\begin{aligned} \eta =\frac{\mu}{\sigma^2}\end{aligned}\)
\(\begin{aligned} a(\eta)=\frac{\mu^2}{2\sigma^2}\end{aligned}\)
从而:
\(\begin{aligned} h_\theta(x)=E(y|x;\theta)=\mu=\sigma^2\eta=\sigma^2\theta^Tx \end{aligned}\)
这里\(\begin{aligned}\sigma^2 \end{aligned}\)是一个常数,则上式可写为:
\(\begin{aligned} h_\theta(x)=\theta^{'T}x \end{aligned}\)
此即为线性回归中使用的线性模型的来源。同理,对于逻辑回归,有
\( \begin{aligned} p(y|x;\theta)&=\phi^y(1-\phi)^{1-y}\\&=exp(ylog{\phi}+(1-y)log{(1-\phi)})\\&=exp(log{\frac{\phi}{1-\phi}}+log(1-\phi)) \end{aligned} \)
则
\(\begin{aligned} T(y)=y \end{aligned}\)
\(\begin{aligned} b(y)= 1 \end{aligned}\)
\(\begin{aligned} \eta =log{\frac{\phi}{1-\phi}} \end{aligned}\)
\(\begin{aligned} a(\eta)=-log(1-\phi)\end{aligned}\)
由此可得:
\(\begin{aligned} \phi=\frac{1}{1+e^{-\eta}} \end{aligned}\)
故而有
\( \begin{aligned} h_\theta(x)=E(y|x;\theta)=\phi=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^T{x}}} \end{aligned}\)
此即为逻辑回归使用的模型。
同理,对于其他分布,我们也可以写出对应的回归模型。上面给出了线性回归和逻辑回归的模型,通过最大似然估计与梯度下降法,即可求出参数。
[b]问题与思考[/b]
1.构建GLM的三条假设,其中假设一在此模型构建中起了什么作用,目前还未理解。假如分布不属于指数分布族,那是否也可以构建其他形式的线性模型?有理解的同学望不吝赐教。
2.假设三即是模型的线性假设,这也能说明了逻辑回归只能处理线性可分情况。
首先需要提及下指数分布族,它是指一系列的分布,只要其概率密度函数可以写成下面这样的形式:
\(\begin{aligned} p(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))\end{aligned}\)
一般的很多分布(如高斯分布,泊松分布,二项式分布,伽马分布等)都属于指数分布族。该分布族有很多良好的特性,参见《Generalized Linear Models (2nd ed.)》一书3.3节。
[b]广义线性模型构建假设[/b]
广义线性模型主要基于以下假设:
1.\(y|x;\theta\)的分布属于指数分布族
2.预测值为\(T(y)\),因此模型就是\(E(T(y)|x)\)
3.模型线性性,即\( \eta=\theta^Tx\)
[b]线性回归与逻辑回归模型推导[/b]
线性回归中,假设\(y|x;\theta\)服从高斯分布\( N(\mu,\sigma^2)\),则将其写成指数分布族形式如下:
\( \begin{aligned} p(y|x;\theta)&={\frac{1}{\sqrt{2\pi}\sigma}}exp(-\frac{(y-\mu)^2}{2\sigma^2})\\&={\frac{1}{\sqrt{2\pi}\sigma}}e^{-\frac{y}{2\sigma^2}}exp(\frac{{\mu}y}{\sigma^2}-\frac{\mu^2}{2\sigma^2}) \end{aligned} \)
注意这里\(\eta\)和\(T(y)\)可以有多种取法满足上面这个式子,但根据上面假设的第二条,由于我们需要预测的是\(y\),则\(T(y)=y\),从而就有
\(\begin{aligned} b(y)= {\frac{1}{\sqrt{2\pi}\sigma}}e^{-\frac{y}{2\sigma^2}}\end{aligned}\)
\(\begin{aligned} \eta =\frac{\mu}{\sigma^2}\end{aligned}\)
\(\begin{aligned} a(\eta)=\frac{\mu^2}{2\sigma^2}\end{aligned}\)
从而:
\(\begin{aligned} h_\theta(x)=E(y|x;\theta)=\mu=\sigma^2\eta=\sigma^2\theta^Tx \end{aligned}\)
这里\(\begin{aligned}\sigma^2 \end{aligned}\)是一个常数,则上式可写为:
\(\begin{aligned} h_\theta(x)=\theta^{'T}x \end{aligned}\)
此即为线性回归中使用的线性模型的来源。同理,对于逻辑回归,有
\( \begin{aligned} p(y|x;\theta)&=\phi^y(1-\phi)^{1-y}\\&=exp(ylog{\phi}+(1-y)log{(1-\phi)})\\&=exp(log{\frac{\phi}{1-\phi}}+log(1-\phi)) \end{aligned} \)
则
\(\begin{aligned} T(y)=y \end{aligned}\)
\(\begin{aligned} b(y)= 1 \end{aligned}\)
\(\begin{aligned} \eta =log{\frac{\phi}{1-\phi}} \end{aligned}\)
\(\begin{aligned} a(\eta)=-log(1-\phi)\end{aligned}\)
由此可得:
\(\begin{aligned} \phi=\frac{1}{1+e^{-\eta}} \end{aligned}\)
故而有
\( \begin{aligned} h_\theta(x)=E(y|x;\theta)=\phi=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^T{x}}} \end{aligned}\)
此即为逻辑回归使用的模型。
同理,对于其他分布,我们也可以写出对应的回归模型。上面给出了线性回归和逻辑回归的模型,通过最大似然估计与梯度下降法,即可求出参数。
[b]问题与思考[/b]
1.构建GLM的三条假设,其中假设一在此模型构建中起了什么作用,目前还未理解。假如分布不属于指数分布族,那是否也可以构建其他形式的线性模型?有理解的同学望不吝赐教。
2.假设三即是模型的线性假设,这也能说明了逻辑回归只能处理线性可分情况。
相关文章推荐
- 【机器学习-斯坦福】学习笔记4 ——牛顿方法;指数分布族; 广义线性模型(GLM)
- Python机器学习库SKLearn:监督学习之广义线性模型
- 机器学习(二)广义线性模型:逻辑回归与Softmax分类
- 【机器学习-斯坦福】学习笔记19——线性判别分析(Linear Discriminant Analysis)(二)
- 机器学习实验(十二):深度学习之图像分类模型AlexNet结构分析和tensorflow实现
- 机器学习笔记四 - 牛顿方法、指数分布族、广义线性模型、广义线性模型(多项式分布)
- [置顶] 吴恩达机器学习笔记——指数分布族&广义线性模型&逻辑回归概率模型推导
- 机器学习笔记(VIII)线性模型(IV)线性判别分析(LDA)
- 斯坦福机器学习实现与分析之六(朴素贝叶斯)
- 【Stanford|斯坦福-机器学习:线性回归-单特征梯度下降+动态图】python3实现
- 斯坦福机器学习实现与分析之八(kmeans算法)
- 机器学习教程 之 线性模型:线性回归、对数几率回归、线性判别分析
- 机器学习笔记—指数分布簇和广义线性模型
- 从GLM广义线性模型到线性回归、二项式及多项式分类——机器学习笔记整理(一)
- 斯坦福机器学习实现与分析之二(线性回归)
- 周志华《机器学习》课后习题解答系列(四):Ch3.5 - 编程实现线性判别分析
- 小白学习机器学习---第三章:简单线性模型Python实现
- 小白学习机器学习---第三章:线性模型(3):线性判别分析
- 斯坦福机器学习实现与分析之五(高斯判别分析)
- 关于机器学习中的广义线性模型(GLM)