Gaussian Discriminant Analysis model 第一个生成学习算法模型
2017-07-16 13:24
295 查看
这是课程讲到的第一个生成学习算法,它将对p(x|y)建模。
它要解决分类问题,此例中y只取0或1,x取连续量。
对此模型的定义:
y显然是伯努利分布,这里我们假设了x服从多维正态分布。
具体展开上面的概率分布:
我们依然用最大化拟然函数的方法得到各参数的最优值:(与前面稍有不同,前面我们用p(y|x)来得出拟然函数,但这里我们为了简化计算,采用p(x,y)得出,事实上,两者同时取最值。)
将概率分布代入上式,最大化这个函数,得到:(过程略)
这些结果是很合理的,符合它的含义,μ0其实是所有分类为0的样本中xi出现次数的和,它作为期望值合情合理。其他参数也同理。
这是算法得出的结果,注意到,它与线性回归类似,实质上也是得到了一个决策边界:一条直线。
事实上,本文中的GDA模型与logistic回归是有联系的,下篇博文将总结。
当 p(x|y)
时高斯分布是,可导出 p(y|x) 符合某种形式的logistic函数反之则不一定成立。这说明,GDA对数据的特征进行了更强的假设,当假设正确时,GDA通常能取得比logistic更好的性能。当p(x|y)
真的是服从高斯分布时,GDA是asymptoticallyefficient
渐近有效的,意即,没有别的算法能比他严格地更好
logistic做了更弱地假设,优点是假设错误时代价小,更具普适意义,也更常用
它要解决分类问题,此例中y只取0或1,x取连续量。
对此模型的定义:
y显然是伯努利分布,这里我们假设了x服从多维正态分布。
具体展开上面的概率分布:
我们依然用最大化拟然函数的方法得到各参数的最优值:(与前面稍有不同,前面我们用p(y|x)来得出拟然函数,但这里我们为了简化计算,采用p(x,y)得出,事实上,两者同时取最值。)
将概率分布代入上式,最大化这个函数,得到:(过程略)
这些结果是很合理的,符合它的含义,μ0其实是所有分类为0的样本中xi出现次数的和,它作为期望值合情合理。其他参数也同理。
这是算法得出的结果,注意到,它与线性回归类似,实质上也是得到了一个决策边界:一条直线。
事实上,本文中的GDA模型与logistic回归是有联系的,下篇博文将总结。
当 p(x|y)
时高斯分布是,可导出 p(y|x) 符合某种形式的logistic函数反之则不一定成立。这说明,GDA对数据的特征进行了更强的假设,当假设正确时,GDA通常能取得比logistic更好的性能。当p(x|y)
真的是服从高斯分布时,GDA是asymptoticallyefficient
渐近有效的,意即,没有别的算法能比他严格地更好
logistic做了更弱地假设,优点是假设错误时代价小,更具普适意义,也更常用
相关文章推荐
- Python与机器学习之模型结构(生成学习算法)
- 生成学习算法之高斯判别分析模型
- 生成学习算法、高斯判别分析与朴素贝叶斯模型
- 生成学习算法.高斯判别分析(GDA).GDA与Logistic模型
- 使用深度学习检测DGA(域名生成算法)——LSTM的输入数据本质上还是词袋模型
- 初学ML笔记N0.2——生成学习算法
- 1.3 KNN算法学习——模型评估与选择
- 统计学习:泛化能力、生成模型、判别模型、分类、标注和回归问题
- 最大熵模型 DFP学习算法
- 分词算法模型学习笔记(一)——HMM
- 三大深度学习生成模型:VAE、GAN及其变种
- 深度学习利器:TensorFlow在智能终端中的应用——智能边缘计算,云端生成模型给移动端下载,然后用该模型进行预测
- 深度学习1:生成模型的输入数据集和可视化
- 经典算法学习——打印两个链表的第一个公共节点
- 生成学习算法
- HMM模型学习之Forward算法
- 分类-3-生成学习-3-朴素贝叶斯模型、laplace平滑、多元伯努利事件模型、多项式事件模型
- 线性神经网络模型与学习算法
- BP神经网络模型与学习算法
- BP神经网络模型与学习算法