统计学习方法笔记(一)统计学习方法概要
2015-09-24 16:51
274 查看
统计学习的基本假设:
X和Y具有联合概率分布,并且训练数据与测试数据被看作是依据联合概率分布独立同分布产生的。(测试数据和训练数据独立同分布,才可能由学习到的模型去预测未来的数据)。
统计学习的三个要素:
模型: 监督学习过程中,模型就是所要学习的条件概率分布或者决策函数(你要学习到什么样的模型)
策略: 按照什么样的准则学习或者选择最优模型。(有了模型的类型,按照什么方式来计算这个模型,经验风险最小还是结构风险最小)
算法: 学习模型的具体方法,即选择合适的模型优化的方法。
统计学习的三个方面:分类问题,标注问题,回归问题。
分类问题:
分类是监督学习的核心问题,应该说是应用最广泛的,在计算机视觉,模式识别中应用广泛,就而分类而言要有以下概念:
TP(True Positive):正样本被预测为正样本(正判为正样本)
FN(False Negative):正样本被判断为负样本(误判为负样本)
TN(True Negative):负样本判断为负样本(正判为负样本)
FP(False Positive):负样本被判断为正样本(误判为正样本)
附上计算以上情况的matlab代码:
常用的方法:KNN、感知机、朴素贝叶斯法、决策树、决策列表、支持向量机、提升方法、贝叶斯网络、神经网络、随机森林等。
标注问题:
标注问题与分类问题最大的不同在于,标注问题的一个特征向量对应一个标签向量,即对每一个特征都进行属性的判断。
特征序列的长度要远小于特征样本的个数。
标注常用的方法主要有:隐马尔科夫模型,条件随机场。
回归问题:
回归问题可以看作是分类问题的一种特殊情况,即分的类别无限多。回归问题的学习等价于函数拟合,选择一条函数曲线使其能够有很好的拟合已知数据并且能够很好的预测未知数据。
回归学习最常用的损失函数是平方损失函数,在此情况下可以用经典的最小二乘法来解决。
X和Y具有联合概率分布,并且训练数据与测试数据被看作是依据联合概率分布独立同分布产生的。(测试数据和训练数据独立同分布,才可能由学习到的模型去预测未来的数据)。
统计学习的三个要素:
模型: 监督学习过程中,模型就是所要学习的条件概率分布或者决策函数(你要学习到什么样的模型)
策略: 按照什么样的准则学习或者选择最优模型。(有了模型的类型,按照什么方式来计算这个模型,经验风险最小还是结构风险最小)
算法: 学习模型的具体方法,即选择合适的模型优化的方法。
统计学习的三个方面:分类问题,标注问题,回归问题。
分类问题:
分类是监督学习的核心问题,应该说是应用最广泛的,在计算机视觉,模式识别中应用广泛,就而分类而言要有以下概念:
TP(True Positive):正样本被预测为正样本(正判为正样本)
FN(False Negative):正样本被判断为负样本(误判为负样本)
TN(True Negative):负样本判断为负样本(正判为负样本)
FP(False Positive):负样本被判断为正样本(误判为正样本)
附上计算以上情况的matlab代码:
function finalAccuracy= accuracyDetail(predictlb,truelb) % 计算精度的细节 % predictlb 预测出来的label % truelb 实际的label % TP: Ture Positive % TN: Ture Negative % FP: False Positive % FN: False Negative idxTP = find(predictlb == truelb & predictlb == 1); TP = length(idxTP)/length(truelb); idxTN = find(predictlb == truelb & predictlb == 0); TN = length(idxTN)/length(truelb); idxFP = find(predictlb ~= truelb & predictlb == 1); FP = length(idxFP)/length(truelb); idxFN = find(predictlb ~= truelb & predictlb == 0); FN = length(idxFN)/length(truelb); finalAccuracy = [TP,TN,FP,FN] ; end
常用的方法:KNN、感知机、朴素贝叶斯法、决策树、决策列表、支持向量机、提升方法、贝叶斯网络、神经网络、随机森林等。
标注问题:
标注问题与分类问题最大的不同在于,标注问题的一个特征向量对应一个标签向量,即对每一个特征都进行属性的判断。
特征序列的长度要远小于特征样本的个数。
标注常用的方法主要有:隐马尔科夫模型,条件随机场。
回归问题:
回归问题可以看作是分类问题的一种特殊情况,即分的类别无限多。回归问题的学习等价于函数拟合,选择一条函数曲线使其能够有很好的拟合已知数据并且能够很好的预测未知数据。
回归学习最常用的损失函数是平方损失函数,在此情况下可以用经典的最小二乘法来解决。
相关文章推荐
- 用Python从零实现贝叶斯分类器的机器学习的教程
- 也谈 机器学习到底有没有用 ?
- 量子计算机编程原理简介 和 机器学习
- 初识机器学习算法有哪些?
- 10个关于人工智能和机器学习的有趣开源项目
- 机器学习实践中应避免的7种常见错误
- 机器学习书单
- 北美常用的机器学习/自然语言处理/语音处理经典书籍
- 如何提升COBOL系统代码分析效率
- 支持向量机(SVM)算法概述
- 神经网络初步学习手记
- 常用的分类评估--基于R语言
- 开始spark之旅
- spark的几点备忘
- 关于机器学习的学习笔记(一):机器学习概念
- 关于机器学习的学习笔记(二):决策树算法
- 关于机器学习的学习笔记(三):k近邻算法
- 长期招聘:自然语言处理工程师
- 长期招聘:个性化推荐
- 为什么需要一个推荐引擎平台