谈一谈PAC学习理论
2018-03-14 06:40
309 查看
这个系列的博客, 我将整理一下关于PAC 学习理论的知识。目的是用相对数学的角度,对PAC 理论的数学给出框架,再从通俗易懂的角度,给与相对直白的理解。
机器学习作为一个当下十分火热的话题,引来了无数学者的广泛研究。甚至高中已经开设了人工智能课啦。那么PAC 学习理论,也叫计算学习理论,解决了一个什么样的问题呢?
当你训练一个算法的时候,是否有时候问问自己以下几个问题呢?
譬如,这个学习算法最后可以收敛吗?有多大概率收敛呢?(把设计算法看作是买彩票的话,你有多大概率中奖呢?)
你需要多少样本呢?为什么需要这个数量的样本算法才能工作的很好呢?
下面,我们来一点点讨论下这个看似有些玄妙的问题。
我们先从 集中不等式 (Concentration inequality)说起。岔开话题显得很啰嗦,不过为了内容的完整性, 我们还是一步一步的来。
关于数学证明,只要是不太长的,我会在博文中直接给出,如果你被数学证明烦到了,就跳过证明直接来看结果。
集中不等式是数学中的一类不等式,描述了一个随机变量是否集中在某个取值附近。其实,这个概念对于只要熟悉本科概率论的朋友就不陌生, 因为本科的概率论里就有讲到过切比雪夫不等式。不过如果你还不熟悉,就按照我下面的引导来一步步看下去。我们实际要用到的是集中不等式中的Hoeffding 不等式,不过为了热热身,对集中不等式有点感觉, 我们先来两个简单的。
首先,介绍一个最简单的不等式,马尔科夫不等式。
马尔科夫不等式:对于一个非负随机变量ZZ,P(Z≥t)≤E[Z]tP(Z≥t)≤E[Z]t
证明:
∫∞0PZ(z)dz≤∫∞tztPZ(z)dz≤∫∞0ztPZ(z)dz=E[Z]t∫0∞PZ(z)dz≤∫t∞ztPZ(z)dz≤∫0∞ztPZ(z)dz=E[Z]t
马尔科夫不等式告诉我们,对于一个非负的随机变量ZZ,ZZ大于一个值的概率可以用这个值和这个随机变量的均值来度量。
现在回头想想,为什么我们要先从集中不等式说起呢?
想想,如果ZZ是分类器分类的正确率,如果我们能得到这样一个集中不等式:
P(Z≥ϵ)≤CP(Z≥ϵ)≤C
其中CC是一个和Z,ϵZ,ϵ有关的数,这样我们似乎就得到了一些关于分类器的正确率的信息。不过,这个过程比较曲折,我们一点点来。下面再来看一个不等式热热身。
切比雪夫不等式:P(|Z−E[Z]|≥t)≤Var(Z)t2P(|Z−E[Z]|≥t)≤Var(Z)t2
我们来证明一下这个不等式:(第一个小于等于由于两个数a≥ba≥b那么a2≥b2a2≥b2,第二个小于等于由马尔科夫不等式得到)
P(Z≥t)≤P(Z2≥t2)≤E[Z2]t2P(Z≥t)≤P(Z2≥t2)≤E[Z2]t2
把ZZ带成|Z−E[Z]||Z−E[Z]|,化简得到切比雪夫不等式。
这两个不等式属于集中不等式中比较简单的,下面我们来看个复杂一点的不等式,
机器学习作为一个当下十分火热的话题,引来了无数学者的广泛研究。甚至高中已经开设了人工智能课啦。那么PAC 学习理论,也叫计算学习理论,解决了一个什么样的问题呢?
当你训练一个算法的时候,是否有时候问问自己以下几个问题呢?
譬如,这个学习算法最后可以收敛吗?有多大概率收敛呢?(把设计算法看作是买彩票的话,你有多大概率中奖呢?)
你需要多少样本呢?为什么需要这个数量的样本算法才能工作的很好呢?
下面,我们来一点点讨论下这个看似有些玄妙的问题。
我们先从 集中不等式 (Concentration inequality)说起。岔开话题显得很啰嗦,不过为了内容的完整性, 我们还是一步一步的来。
关于数学证明,只要是不太长的,我会在博文中直接给出,如果你被数学证明烦到了,就跳过证明直接来看结果。
集中不等式是数学中的一类不等式,描述了一个随机变量是否集中在某个取值附近。其实,这个概念对于只要熟悉本科概率论的朋友就不陌生, 因为本科的概率论里就有讲到过切比雪夫不等式。不过如果你还不熟悉,就按照我下面的引导来一步步看下去。我们实际要用到的是集中不等式中的Hoeffding 不等式,不过为了热热身,对集中不等式有点感觉, 我们先来两个简单的。
首先,介绍一个最简单的不等式,马尔科夫不等式。
马尔科夫不等式:对于一个非负随机变量ZZ,P(Z≥t)≤E[Z]tP(Z≥t)≤E[Z]t
证明:
∫∞0PZ(z)dz≤∫∞tztPZ(z)dz≤∫∞0ztPZ(z)dz=E[Z]t∫0∞PZ(z)dz≤∫t∞ztPZ(z)dz≤∫0∞ztPZ(z)dz=E[Z]t
马尔科夫不等式告诉我们,对于一个非负的随机变量ZZ,ZZ大于一个值的概率可以用这个值和这个随机变量的均值来度量。
现在回头想想,为什么我们要先从集中不等式说起呢?
想想,如果ZZ是分类器分类的正确率,如果我们能得到这样一个集中不等式:
P(Z≥ϵ)≤CP(Z≥ϵ)≤C
其中CC是一个和Z,ϵZ,ϵ有关的数,这样我们似乎就得到了一些关于分类器的正确率的信息。不过,这个过程比较曲折,我们一点点来。下面再来看一个不等式热热身。
切比雪夫不等式:P(|Z−E[Z]|≥t)≤Var(Z)t2P(|Z−E[Z]|≥t)≤Var(Z)t2
我们来证明一下这个不等式:(第一个小于等于由于两个数a≥ba≥b那么a2≥b2a2≥b2,第二个小于等于由马尔科夫不等式得到)
P(Z≥t)≤P(Z2≥t2)≤E[Z2]t2P(Z≥t)≤P(Z2≥t2)≤E[Z2]t2
把ZZ带成|Z−E[Z]||Z−E[Z]|,化简得到切比雪夫不等式。
这两个不等式属于集中不等式中比较简单的,下面我们来看个复杂一点的不等式,
相关文章推荐
- 30分钟了解PAC学习理论——计算学习理论第一讲
- PAC学习理论:机器学习那些事
- 理解PAC学习理论
- 计算学习理论PAC模型
- caffe SigmoidCrossEntropyLossLayer 理论代码学习
- VB----full scenarios of learning(学习的全局观) &“DINNER THEORY”(吃饭理论)
- 计算学习理论笔记
- 《Orange's 一个操作系统的实现》学习笔记--保护模式理论初步(二)
- 【解惑】理论学习和学历的价值
- JMS学习之理论基础
- python理论学习(七)
- 算法学习:Pac-Man的简单对抗
- 【ML学习笔记】8:PAC可能近似正确
- 徐海蛟:深度学习与计算机视觉理论与实验4
- DDD理论学习系列(11)-- 工厂
- 视频编解码学习之一:理论基础
- 学习,工作,生活场景与纪实——理论与实际
- 《计算机网络(第五版)》中学习理论与实践
- DNS服务器学习笔记(一)原理理论
- 分布式架构基础理论(学习大型网站技术架构)