随机森林中的数学基础之大数定律
2013-11-16 23:43
204 查看
随机森林中的数学基础之大数定律
摘要:随机森林与决策树的一个显著的不同点就是它不会产生过度拟合。它的理论依据就是大数定律。很熟悉的一个名词:大数定律,记得本科的概率论就有学,忘了差不多了,下面先复习下。
大量试验说明,随机事件A的频率R(A),当重复试验的次数n增大时,总呈现出稳定性,稳定在某一个常数的附件,意指数量越多,其平均值就越趋近与期望值。
一:大数定律回顾
切比雪夫定理:设 a1,a2,a3,…,an 为相互独立的随机变量,其数学期望为:E(ai)=
, 及方差D(ai)=
则序列
收敛于u,即在定理条件下,当n无限变大时,n个随机变量的算术平均将趋于一个常数。
辛钦定理(切比雪夫的特殊情况):
设a1,a2,…an,…为服从同一分布且相互独立的随机变量,其数学期望为:
,则对任意正数ε>0,下式成立:
表明,对于独立同分布的随机变量a1,a2,a3…an…,对于任意的ε>0,只要n充分大,事件
实际上几乎是必要发生的。
伯努利大数定理(切比雪夫的特殊情况):
设μ是n次独立试验中事件A发生的次数,p是事件A在每次试验中发生的概率,则对于任意的正数ε,有
伯努力大数定理说明,当试验次数n很大的时候,事件A发生的频率与概率有较大判别的可能性比较小,即:
用数学式表现出了频率的稳定性。
二:随机森林中的大数定律的应用
首先回顾下随机森林的定义:随机森林是一个分类器,它由一些列的单株分类器
组成的,其中的
是独立同分布的随机变量。在输入X后,每一棵决策树只投一票给它认为最合适的分类标签,最后选择投票最多的那个分类标签作为X的分类。
之所以引入随机变量
,是为了控制每棵树的生长,通常针对于第K棵决策树引进随机变量
,它与前面的k-1个随机变量是独立同分布的,利用训练集和
来生成第k棵树,也就等价于生成一个分类器
,其中的X是一个输入向量。
给定一系列的分类器
,然后随机的选择一些训练样本,设其中X为样本向量,Y为正确分类的分类标签向量。
则定义边际函数:
其中I(.)是示性函数,av(.)表示取平均值,边际函数表示了在正确分类Y之下X的得票数目超过其它错误分类的最大得票数目的程度。
该值越大表明分类的置信度越高。
泛化误差 公式为:
其中X,Y表示概率的定义空间。
根据大数定律中的辛钦定理,当决策树的数目增加时,对于所有的序列
和PE都会收敛到:
对应于大数定律里的频率收敛于概率。
这一结果解释了为什么随机森林不会随着决策树的增加而产生过度拟合,并且有一个有限的泛化误差值。
相关文章推荐
- 随机森林中的数学基础之大数定律
- SVD奇异值分解(1)-数学基础
- 【原创】开源Math.NET基础数学类库使用(16)C#计算矩阵秩
- 机器学习笔记_数学基础_1-微积分
- 数学建模基础
- 机器学习笔记_数学基础_6-矩阵方程组的求解与最小二乘定义
- 3D数学基础图形与游戏开发之坐标系
- 【原创】开源Math.NET基础数学类库使用(04)C#解析Matrix Marke数据格式
- GPU深度发掘(一)::GPGPU数学基础教程
- 机器学习的数学基础(1)--Dirichlet分布
- Codeforces 610B Vika and Squares 【计数 数学基础】
- 3D 图形编程的数学基础(1) 向量及其运算
- 深度学习——数学与机器学习基础
- 算法设计和复杂性理论学习笔记_2(数学基础)
- 机器学习经典书籍--入门书-入门--深入--数学基础
- 数学之路(2)-数据分析-R基础(1)
- 机器学习-->数学基础
- 深度学习中得数学,高效计算基础与线性分类器
- 图形学数学基础之1D采样分布计算方法Inverse Method
- 3D数学基础--3D中的方位与角位移(1)