Chebyshev-Inequality-with-Linear-Bound

注：本博客只是搬运工。

原文链接

在统计学习理论中有一个很基础的不等式：Hoeffding不等式，这个不等式是大数定律的一种形式。大数定律中最简单的不等式应该就是Chebyshev不等式了。我们今天来证明一下它，以及给出线性bound的几个推论：

Chebyshev不等式：假设t是非负随机变量，对于任意的α>0，我们都有：P[t≥α]≤E(t)α

证明如下：

我们定义一个集合A⊂Ω:A=t∈Ω|t≥a,因此：

E(t)=∑_t∈ΩP(t)t=∑_t∈AP(t)t+∑_t∉AP(t)t≤∑_t∈AP(t)t ≤∑_t∈AP(t)a=aP(A)

得证！

下面是俩推论：

1.随机变量u的均值是μ，方差是σ2，因此可得，对任意α，P[(u−μ)2≥α]≤σ2α

2.u_1,u_2,...,u_N是独立同分布的一组随机变量，每一个变量的均值都是μ，方差是σ2，定义新的随机变量u=1N∑_n=1Nu_n，对任意的α>0，都有：P[(u−μ)2≥α]≤σ2Nα