贝叶斯概率推断：概率分布

概率分布

　　假设x是一个随即变量,存在一个关于x的概率分布函数，x可以取任何值．同概率分布函数都得到一个概率值．随即变量分为三种类型：

１．离散随机变量：变量的取值在固定的列表中．

２．连续随机变量：连续变量的值可以是任意精度的数值．

３．混合型变量　：既有离散型变量又有连续型变量．

离散情况

　　xx是离散的，xx的分布为概率质量函数，当xx的取值为kk时的概率为P(x=k)P(x=k).概率质量函数可以完全描述随机变量xx,假设xx服从泊松分布：可表示为：x～Poi(λ)x～Poi(λ)

　　　　　　　　　　　　

　　　　　　　　　　　　P(x=k)=λke−λk!,k=0,1,2,3.......P(x=k)=λke−λk!,k=0,1,2,3.......

λλ : Poisson分布的强度，λλ增大，kk取大值的概率会增加．反之，则减小．λλ的取值为任意正数．

kk : 取值为任意非负整数．

Poisson分布的重要性质：它的期望等于它的参数，E[x|λ]=λE[x|λ]=λ

import numpy as np
import scipy.stats as stats
import matplotlib.pyplot as plt

# 随机变量
x = np.arange(20)
#　泊松分布
poi = stats.poisson
lambda_ = [1.5, 4.25]
colours = ["#348ABD", "#A60628"]
# lambda = 1.5
plt.bar(x, poi.pmf(x, lambda_[0]), color=colours[0],
label="$\lambda = %.1f$" % lambda_[0], alpha=0.60,
edgecolor=colours[0], lw="3")
# lambda = 4.25
plt.bar(x, poi.pmf(x, lambda_[1]), color=colours[1],
label="$\lambda = %.1f$" % lambda_[1], alpha=0.60,
edgecolor=colours[1], lw="3")
plt.xticks(x + 0.4, x)
plt.legend()
plt.ylabel("probability of $k$")
plt.xlabel("$k$")
plt.title("Probability mass function of a Poisson random variable; differing \
$\lambda$ values")

连续情况

　　在连续变量的情况下，概率分布函数被称为概率密度函数．举一个例子：指数密度．指数随机变量的密度函数如下式：

　　　　　　　　　 　　　　　　fx(x|λ)=λe−λx,x>=0fx(x|λ)=λe−λx,x>=0

xx : 指数随机变量可以取任意非负值，包括整数．

λλ: 取值大于等于０．

当随机变量xx服从参数为λλ的指数分布时，记为x～Exp(λ)x～Exp(λ)

指数型随机变量的期望值为λλ的逆：E[x|λ]=1/λE[x|λ]=1/λ 　　　　　　

#　随即变量
x = np.linspace(0, 6, 150)
expo = stats.expon
lambda_ = [0.5, 1.0]
# lambda = 0.5
plt.plot(x, expo.pdf(x, scale=1.0/lambda_[0]), label="$\lambda = %.2f"%lambda_[0])
plt.fill_between(x, expo.pdf(x, scale=1.0/lambda_[0]), alpha=0.5)
# lambda = 1.0
plt.plot(x, expo.pdf(x, scale=1.0/lambda_[1]), label="$\lambda = %.2f"%lambda_[1])
plt.fill_between(x, expo.pdf(x, scale=1.0/lambda_[1]), alpha=0.5)

plt.legend()
plt.ylabel("Probability density function at $z$")
plt.xlabel("$z$")
plt.ylim(0, 1.2)
plt.title("Probability density function of an exponential random variable,different $\lambda$")
plt.show()

注意！概率密度函数在某一点的值并不等于它在这一点的概率．

参数 λλ

　　参数λλ可以理解为统计的动机，在现实世界中我们并不能直观的感受到参数λλ的存在．如果要确定参数λλ，就要深入到整个事件的背景当中去．这个问题很难，因为并不存在xx到参数λλ的一一对应关系．贝叶斯推断围绕参数λλ的估计，是通过一个概率分布来描述参数λλ的可能取值．