最大似然估计

假设随机投掷一枚图钉，投掷的结果为X，X为随机变量，取值为{0, 1}

X的取值	0	1
概率	θ	1−θ

上述表格中仅有1个独立的参数θ

现在重复进行了6次实验，得到数据集D={1,0,1,1,0,1}

给定参数θ，数据集D发生的可能性为条件概率P(D∣∣θ)，称为θ的似然（likelihood），记作

L(θ∣∣D)=P(D∣∣θ)

D是已知的，θ是未知的，因此L(θ∣∣D)是关于θ的函数

对于上述观测到的数据集D={1,0,1,1,0,1}，当θ=0时，显然D是不可能发生的，即P(D∣∣θ=0)=0，而当θ=13时，对应的观测数据集D是最“合理”的，即P(D∣∣θ=13)的值最大，这就是最大似然估计，寻找一个最优的参数θ∗，使得L(θ∣∣D)取最大值

θ∗=argmaxθL(θ∣∣D)

设数据集D由m个样本组成，即D={D1,D2,...,Dm}，在最大似然估计中，需要做2个假设

假设1，各次实验相互独立，即P(D∣∣θ)=∏m1P(Di∣∣θ)

假设2，每个样本Di的条件概率P(Di∣∣θ)相同，即P(Di=0∣∣θ)=θ，P(Di=1∣∣θ)=1−θ

上述2个假设统称为独立同分布（i.i.d）