最大似然估计

假如你要统计学校女生的平均身高，但是你没有能力得到全校女生的数据，你想了想，可以统计你们班女生的身高，然后估计全校女生的平均身高。这其实就是极大然估计的思想。极大似然是指，当模型确定，参数不知时，我们利用采集的信息，反推出最有可能生成这组信息的模型。这和我们的对世界认知是一致的，对于一个有多种可能的事件，我们总是认为，我们看到的那些结果（样本），是该事件概率最大的可能。即“存在即合理，所见即真实”。

极大似然有两个假设：

模型确定，参数未知

样本独立同分布得到

这样所有的数据都是由同一个分布（模型）得到的，模型也就可以可以倒推出来。

假设一组样本X=(x1,x2,⋯,xn),是我们独立同分布采样得到的，模型确定，参数未知，假设参数为θ，那么得到这组样本的概率是

f(x1,x2,⋯,xn|θ)=f(x1|θ)f(x2|θ)⋯f(xn|θ)

不同的参数θ会以不同的概率生成这组样本，最大概率的那个θ，最有可能生成这组样本，也就是我们要求的的。

L(θ|x1,x2,⋯,xn)=f(x1,x2,⋯,xn|θ)=∏if(xi|θ))

我们直接求其最大值maxL(θ|x1,x2,⋯,xn)非常困难，可以先取对数

l(θ)=logL(θ)=∑if(xi|θ)然后再求最大值。我们可以求导数∂l(θ)∂θ=0。

举个例子，我们猜到班级女生的身高{1.6，1.64，1.65，1.6，1.58，1.57，1.7},我们要估计均值和方差，此时模型参数是θ=(μ,σ)。假设身高服从高斯分布x∼N(μ,σ2)，根据公式得到

∂l(μ,σ)∂μ=∑i=1n∂∂μ(1σ2π−−√e−(xi−μ)22σ2)=0同理可以对σ求导。

最大似然估计(Maximum likelihood estimation)

极大似然估计