Logistic回归与最大熵模型

Logistic（逻辑斯谛）回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximumentropy model）。Logistic 回归与最大熵模型都属于对数线性模型。

1.逻辑斯谛分布

设 X 是连续随机变量， X 服从逻辑斯谛分布指具有下列分布函数和密度函数：



式中 u 为位置参数， r>0为形状参数。逻辑斯谛分布函数图形如下图所示



2. 二项逻辑斯谛回归模型

二项逻辑斯谛回归模型是一种分类模型，由条件概率分布 P(Y|X)表示，形式为参数化的逻辑斯谛分布。随机变量Y取值 1 和0.



这里 w 称为权值向量，b 称为偏置，w*b为 w 和 x 的内积。

有时为了方便，将权值向量和输入向量加以扩充，仍记作 w, x, 即 w= (w(1) ,w(2).....w(n) ,b)T,x = (x(1), x(2).....x(n))T。这时逻辑斯谛回归模型如下：



逻辑斯谛回归模型的特点：一个事件发生的几率（odds）是指事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率为p,那么几率为p/(1-p),该事件的对数几率 log(odds)=log(p/(1-p)). 对于逻辑斯谛回归而言，得



这就意味着在逻辑斯谛回归模型中，输出Y=1的对数几率是输入 x 的线性函数，或者说，输出 Y=1的对数几率是由输入 x的线性函数表示的模型即逻辑斯谛回归模型。换一个角度说，考虑对输入 x 进行分类的线性函数w*x，其值域为实数域，通过逻辑斯谛回归模型定义可以将线性函数转换为上式概率，线性函数值越接近正无穷，概率值就越接近于1；线性函数的值越接近负无穷，概率值就越接近于0。

1.3 模型参数估计

使用极大似然估计法估计模型参数，从而得到逻辑斯谛回归模型。设



似然函数为：



对数似然函数为：



对 L(w)求极大值，得到 w的估计值。这样，问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中通常采用的方法的是梯度下降法及拟牛顿法。