您的位置：首页 > 其它

机器学习之逻辑回归（Logistic Regression）

2017-08-19 23:05 316 查看

逻辑回归名字听起来像是做处理回归问题的，其实不然，逻辑回归是分类模型。
二项逻辑回归模型是如下的条件概率分布：

$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$

$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}$

这里，
$x\in R^{n}$
是输入，
$Y\in \left \{ 0,1 \right \}$
是输出，
$w\in R^{n}$
和
$b\in R$
是参数，
$w$
称为权值向量，
$b$
称为偏置，
$w\cdot x$
为
$w$
和
$x$
的内积。

对于给定的输入实例
$x$
，按照上面两式可以求得
$P(Y=1|x)$
和
$P(Y=0|x)$
，逻辑回归模型比较两个条件概率值的大小，将实例
$x$
分到概率值较大的那一类。

有时为了方便，将权值向量和输入向量加以扩充，仍记作
$w$
，
$x$
，即

$w=(w^{(1)},w^{(2)},...,w^{(n)},b),x=(x^{(1)},x^{(2)},...,x^{(n)},1)^{T}$
。这时，逻辑回归模型如下：

$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}$

$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}$

我们一般使用极大似然估计法估计模型参数，

似然函数为：

$\prod_{i=1}^{n}((\frac{exp(w\cdot x_{i})}{1+exp(w\cdot x_{i})})^{y_{i}}*(\frac{1}{1+exp(w\cdot x_{i})})^{1-y_{i}})$

对数似然函数为：

$L(w)=\sum_{i=1}^{n}log((\frac{exp(w\cdot x_{i})}{1+exp(w\cdot x_{i})})^{y_{i}}*(\frac{1}{1+exp(w\cdot x_{i})})^{1-y_{i}})$

$=\sum_{i=1}^{n}(y_{i}(w\cdot x_{i}-log(1+exp(w\cdot x_{i})))+(y_{i}-1)log(1+exp(w\cdot x_{i})))$

$=\sum_{i=1}^{n}(y_{i}(w\cdot x_{i})-log(1+exp(w\cdot x_{i})))$

对
$L(w)$
求最大值，得到
$w$
的估计值。

逻辑回归学习中，通常采用的方法是梯度下降法和拟牛顿法。

假设
$w$
的极大似然估计值是
$\hat{w}$
，那么学到的逻辑回归模型为：

$P(Y=1|x)=\frac{exp(\hat{w}\cdot x)}{1+exp(\hat{w}\cdot x)}$

$P(Y=0|x)=\frac{1}{1+exp(\hat{w}\cdot x)}$

假设离散型随机变量Y的取值集合为
$\left \{ 1,2,...,K \right \}$
，那么多项逻辑回归模型是：

$P(Y=k|x)=\frac{exp(w_{k}\cdot x)}{1+\sum_{k=1}^{K-1}exp(w_{k}\cdot x)},k=1,2,...,K-1$

$P(Y=K|x)=\frac{1}{1+\sum_{k=1}^{K-1}exp(w_{k}\cdot x)}$

这里，
$x\in R^{n+1},w_{k}\in R^{n+1}$

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签： 逻辑回归

相关文章推荐

新的分享

章节导航