逻辑回归（Logistic+Regression）

机器学习算法完整版见fenghaootong-github

逻辑回归（Logistic Regression）

Regression问题的常规步骤为：

寻找h函数（即hypothesis）；

构造J函数（损失函数）；

想办法使得J函数最小并求得回归参数（θ）

构造预测函数h

函数形式为：

hθ(x)=g(θTx)=11+e−θTxhθ(x)=g(θTx)=11+e−θTx

函数hθ(x)hθ(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

P(y=1|x;θ)=hθ(x)P(y=1|x;θ)=hθ(x)

P(y=0|x;θ)=1−hθ(x)P(y=0|x;θ)=1−hθ(x)

构造损失函数J

将上面二式综合起来

P(y|x;θ)=(hθ(x))y(1−hθ(x))1−yP(y|x;θ)=(hθ(x))y(1−hθ(x))1−y

取似然函数为：

L(θ)=Πmi=1P(yi|xi;θ)=Πmi=1(hθ(xi))yi(1−hθ(xi))1−yiL(θ)=Πi=1mP(yi|xi;θ)=Πi=1m(hθ(xi))yi(1−hθ(xi))1−yi

对数似然函数为：

l(θ)=logL(θ)=∑mi=1(yihθ(xi)+(1−yi)(1−hθ(xi)))l(θ)=logL(θ)=∑i=1m(yihθ(xi)+(1−yi)(1−hθ(xi)))

最大似然估计就是求使l(θ)l(θ)取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。

J(θ)=−1ml(θ)J(θ)=−1ml(θ)

因为乘了一个负的系数-1/m，所以取J(θ)J(θ)最小值时的θ为要求的最佳参数。

梯度下降法求的最小值

θθ更新过程:

θj:=θj−α1m∑mi=1(hθ(xi)−yi)xjiθj:=θj−α1m∑i=1m(hθ(xi)−yi)xij

逻辑回归（Logistic Regression）经典实例

逻辑回归（Logistic Regression）经典实例