Logistic回归-代价函数求导过程 | 内含数学相关基础
2017-11-21 18:21
706 查看
本篇文章是针对已经学习过 Logistic Rregression 部分知识,只对其 Cost function 求导过程展开详述。 作者 | ZJ
Github: Logistic回归-代价函数求导过程 | 内含数学相关基础
相关函数求导公式
先复习回顾下一些数学基础,帮助推导过程可以更好的理解。下面列举的公式都是,接下来的推导中会用到的,没有涉及到的公式,此处不再列举。常数项求导
以 e 为底的指数求导公式
对数复合求导公式
幂函数复合求导公式
函数的和、差、积、商的求导法则
设
,都可导,则:
(1)
(2)
(3)
(4)
复合函数求导法则
设
而
且
及
都可导,则复合函数
的导数为
Logistic 回归的 Cost function 的推导过程:
之前采用的是梯度下降算法用来求函数的最小值。好吧,来吧正式开始了,有了以上的数学求导基础,接下来就容易多了,公式嘛,当初上学时,老师常说的一句话:“背过,记住!”
Logistic回归的代价函数可以统一写成如下一个等式:
其中:
下面开始我们的推导过程:如果要求
对某一个参数
的偏导数,则:
1.根据求导公式,可以先把常数项
提取出来,这样就只需要对求和符号内部的表达式求导,即:
(1)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201711/b15b7051df74d6e0bc7c0d879d8e9ef8)
其中 K(θ)’ 为:(为方便显示,先把右上角表示第i个样本的上标去掉)2.根据对数复合求导公式,
,
对 K(θ)’ 继续求导可得:
(2)
![](https://oscdn.geek-share.com/Uploads/Images/Content/201711/d773df246938cb9ef7cf7158bda22afe)
之后 需要对现在 根据上面提到的
幂函数复合求导公式
以 e 为底的指数求导公式
先对
求导:
根据上面的已知公式:
依据上面的商求导公式可得:
将 (3) (4) 代入 (2) 中 ,可得:
推导结果:
结论:Logistic Regression 的目的是 求解一组最佳拟合参数 θ 。这个求解的过程是由最优化算法完成的。
参考文献:[1] 玄天妙地 .第三周:逻辑回归代价函数求导过程 [OL]
相关文章推荐
- 逻辑回归中代价函数求导的推导过程
- 机器学习笔记-6.5逻辑回归的代价函数及其求导
- logistic回归代价函数
- 逻辑回归 logistic regression 代价函数导数求解过程
- 逻辑回归模型的代价函数对参数的偏导数--推导过程
- 使用fminunc找逻辑回归(logistic)代价函数的最小值
- 逻辑回归中代价函数求导推导
- 逻辑回归中代价函数求导推导
- derivative of cost function for Logistic Regression 逻辑回归代价函数偏导证明
- logistic回归错误函数推倒过程
- Softmax代价函数求导过程
- 腾讯校招基础研究岗相关:请解释LR/logistic regression/对数几率回归/逻辑回归/逻辑斯蒂回归
- 使用fminunc找逻辑回归(logistic)代价函数的最小值
- 关于PHP-Zend framework2 框架 学习过程。 阅前须知: ZF2中的配置文件是可以静态文件配置来注册和通过相关函数动态注册。 1.EventManager(事件驱动),关于事件驱动,在ZF2相关资料没有详细说明,可以参考ANDROID的事件驱动,MFC的消息响应/事件驱动。
- 3d数学基础:常用向量相关运算
- 从数学到实现,全面回顾高斯过程中的函数最优化
- 开源Math.NET基础数学类库使用(09)相关数论函数使用
- 模型汇总22 机器学习相关基础数学理论、概念、模型思维导图分享
- MySQL存储过程中的基本函数和触发器的相关学习教程
- PLSQL基础(四)储存过程与函数