线性回归之代价函数除2m
2015-12-22 15:49
288 查看
线性回归中代价函数为:
J=12m∑i=1m(hθ(x(i))−y(i))2J = \frac{1}{{2m}}\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}}
开始为何是除以2m2m,第一反应不应该除以mm么?在吴恩达机器学习视频公开课上讲解是为了其他数学计算的方便。其实这里无论除以2m2m还是mm,代价函数最优化的结果θ \theta\ 都是相同的。
数学计算的方便:之后利用梯度下降法对JJ求导,如果是2m2m,求导结果为:∂J∂θi=1m∑i=1m(hθ(x(i))−y(i))∂hθ(x(i))∂θ\frac{{\partial J}}{{\partial {\theta _i}}} = \frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)} \frac{{\partial {h_\theta }\left( {{x^{\left( i \right)}}} \right)}}{{\partial \theta }},这里正好除以mm,便于计算。
J=12m∑i=1m(hθ(x(i))−y(i))2J = \frac{1}{{2m}}\sum\limits_{i = 1}^m {{{\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)}^2}}
开始为何是除以2m2m,第一反应不应该除以mm么?在吴恩达机器学习视频公开课上讲解是为了其他数学计算的方便。其实这里无论除以2m2m还是mm,代价函数最优化的结果θ \theta\ 都是相同的。
数学计算的方便:之后利用梯度下降法对JJ求导,如果是2m2m,求导结果为:∂J∂θi=1m∑i=1m(hθ(x(i))−y(i))∂hθ(x(i))∂θ\frac{{\partial J}}{{\partial {\theta _i}}} = \frac{1}{m}\sum\limits_{i = 1}^m {\left( {{h_\theta }\left( {{x^{\left( i \right)}}} \right) - {y^{\left( i \right)}}} \right)} \frac{{\partial {h_\theta }\left( {{x^{\left( i \right)}}} \right)}}{{\partial \theta }},这里正好除以mm,便于计算。
相关文章推荐
- 让AngularJS兼容IE8及其以下浏览器版本的方法
- 第四章 Controller接口控制器详解(4)
- C++学习笔记------浅析多态
- Masonry介绍与使用实践(快速上手Autolayout)
- 开源软件、自由软件和免费软件的区别
- 轻量级JavaEE企业应用实战(十四)
- CAN总线的远程、错误帧的作用!
- ubuntu软件中心崩溃
- Review Board的使用
- 写程序的欢迎界面(运用画图方法画圆球)。
- shell之tomcat日志备份
- opengl常用函数解释
- 解析WordPress中函数钩子hook的作用及基本用法
- diff command
- android图片大小按比例缩放
- 第四章 Controller接口控制器详解(3)
- Git 常用命令整理
- javascript 搜索并高亮显示
- 清除浮动的七种方式方法(实例代码讲解)
- Android初学习 - Activity的四种启动模式(回退栈)