斯坦福大学机器学习课程学习笔记-逻辑回归

本文是根据某牛人的笔记和他人博客整合而成，大部分是一个记录和学习的过程

一 线性回归和梯度下降

主要连接：
http://blog.sina.com.cn/s/blog_62339a2401015jyq.html

二 梯度下降的附加解释

梯度下降法，基于这样的观察：如果实值函数 

 在点 

 处可微且有定义，那么函数 

在 

 点沿着梯度相反的方向 下降最快。

因而，如果



对于 

 为一个够小数值时成立，那么 

。

考虑到这一点，我们可以从函数 

 的局部极小值的初始估计 

 出发，并考虑如下序列 

 使得



因此可得到



如果顺利的话序列 

 收敛到期望的极值。注意每次迭代步长 

 可以改变。