机器学习笔记1——线性回归，梯度下降
2017-02-26 14:34
441 查看
线性回归处理连续变量预测
假设m个样本（x1,y1）....(xm,ym)
h(x)=θ0*x0+θ1*x1+...+θm*xm 预测值
J( θ)= ∑1/2*（yi-h(xi)）^2 为误差，使得J( θ)最小即可
对J( θ)求偏导，并令∂J( θ)/∂θ = 0即可
另一种方法是梯度下降。
令θ=（0,0,0，...0）
θ = θ - α * ∂J( θ)/∂θ α为步长。
直到θ变化在一定的阈值内。这被称为批梯度下降法，优点准确，缺点效率低
变种是随机梯度下降法，每次处理一个样本
假设m个样本（x1,y1）....(xm,ym)
h(x)=θ0*x0+θ1*x1+...+θm*xm 预测值
J( θ)= ∑1/2*（yi-h(xi)）^2 为误差，使得J( θ)最小即可
对J( θ)求偏导，并令∂J( θ)/∂θ = 0即可
另一种方法是梯度下降。
令θ=（0,0,0，...0）
θ = θ - α * ∂J( θ)/∂θ α为步长。
直到θ变化在一定的阈值内。这被称为批梯度下降法，优点准确，缺点效率低
变种是随机梯度下降法，每次处理一个样本
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 机器学习笔记（1）-线性回归，梯度下降，logistic回归
- 斯坦福大学机器学习笔记——多变量的线性回归以及梯度下降法注意事项（内有代码）
- 【机器学习入门】Andrew NG《Machine Learning》课程笔记之二 ：基本概念、代价函数、梯度下降和线性回归
- 斯坦福大学机器学习笔记——单变量的线性回归以及损失函数和梯度下降法（包含代码）
- 斯坦福机器学习视频笔记 Week1 线性回归和梯度下降 Linear Regression and Gradient Descent
- Stanford机器学习课程笔记——单变量线性回归和梯度下降法
- 机器学习第二篇——线性回归与梯度下降
- Andrew Ng 机器学习笔记 02 ：线性回归与梯度下降
- 【转载】Andrew Ng机器学习公开课笔记 — 线性回归和梯度下降
- 机器学习-梯度下降法实现线性回归
- 机器学习笔记二：监督学习应用：梯度下降
- Machine Learning（Stanford）| 斯坦福大学机器学习笔记--第一周（4.梯度下降）
- Machine Learning（Stanford）| 斯坦福大学机器学习笔记--第一周（4.梯度下降）
- 机器学习笔记02：多元线性回归、梯度下降和Normal equation
- 机器学习笔记03：Normal equation与梯度下降的比较
- 机器学习深度学习基础笔记(2)——梯度下降之手写数字识别算法实现
- 机器学习（三）线性回归和梯度下降法
- 【机器学习-斯坦福】学习笔记2 - 监督学习应用与梯度下降
- Andrew Ng 机器学习 第一课 监督学习应用.梯度下降 笔记
- 机器学习-斯坦福：学习笔记2-监督学习应用与梯度下降