线性回归算法 及其推导
2018-04-08 10:58
471 查看
1.假设银行贷款,工资和年龄决定了你的贷款额度。这时候我们就需要找到工资,年龄和额度之间的关联。
2. 在x,y,z轴中我们要找到一个拟合面
,使得x,y,z的值尽可能的在拟合面上。x1表示工资,x2表示年龄。θ1表示工资的参数,θ2表示年龄的参数,θ0 表示偏执项。
3.由上面公式可以得出:
4.误差定义:真实值和预测值存在差异。ξ表示误差。每一个样本用公式表示:
独立表示的是:甲乙两个人去银行贷款,两者都没有关系。同分布表示的是:甲和乙都去同一个银行贷款。5.似然函数:公式比较多,要详细看一下,最好手动推导一下。5.1预测值与误差:
5.2误差服从高斯分布:
将5.1带入到5.2中得到:
由此得到似然函数:
根据样本估计参数,有数据找到参数接近真实值。求得对数似然:
设A=
B=
让似然函数越大越好,A为常数项,所以B越小越好。
是一个常数项,所以求
的值。
用最小二乘法求:
求偏导:
得到偏导值令偏导为0,即可求得θ的值:
。
2. 在x,y,z轴中我们要找到一个拟合面
,使得x,y,z的值尽可能的在拟合面上。x1表示工资,x2表示年龄。θ1表示工资的参数,θ2表示年龄的参数,θ0 表示偏执项。
3.由上面公式可以得出:
4.误差定义:真实值和预测值存在差异。ξ表示误差。每一个样本用公式表示:
独立表示的是:甲乙两个人去银行贷款,两者都没有关系。同分布表示的是:甲和乙都去同一个银行贷款。5.似然函数:公式比较多,要详细看一下,最好手动推导一下。5.1预测值与误差:
5.2误差服从高斯分布:
将5.1带入到5.2中得到:
由此得到似然函数:
根据样本估计参数,有数据找到参数接近真实值。求得对数似然:
设A=
B=
让似然函数越大越好,A为常数项,所以B越小越好。
是一个常数项,所以求
的值。
用最小二乘法求:
求偏导:
得到偏导值令偏导为0,即可求得θ的值:
。
相关文章推荐
- 线性回归算法的数学推导
- Machine Learning - WEEK 1 2 3- 线性回归 、逻辑回归、梯度下降法及其优化算法、传统方法、 Octave 入门
- 2.6 线性回归算法学习——多元线性回归的原理及推导学习
- [置顶] 《机器学习实战》学习笔记(四)之Logistic(上)基础理论及算法推导、线性回归,梯度下降算法
- 2.1 线性回归算法学习——简单线性回归算法的原理及推导过程
- 机器学习 —— 基础整理(五)线性回归;二项Logistic回归;Softmax回归及其梯度推导;广义线性模型
- 线性回归从公理到算法推导再到代码实现
- Python数据拟合与广义线性回归算法学习
- 线性回归及其概率解释
- 线性回归,加权回归,推导过程
- 机器学习与算法(1)---线性回归
- 线性判别分析(LDA), 主成分分析(PCA)及其推导【转】
- 线性回归原理推导
- R语言笔记之线性回归及其衍生
- 1.线性回归的推导--梯度下降法
- [置顶] 吴恩达机器学习笔记——指数分布族&广义线性模型&逻辑回归概率模型推导
- 【西瓜书】线性回归在回归,二分类,多分类问题上的应用与推导
- 数据挖掘算法学习日志(一)之线性回归
- 机器学习之-线性回归算法【人工智能工程师--AI转型必修课】
- 多元线性回归方程建模:使用岭回归与lasso算法选择变量