Machine Learning:最小二乘法数学原理及简单推导
2017-12-18 15:21
316 查看
Machine Learning:最小二乘法数学原理及简单推导
假设给定一系列散列值(数据集)记为D={(x1,y1),(x2,y2),(x3,y3),,,(xn,yn)},找到一个函数y=ax+b(也可记得f(x)=ax+b)使得f(x)函数尽可能拟合D。求解函数f(x)的方法很多种。最小二乘法寻找拟合函数f(x)的原理和思想关键:平方差之和最小,即使得
Q最小。即求解
最小值。
因为(x1,y1),(x2,y2),,,(xn,yn)均是已知变量,问题转化为求解Q=f(a,b)的最小值,即求解(a,b)点,使得f(a,b)值极小。
使用偏导数解f(a,b)极小值:
最终整理化简后,a,b值的公式为:
其中,
即xi,yi的算术平均值。
假设给定一系列散列值(数据集)记为D={(x1,y1),(x2,y2),(x3,y3),,,(xn,yn)},找到一个函数y=ax+b(也可记得f(x)=ax+b)使得f(x)函数尽可能拟合D。求解函数f(x)的方法很多种。最小二乘法寻找拟合函数f(x)的原理和思想关键:平方差之和最小,即使得
Q最小。即求解
最小值。
因为(x1,y1),(x2,y2),,,(xn,yn)均是已知变量,问题转化为求解Q=f(a,b)的最小值,即求解(a,b)点,使得f(a,b)值极小。
使用偏导数解f(a,b)极小值:
最终整理化简后,a,b值的公式为:
其中,
即xi,yi的算术平均值。
相关文章推荐
- Machine Learning:最小二乘法数学原理及简单推导
- HDU 4112 Break the Chocolate(简单的数学推导)
- Feedforward Neural Network Language Model(NNLM)原理及数学推导
- 人工智能里的数学修炼 | AdaBoost的数学原理: 分布更新推导
- 简单约瑟夫环 系列(2) 【数学推导】
- 征税到底亏了谁?简单数学背后的经济学原理
- 最小二乘法数学原理和newlisp实现
- 哈希表之简易数学原理和简易实现(史上最简单易懂的哈希表介绍)
- PCA数学原理与简单人脸识别
- kuangbin带你飞,矩阵(简单数学推导题)
- 三维重建学习(5):简单地从数学原理层面理解双目立体视觉
- ACM: 简单数学推导+挑战平台的精度…
- PCA的数学原理,推导的很详细
- LeetCode | 462. Minimum Moves to Equal Array Elements II 简单数学原理题
- LDA线性判别原理解析<数学推导>
- BNU27945——整数边直角三角形——————【简单数学推导】
- 【数学】奇异值分解(SVD)原理详解及推导
- Recurrent Neural Network Based Language Model(RNNLM)原理及BPTT数学推导
- BP神经网络原理简单介绍以及公式推导(矩阵形式和分量形式)
- [置顶] 相机标定的数学原理及其推导过程