[机器学习笔记] 什么是最小二乘法?
2018-02-05 16:37
369 查看
最小二乘是个翻译过来的名词,英文原文是 Least Squares,其实就是最小平方和。
我第一次听说最小二乘时,很难理解这个东西,不知道二乘是谁和谁相乘,什么样的两个数相乘。如果说最小平方和,我立刻就明白了。不知道大师为什么翻译成最小二乘。
凡事皆有例外,最小二乘法的基本思想就是认为测量中有误差,所有测量的累积误差为:
就是,累积误差=单个误差的平方和。
勒让德在 1805 年发表的论文中对最小二乘法的优良性做了几点说明:
最小二乘使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位。
计算中只要求偏导后求解线性方程组,计算过程明确便捷。
最小二乘可以导出算术平均值作为估计值。
在机器学习模型训练时,最小二乘法通过最小化预测误差的平方和求解最佳模型。计算公式如下:
式中ym是模型的预测值,yi是真实值,二者的差是模型的预测误差。
我第一次听说最小二乘时,很难理解这个东西,不知道二乘是谁和谁相乘,什么样的两个数相乘。如果说最小平方和,我立刻就明白了。不知道大师为什么翻译成最小二乘。
凡事皆有例外,最小二乘法的基本思想就是认为测量中有误差,所有测量的累积误差为:
就是,累积误差=单个误差的平方和。
勒让德在 1805 年发表的论文中对最小二乘法的优良性做了几点说明:
最小二乘使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位。
计算中只要求偏导后求解线性方程组,计算过程明确便捷。
最小二乘可以导出算术平均值作为估计值。
在机器学习模型训练时,最小二乘法通过最小化预测误差的平方和求解最佳模型。计算公式如下:
式中ym是模型的预测值,yi是真实值,二者的差是模型的预测误差。
相关文章推荐
- [机器学习笔记] 什么是SMO算法?
- 机器学习笔记(V)线性模型(I)一维最小二乘法
- 笔记:什么是机器学习?-by周志华
- [机器学习笔记] 如何通过最小二乘法求解?
- 机器学习笔记1——什么是机器学习
- 机器学习笔记——最小二乘法
- 机器学习笔记之什么是机器学习
- [机器学习笔记] 什么是核函数?有什么用?
- [机器学习笔记] 什么是经验风险?什么是结构风险?
- [机器学习笔记] 什么是分类,什么是回归?
- [机器学习笔记] 什么是欠拟合?什么是过拟合?
- 机器学习笔记(一) : 线性建模——最小二乘法
- 机器学习笔记(VI)线性模型(II)多维最小二乘法
- 机器学习笔记二:线性回归与最小二乘法
- 机器学习笔记——最小二乘法
- [机器学习笔记] 什么是损失函数?
- 机器学习笔记----最小二乘法,局部加权,岭回归讲解
- 机器学习笔记(三)——正则化最小二乘法
- 机器学习技法 笔记一 linear support vector machine
- 机器学习笔记_ 最大熵模型