[机器学习笔记] 什么是损失函数?
2018-02-01 11:40
316 查看
机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小,模型越好,如果预测值与真实值相等,就是没有损失。
用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。
常用的损失函数有以下几种(引用自李航的《统计学习方法》)
1. 0-1损失函数
![](http://img.blog.csdn.net/20180201113727804?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamllbWluZzIwMDI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
二类分类任务中,预测值与真实值不同,就是预测错误,则损失是1;
预测值与真实值相等,就是预测正确,损失是 0,就是没有损失。
2. 平方损失函数
![](http://img.blog.csdn.net/20180201113822313?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamllbWluZzIwMDI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
预测值与真实值的差的平方。预测误差越大,损失越大。好理解吧。
3. 绝对损失函数
![](http://img.blog.csdn.net/20180201113836326?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamllbWluZzIwMDI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
预测值与真实值的差的绝对值。绝对值不方便计算,一般不常用。
4. 对数损失函数
![](http://img.blog.csdn.net/20180201113848114?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvamllbWluZzIwMDI=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
对于预测值是概率的情况,取对数损失。因为概率范围[0, 1] 所以对数值是(-∞, 0) ,为了让损失 > 0 所以取对数的负值。上面的公式里面有个负号。看图像,一目了然哈哈:
用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。
常用的损失函数有以下几种(引用自李航的《统计学习方法》)
1. 0-1损失函数
二类分类任务中,预测值与真实值不同,就是预测错误,则损失是1;
预测值与真实值相等,就是预测正确,损失是 0,就是没有损失。
2. 平方损失函数
预测值与真实值的差的平方。预测误差越大,损失越大。好理解吧。
3. 绝对损失函数
预测值与真实值的差的绝对值。绝对值不方便计算,一般不常用。
4. 对数损失函数
对于预测值是概率的情况,取对数损失。因为概率范围[0, 1] 所以对数值是(-∞, 0) ,为了让损失 > 0 所以取对数的负值。上面的公式里面有个负号。看图像,一目了然哈哈:
相关文章推荐
- [机器学习笔记] 什么是分类,什么是回归?
- [机器学习笔记] 什么是欠拟合?什么是过拟合?
- 机器学习中的目标函数、损失函数、代价函数有什么区别?
- 斯坦福大学机器学习笔记——聚类(k-均值聚类算法、损失函数、初始化、聚类数目的选择)
- [机器学习笔记] 什么是核函数?有什么用?
- 机器学习笔记七:损失函数与风险函数
- 机器学习中的目标函数、损失函数、代价函数有什么区别?
- 机器学习笔记1——什么是机器学习
- 斯坦福大学机器学习笔记——单变量的线性回归以及损失函数和梯度下降法(包含代码)
- [机器学习笔记] 什么是最小二乘法?
- 机器学习笔记之什么是机器学习
- 关于机器学习中的损失函数。到底什么是损失函数。
- 笔记:什么是机器学习?-by周志华
- [机器学习笔记] 什么是经验风险?什么是结构风险?
- [机器学习笔记] 什么是SMO算法?
- 吴恩达 机器学习笔记二(lecture 2)(损失函数、梯度下降)
- Coursera 机器学习(by Andrew Ng)课程学习笔记 Week 6(一)—— 机器学习诊断、偏差与方差
- 机器学习课堂笔记(三)
- Stanford机器学习笔记-7. Machine Learning System Design
- 机器学习-笔记