机器学习中的目标函数、损失函数、代价函数是同一个东西吗?
2018-03-08 14:09
253 查看
Objective function:目标函数
Loss function:损失函数
Cost function:代价函数
Loss function一般是针对单个样本测量其惩罚值。例如:
平方损失Square Loss l(f(xi|θ),yi)=(f(xi|θ)−yi)2l(f(xi|θ),yi)=(f(xi|θ)−yi)2, 用于线性回归Linear Regression
Hinge Loss l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi)l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi)l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi)l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi),
用于SVM
0/1 loss -l(f(xi|θ),yi)=1⟺f(xi|θ)≠yil(f(xi|θ),yi)=1⟺f(xi|θ)≠yil(f(xi|θ),yi)=1⟺f(xi|θ)≠yil(f(xi|θ),yi)=1⟺f(xi|θ)≠yi, 用于理论分析theoretical analysis 和定义准确率
Cost function一般是针对总体,它可能是你的训练集的损失函数的总和加上一些模型复杂性惩罚(正则化)。例如:
Mean Squared Error MSE(θ)=1N∑Ni=1(f(xi|θ)−yi)2MSE(θ)=1N∑Ni=1(f(xi|θ)−yi)2
SVM代价函数
SVM(θ)=∥θ∥2+C∑Ni=1ξiSVM(θ)=∥θ∥2+C∑i=1NξiSVM(θ)=∥θ∥2+C∑Ni=1ξiSVM(θ)=‖θ‖2+C∑i=1Nξi (there are additional constraints connecting ξiξi with CC and with training set)
Objective function目标函数是你进行机器学习训练过程中优化的任何函数的最通用说法,例如,根据训练集生成极大似然估计的概率就是一个定义地很好的目标函数
极大似然估计方法(Maximum Likelihood Estimate,MLE)是一种类型的目标函数(求极大值)
Divergence between classes can be an objective function but it is barely a cost function, unless you define something artificial, like 1-Divergence, and name it a cost
总之长话短说,在一个机器学习训练中,损失函数是代价函数的一部分,但其仅仅是一种目标函数。A loss function is a part of a cost function which is a type of an objective function.
https://stats.stackexchange.com/questions/179026/objective-function-cost-function-loss-function-are-they-the-same-thing/179027
Loss function:损失函数
Cost function:代价函数
Loss function一般是针对单个样本测量其惩罚值。例如:
平方损失Square Loss l(f(xi|θ),yi)=(f(xi|θ)−yi)2l(f(xi|θ),yi)=(f(xi|θ)−yi)2, 用于线性回归Linear Regression
Hinge Loss l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi)l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi)l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi)l(f(xi|θ),yi)=max(0,1−f(xi|θ)yi),
用于SVM
0/1 loss -l(f(xi|θ),yi)=1⟺f(xi|θ)≠yil(f(xi|θ),yi)=1⟺f(xi|θ)≠yil(f(xi|θ),yi)=1⟺f(xi|θ)≠yil(f(xi|θ),yi)=1⟺f(xi|θ)≠yi, 用于理论分析theoretical analysis 和定义准确率
Cost function一般是针对总体,它可能是你的训练集的损失函数的总和加上一些模型复杂性惩罚(正则化)。例如:
Mean Squared Error MSE(θ)=1N∑Ni=1(f(xi|θ)−yi)2MSE(θ)=1N∑Ni=1(f(xi|θ)−yi)2
SVM代价函数
SVM(θ)=∥θ∥2+C∑Ni=1ξiSVM(θ)=∥θ∥2+C∑i=1NξiSVM(θ)=∥θ∥2+C∑Ni=1ξiSVM(θ)=‖θ‖2+C∑i=1Nξi (there are additional constraints connecting ξiξi with CC and with training set)
Objective function目标函数是你进行机器学习训练过程中优化的任何函数的最通用说法,例如,根据训练集生成极大似然估计的概率就是一个定义地很好的目标函数
极大似然估计方法(Maximum Likelihood Estimate,MLE)是一种类型的目标函数(求极大值)
Divergence between classes can be an objective function but it is barely a cost function, unless you define something artificial, like 1-Divergence, and name it a cost
总之长话短说,在一个机器学习训练中,损失函数是代价函数的一部分,但其仅仅是一种目标函数。A loss function is a part of a cost function which is a type of an objective function.
https://stats.stackexchange.com/questions/179026/objective-function-cost-function-loss-function-are-they-the-same-thing/179027
相关文章推荐
- 机器学习中的目标函数、损失函数、代价函数有什么区别?
- 机器学习中的目标函数、损失函数、代价函数有什么区别?
- 【机器学习】代价函数,损失函数,目标函数区别
- 损失函数,代价函数,目标函数
- C# PDF Page操作——设置页面切换按钮 C# 添加、读取Word脚注尾注 C#为什么不能像C/C++一样的支持函数只读传参 web 给大家分享一个好玩的东西,也许你那块就用的到
- 机器学习笔记02-代价函数与梯度下降算法(一)
- 机器学习笔记七:损失函数与风险函数
- 【机器学习】【base】 之 目标函数 损失函数 优化算法
- Machine Learning(Stanford)| 斯坦福大学机器学习笔记--第一周(2.线性回归,代价函数)
- 机器学习中代价函数选择的数学推导
- 机器学习-代价函数
- [机器学习] 代价函数(cost function)
- 机器学习中的代价函数
- 机器学习-斯坦福课程系列2【代价函数】
- 机器学习入门(4)--代价函数
- 机器学习(11.3)--神经网络(nn)算法的深入与优化(3) -- QuadraticCost(二次方代价函数)数理分析
- [机器学习]代价函数
- 机器学习之建模与代价函数
- 机器学习:核函数的一个小题目
- 机器学习-梯度下降III(为何梯度下降能最小化代价函数)