代价函数
2017-12-12 14:24
183 查看
http://blog.csdn.net/sd9110110/article/details/52863390
一,什么是代价函数
我在网上找了很长时间代价函数的定义,但是准确定义并没有,我理解的代价函数就是用于找到最优解的目的函数,这也是代价函数的作用。
二,代价函数作用原理
对于回归问题,我们需要求出代价函数来求解最优解,常用的是平方误差代价函数。
比如,对于下面的假设函数:
里面有θ0和θ1两个参数,参数的改变将会导致假设函数的变化,比如:
现实的例子中,数据会以很多点的形式给我们,我们想要解决回归问题,就需要将这些点拟合成一条直线,找到最优的θ0和θ1来使这条直线更能代表所有数据。
而如何找到最优解呢,这就需要使用代价函数来求解了,以平方误差代价函数为例。
从最简单的单一参数来看,假设函数为:
平方误差代价函数的主要思想就是将实际数据给出的值与我们拟合出的线的对应值做差,这样就能求出我们拟合出的直线与实际的差距了。
为了使这个值不受个别极端数据影响而产生巨大波动,采用类似方差再取二分之一的方式来减小个别数据的影响。这样,就产生了代价函数:
而最优解即为代价函数的最小值,根据以上公式多次计算可得到
代价函数的图像:
可以看到该代价函数的确有最小值,这里恰好是横坐标为1的时候。
如果更多参数的话,就会更为复杂,两个参数的时候就已经是三维图像了:
高度即为代价函数的值,可以看到它仍然有着最小值的,而到达更多的参数的时候就无法像这样可视化了,但是原理都是相似的。
因此,对于回归问题,我们就可以归结为得到代价函数的最小值:
一,什么是代价函数
我在网上找了很长时间代价函数的定义,但是准确定义并没有,我理解的代价函数就是用于找到最优解的目的函数,这也是代价函数的作用。
二,代价函数作用原理
对于回归问题,我们需要求出代价函数来求解最优解,常用的是平方误差代价函数。
比如,对于下面的假设函数:
里面有θ0和θ1两个参数,参数的改变将会导致假设函数的变化,比如:
现实的例子中,数据会以很多点的形式给我们,我们想要解决回归问题,就需要将这些点拟合成一条直线,找到最优的θ0和θ1来使这条直线更能代表所有数据。
而如何找到最优解呢,这就需要使用代价函数来求解了,以平方误差代价函数为例。
从最简单的单一参数来看,假设函数为:
平方误差代价函数的主要思想就是将实际数据给出的值与我们拟合出的线的对应值做差,这样就能求出我们拟合出的直线与实际的差距了。
为了使这个值不受个别极端数据影响而产生巨大波动,采用类似方差再取二分之一的方式来减小个别数据的影响。这样,就产生了代价函数:
而最优解即为代价函数的最小值,根据以上公式多次计算可得到
代价函数的图像:
可以看到该代价函数的确有最小值,这里恰好是横坐标为1的时候。
如果更多参数的话,就会更为复杂,两个参数的时候就已经是三维图像了:
高度即为代价函数的值,可以看到它仍然有着最小值的,而到达更多的参数的时候就无法像这样可视化了,但是原理都是相似的。
因此,对于回归问题,我们就可以归结为得到代价函数的最小值:
相关文章推荐
- 几种代价函数
- 机器学习-斯坦福课程系列2【代价函数】
- Adaptive linear neurons model 线性神经元 运用梯度下降法 进行代价函数的最优化
- 课程笔记之六:神经网络的代价函数和误差反向传播算法
- caffe infogain_loss 信息熵代价函数
- BP算法代价函数的偏导数
- 【机器学习】代价函数(cost function)
- tensorflow实战之二:MNIST手写数字识别的优化1-代价函数优化
- 交叉熵代价函数
- 代价函数总结
- 机器学习1.1--模型和代价函数
- 吴恩达机器学习 学习笔记 之 二 :代价函数和梯度下降算法
- 机器学习之建模与代价函数
- 交叉熵代价函数
- Adaptive linear neurons model 线性神经元 运用梯度下降法 进行代价函数的最优化
- [机器学习Lesson 2]代价函数之线性回归算法
- 逻辑回归中代价函数求导的推导过程
- 深度学习用到的代价函数------交叉熵
- 交叉熵代价函数定义及其求导推导(读书笔记)
- 第一周-机器学习-代价函数_intuition