[机器学习2]模型与代价函数

原文地址：

1.https://www.coursera.org/learn/machine-learning/supplement/cRa2m/model-representation

2.https://www.coursera.org/learn/machine-learning/supplement/nhzyF/cost-function

3.https://www.coursera.org/learn/machine-learning/supplement/u3qF5/cost-function-intuition-i

4.https://www.coursera.org/learn/machine-learning/supplement/9SEeJ/cost-function-intuition-ii

1.模型表示

为了建立未来使用的符号，将使用x（i）来表示“输入”变量，也称为输入特征，y（i）表示“输出”或目标变量。 一对（x（i），y（i））被称为训练样本，我们将要用于学习的数据集 - 训练样本（x（i），y（i））的列表; i = 1，...，m-称为训练集。 请注意，上标“（i）”中的符号只是训练集中的一个指标。 我们还将使用X来表示输入值的空间，Y表示输出值的空间。 在这个例子中，X = Y =ℝ。

为了更准确地描述监督学习问题，我们的目标是给出一个训练集，以学习一个函数h：X→Y，以便h（x）是相应的y值的“好”预测因子。 由于历史原因，这个函数h被称为假设。 从形象上看，过程如下：



当我们试图预测的目标变量是连续的，例如在我们的住房例子中，我们将学习问题称为回归问题。当y可以只接受少量的离散值（例如，如果给定生活区域，我们想预测一个住宅是住宅还是公寓，说），我们称之为分类问题。

2.代价函数

我们可以使用代价函数来衡量我们的假设函数的准确性。
这取决于x的输入和实际输出y所有结果的平方差。



此函数也称为“平方误差函数”或“均方误差函数”。 平均值减半（1/2）为方便计算梯度下降，平方函数的微分项将抵消1/2项。 以下图片总结了成本函数的作用：

示例1：

如果我们尝试在视觉上考虑它，我们的训练数据集分散在x-y平面上。 我们试图做一条直线（由hθ（x）定义），它通过这些分散的数据点。

我们的目标是获得最好的线。
最好的线将是这样的，使得来自线路的散点的平均垂直距离将是最小的。 理想情况下，线路应通过我们训练数据集中的所有点。在这种情况下，J（θ0，θ1）的值将为0.以下示例显示了我们的成本函数为0的理想情况。



当θ1= 1时，我们得到一个斜率为1，经过我们模型中的每一个数据点。 相反，当θ1=
0.5时，我们看到从拟合到数据点的垂直距离增加。



这将我们的代价函数提高到0.58。 绘制其他几点可以得到以下图表：



因此，我们的目标应该尽量减少代价函数。
在这种情况下，θ1= 1是我们的全局最小值。

示例2：

轮廓图是包含许多轮廓线的图形。
同一个轮廓线上的两个变量的所有值对应的代价函数值是相同的。 这样的图表的例子是下面的图。



取任何颜色的轮廓线会得到相同的成本函数值。
例如，上面绿线上发现的三个绿点与J（θ0，θ1）具有相同的值，因此它们沿一轮廓线找到。 当θ0=
800和θ1= -0.15时，圆圈x显示左侧图形的成本函数值。

再取另一个h（x）并绘制其轮廓图，得到以下图形：



当θ0= 360和θ1= 0时，轮廓图中J（θ0，θ1）的值越接近中心，从而降低成本函数误差。
现在给假设函数选择一个小的正斜率来使数据更好的拟合。



上面的图表尽可能地最小化了代价函数，因此θ1和θ0的结果分别为0.12和250左右。
将图表上的这些值绘制到右边，可以看到目标值几乎在内部最“圆”的中心。