机器学习基础教程第一章
2015-12-18 23:34
477 查看
读后感
第一章是一个摘要性的故事梗概,故事的主角是属性变量和相应变量之间的对应关系。这个关系 f(x) 是不确定的,我们可知道的只有各别数据对,运用它们如何得知两者的关系呢?这便是问题的产生了。
对于这样概括属性变量与依赖变量之间关系的概念,我们称之为模型。建立模型的好处是即可以分析概括,又可以对潜在的未来进行预测。
那么像函数一样,我们第一个会接触到的模型是什么? 线性模型就是属性和相应之间是类似线性的关系。
线性模型的构建便是 y = mx + c(m, c 为常量)m 和 c实际上都是为了增加我们线性模型灵活性而额外增加的参数,最基本的线性关系我们都知道是y = x,即二者正相关。
在书上举出的关于短跑成绩与年份这一组预测量中,时间t和年份x并不是单单正相关。这是我们主观上从零散到点图上获得的信息。
但是对于具体的m,c应该分别取什么样的数值,这并不是直观可以解决的问题,牵扯到我们认为怎样的模型,是一个好的模型。
设我们预测的模型是
t = mx +c
通常我们用真实值与预测值之间的平方差来衡量预测的精确性。我们称之为损失函数Ln()
,
而对于整个数据集上,则选择了平均损失来衡量全局的精确性
这样一来,寻找最合适参数m和c的任务实际上转变为了寻找令上式最小值时相对应的m和c的取值。平方损失最小化是最小二乘误差法的基础。
通过对损失函数分别求导数,我们可以获得相应的参数解。
在上述得到的简单线性模型拟合小数据集的过程中,这个方式是有局限性的,我们的属性变量只是一个单一的变量,或者说仅仅是一个单独的数字,而实际上,一个数字是不足以让我们描述更加复杂的情况的,我们可能需要的是一个属性的集合来代替单个的数字。
同样是短跑问题,仅仅用年份作为属性变量从逻辑上便缺乏说服力,我们需要的可能是奥运会年份与每个运动员个人最好成绩,如用s1,s2,s3……一直到s8表示运动员在8个赛道上分别曾经达到的最好成绩,那么我们所需要的线性模型可能更加复杂,如下
幸运的是,我们有向量和矩阵帮助我们。
这里我们将矩阵向量的基础略过。继续在向量条件下的问题讨论。
损失可以表示为:
对上式进行w偏微分,可以得到
最后得到矩阵公式为:
再将该式展开后,发现对各w参数的计算仍然符合之前单独数值计算的情况。
现在回过头来看,我们用线性函数对奥运会年份时间与奥运会100米短跑成绩间建立模型,但是主观上我们知道这是很受局限性的。它意味着按照这样的趋势,这样的递减会一直继续下去,其最后所需时间可能是负值。
第一章是一个摘要性的故事梗概,故事的主角是属性变量和相应变量之间的对应关系。这个关系 f(x) 是不确定的,我们可知道的只有各别数据对,运用它们如何得知两者的关系呢?这便是问题的产生了。
对于这样概括属性变量与依赖变量之间关系的概念,我们称之为模型。建立模型的好处是即可以分析概括,又可以对潜在的未来进行预测。
那么像函数一样,我们第一个会接触到的模型是什么? 线性模型就是属性和相应之间是类似线性的关系。
线性模型的构建便是 y = mx + c(m, c 为常量)m 和 c实际上都是为了增加我们线性模型灵活性而额外增加的参数,最基本的线性关系我们都知道是y = x,即二者正相关。
在书上举出的关于短跑成绩与年份这一组预测量中,时间t和年份x并不是单单正相关。这是我们主观上从零散到点图上获得的信息。
但是对于具体的m,c应该分别取什么样的数值,这并不是直观可以解决的问题,牵扯到我们认为怎样的模型,是一个好的模型。
设我们预测的模型是
t = mx +c
通常我们用真实值与预测值之间的平方差来衡量预测的精确性。我们称之为损失函数Ln()
,
而对于整个数据集上,则选择了平均损失来衡量全局的精确性
这样一来,寻找最合适参数m和c的任务实际上转变为了寻找令上式最小值时相对应的m和c的取值。平方损失最小化是最小二乘误差法的基础。
通过对损失函数分别求导数,我们可以获得相应的参数解。
在上述得到的简单线性模型拟合小数据集的过程中,这个方式是有局限性的,我们的属性变量只是一个单一的变量,或者说仅仅是一个单独的数字,而实际上,一个数字是不足以让我们描述更加复杂的情况的,我们可能需要的是一个属性的集合来代替单个的数字。
同样是短跑问题,仅仅用年份作为属性变量从逻辑上便缺乏说服力,我们需要的可能是奥运会年份与每个运动员个人最好成绩,如用s1,s2,s3……一直到s8表示运动员在8个赛道上分别曾经达到的最好成绩,那么我们所需要的线性模型可能更加复杂,如下
幸运的是,我们有向量和矩阵帮助我们。
这里我们将矩阵向量的基础略过。继续在向量条件下的问题讨论。
损失可以表示为:
对上式进行w偏微分,可以得到
最后得到矩阵公式为:
再将该式展开后,发现对各w参数的计算仍然符合之前单独数值计算的情况。
现在回过头来看,我们用线性函数对奥运会年份时间与奥运会100米短跑成绩间建立模型,但是主观上我们知道这是很受局限性的。它意味着按照这样的趋势,这样的递减会一直继续下去,其最后所需时间可能是负值。
相关文章推荐
- php学习日记第七棒(安装论坛)
- Android Studio GsonFormat插件的使用
- [知识点随笔] UIView--transform 属性
- 使用mbed进行STM32板子的开发
- 软件工程之四则运算
- 在程序document文件夹里边创建新的文件夹及删除文件夹
- 2.1 代码混编
- RecycleView的学习和总结
- Playing with __attributes__ (二)
- 大数据技术图谱
- 10010---CSS Font(字体)
- Andorid Toolbar里的Menu的Item的View的获取
- 技术碎碎念
- Leetcode: Contains Duplicate III
- 【代码】将任意形状的图片裁剪成一个带圆环的头像(附效果图)
- 39节 问题求解——求素数 课后
- HQL的基本语法
- sizeof(数组名)和sizeof(指针) http://blog.csdn.net/kangroger/article/details/20653255
- leetcode -- Majority Element II -- 重点
- HDOJ--2036