Stanford机器学习---第一周.监督学习与梯度下降
2016-01-07 14:05
543 查看
假期继续捡起Coursera上Andrew Ng的《Machine Learning》课程,去年同一时间学过一点点,这假期争取结课。
视频讲的内容还是蛮多的,写在讲义上的知识点太零散,每周的课程做一个梳理和总结,感兴趣的可以参考下滴~
第一周
第一讲 引言(Introduction)
1.机器学习是目前信息技术中最激动人心的方向之一;
机器学习是人工智能AI(Artificial Intelligence)的核心;
应用举例:数据挖掘Database Mining、手写识别handwriting recognition、计算机视觉Computer Vision等。
2.定义:Field of study that gives computers the ability to learn without being explicitly programmed.
i.e.A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T ,as measured by P,improves with experience E.
举个例子理解下TPE:
①跳棋人机对弈:Task-------跳棋任务.
Performance measure------和新对手玩跳棋时赢得概率.
Experience-------你和计算机玩10次-1000次的跳棋游戏.
②邮件垃圾分类:Task-------Classifying emails as spam or not spam.
Perform measure--------The number of emails correctly classified as spam/not spam.(成功的频数or概率)
Experience-------Watching you label emails as spam or not spam.
★★★3.机器学习算法可以分为监督学习和非监督学习两大类。
监督学习Supervised learning:给定算法一个数据集,并且给定正确的答案;
非监督学习Unsupervised learning:只给定数据集,没有给定正确答案;
监督学习有2大类:回归问题和分类问题。
①回归问题Regression:预测一个连续值的属性(拟合)
②分类问题Classification:预测一个离散的输出值(0-1)
非监督学习:聚类分析clustering
第二讲 一元线性回归问题(Linear regression with one variable)
1.代价函数(平方误差函数)J
![](https://img-blog.csdn.net/20160107140824956?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
例如:一元线性拟合(回归)
假设/拟合函数Hypothesis:
![](https://img-blog.csdn.net/20160107140900812?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
参数Parameter:
![](https://img-blog.csdn.net/20160107140936869?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
代价函数Cost Function:
![](https://img-blog.csdn.net/20160107140824956?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
目标Goal:
![](https://img-blog.csdn.net/20160107140955148?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
★★★2.梯度下降算法Gradient descent algorithm
原理:初始化一个值,沿偏导数方向下降直至代价函数收敛(或找到局部最优解)
算法:
repeat until convergence{
![](https://img-blog.csdn.net/20160107141100031?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
}
其中,J为代价函数,以一元线性代价函数为例;
α为学习速率learning rate,可以理解为下降的步伐大小;
盗图两张,方便理解:
![](https://img-blog.csdn.net/20160107141156875?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
![](https://img-blog.csdn.net/20160107141217052?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
3.正交方程
如果数据集较小,也可以采用这种方法,后面再介绍~
第三讲 线性代数回顾Linear algebra review
较基础,大一的课程,跳过~
第一周的课程就到这里了╰( ̄▽ ̄)╮笔者继续学习第二周的课程了,有兴趣的一起来呗~
视频讲的内容还是蛮多的,写在讲义上的知识点太零散,每周的课程做一个梳理和总结,感兴趣的可以参考下滴~
第一周
第一讲 引言(Introduction)
1.机器学习是目前信息技术中最激动人心的方向之一;
机器学习是人工智能AI(Artificial Intelligence)的核心;
应用举例:数据挖掘Database Mining、手写识别handwriting recognition、计算机视觉Computer Vision等。
2.定义:Field of study that gives computers the ability to learn without being explicitly programmed.
i.e.A computer program is said to learn from experience E with respect to some task T and some performance measure P,if its performance on T ,as measured by P,improves with experience E.
举个例子理解下TPE:
①跳棋人机对弈:Task-------跳棋任务.
Performance measure------和新对手玩跳棋时赢得概率.
Experience-------你和计算机玩10次-1000次的跳棋游戏.
②邮件垃圾分类:Task-------Classifying emails as spam or not spam.
Perform measure--------The number of emails correctly classified as spam/not spam.(成功的频数or概率)
Experience-------Watching you label emails as spam or not spam.
★★★3.机器学习算法可以分为监督学习和非监督学习两大类。
监督学习Supervised learning:给定算法一个数据集,并且给定正确的答案;
非监督学习Unsupervised learning:只给定数据集,没有给定正确答案;
监督学习有2大类:回归问题和分类问题。
①回归问题Regression:预测一个连续值的属性(拟合)
②分类问题Classification:预测一个离散的输出值(0-1)
非监督学习:聚类分析clustering
第二讲 一元线性回归问题(Linear regression with one variable)
1.代价函数(平方误差函数)J
例如:一元线性拟合(回归)
假设/拟合函数Hypothesis:
参数Parameter:
代价函数Cost Function:
目标Goal:
★★★2.梯度下降算法Gradient descent algorithm
原理:初始化一个值,沿偏导数方向下降直至代价函数收敛(或找到局部最优解)
算法:
repeat until convergence{
}
其中,J为代价函数,以一元线性代价函数为例;
α为学习速率learning rate,可以理解为下降的步伐大小;
盗图两张,方便理解:
3.正交方程
如果数据集较小,也可以采用这种方法,后面再介绍~
第三讲 线性代数回顾Linear algebra review
较基础,大一的课程,跳过~
第一周的课程就到这里了╰( ̄▽ ̄)╮笔者继续学习第二周的课程了,有兴趣的一起来呗~
相关文章推荐
- 用Python从零实现贝叶斯分类器的机器学习的教程
- My Machine Learning
- 机器学习---学习首页 3ff0
- 反向传播(Backpropagation)算法的数学原理
- 也谈 机器学习到底有没有用 ?
- 量子计算机编程原理简介 和 机器学习
- 初识机器学习算法有哪些?
- 10个关于人工智能和机器学习的有趣开源项目
- 机器学习实践中应避免的7种常见错误
- 机器学习书单
- 北美常用的机器学习/自然语言处理/语音处理经典书籍
- 如何提升COBOL系统代码分析效率
- 自动编程体系设想(一)
- 自动编程体系设想(一)
- 支持向量机(SVM)算法概述
- 神经网络初步学习手记
- 常用的分类评估--基于R语言
- 开始spark之旅
- spark的几点备忘
- 关于机器学习的学习笔记(一):机器学习概念