读书笔记--机器学习第一章
2017-05-25 12:20
253 查看
1.1引言
1.机器学习:研究计算机从数据中产生模型(model)的算法,即“学习算法”。
1.2基本术语
1.记录:可称为示例、样本,是对一个事件或对象(如:一个西瓜)的描述。
2.对象:如:西瓜
3.属性:可称为特征,对象在某方面的表现或特征(如:西瓜的色泽)。
4.属性值:属性上的取值(如:西瓜色泽为“青绿”中的青绿)
5.属性空间:也可称为样本空间、输入空间,属性的取值范围构成的空间。
6.数据集:若干记录的集合。
7.向量:一条记录中的d个属性构成一个d维向量。
8.训练中使用的数据称为“训练数据”,其中每个样本称为“训练样本”,样本组成的集合称为“训练集”。
9.学得模型:学习算法在给定数据和参数空间上的实例化。
10.标记:关于示例结果的信息(如:好瓜)。
11.标记空间:也可称输出空间,标记的集合。
12.若预测的是离散值,此类学习任务称为“分类”;若为连续值,学习任务称为“回归”。
13:二分类:只有正例和反例(如:好瓜、坏瓜)。
14.监督学习:训练数据有标记,分类和回归是其代表。
无监督学习:训练数据无标记,聚类是其代表。
15.聚类:将训练集中的西瓜分成若干组,每组称为一个“簇”,簇是自动形成的,这些簇可能对应一些潜在的概念划分。
16.好的学习模型:该模型具有很强的泛化能力,不仅在训练集在整个样本空间都能工作的很好。
1.3假设空间
1.归纳:从特殊到一般的“泛化”过程,与其对应的是归纳学习。
推理:从一般到特殊。
2.学习过程是一个在所有假设中进行搜索,找到与“训练集”匹配的假设。
3.假设空间:可能的函数构成的空间,确定学习范围。如:西瓜的假设空间为:4*4*4+1=65,其中1为极端情况即,不存在好瓜的概念。
4.版本空间:与训练集一致的“假设集合”,与训练集相对应。
1.4归纳偏好
1.归纳偏好:机器学习过程中对某种类型的假设具有偏好,即,在训练集上多种假设等效时,机器会选择哪个假设版本。
2.归纳偏好的基本原则:在多个假设等效时则选择最简单的那个,并且认为更平滑为更简单。
3.学习算法自身的归纳偏好与问题是否匹配,在大多数情况下会直接决定着算法能否取得好的性能。
4.好的性能:泛化能力更强。
5.NFL(no free lunch theorem):脱离具体问题,空谈哪种学习算法更好毫无意义。
1.5发展历程
1.机器学习研究分为:从样例中学习(广义的归纳学习),在问题求解和规划中学习,通过观察和发现学习。
2.从样例中学习分为:基于逻辑表示的符号主义学习,基于神经网络的连接主义
4000
学习。
1.6应用现状
1.数据挖掘:数据库为数据挖掘提供数据管理技术,机器学习和统计学为数据挖掘提供数据分析技术。总之,数据库和机器学习是数据挖掘的两大支撑。
1.机器学习:研究计算机从数据中产生模型(model)的算法,即“学习算法”。
1.2基本术语
1.记录:可称为示例、样本,是对一个事件或对象(如:一个西瓜)的描述。
2.对象:如:西瓜
3.属性:可称为特征,对象在某方面的表现或特征(如:西瓜的色泽)。
4.属性值:属性上的取值(如:西瓜色泽为“青绿”中的青绿)
5.属性空间:也可称为样本空间、输入空间,属性的取值范围构成的空间。
6.数据集:若干记录的集合。
7.向量:一条记录中的d个属性构成一个d维向量。
8.训练中使用的数据称为“训练数据”,其中每个样本称为“训练样本”,样本组成的集合称为“训练集”。
9.学得模型:学习算法在给定数据和参数空间上的实例化。
10.标记:关于示例结果的信息(如:好瓜)。
11.标记空间:也可称输出空间,标记的集合。
12.若预测的是离散值,此类学习任务称为“分类”;若为连续值,学习任务称为“回归”。
13:二分类:只有正例和反例(如:好瓜、坏瓜)。
14.监督学习:训练数据有标记,分类和回归是其代表。
无监督学习:训练数据无标记,聚类是其代表。
15.聚类:将训练集中的西瓜分成若干组,每组称为一个“簇”,簇是自动形成的,这些簇可能对应一些潜在的概念划分。
16.好的学习模型:该模型具有很强的泛化能力,不仅在训练集在整个样本空间都能工作的很好。
1.3假设空间
1.归纳:从特殊到一般的“泛化”过程,与其对应的是归纳学习。
推理:从一般到特殊。
2.学习过程是一个在所有假设中进行搜索,找到与“训练集”匹配的假设。
3.假设空间:可能的函数构成的空间,确定学习范围。如:西瓜的假设空间为:4*4*4+1=65,其中1为极端情况即,不存在好瓜的概念。
4.版本空间:与训练集一致的“假设集合”,与训练集相对应。
1.4归纳偏好
1.归纳偏好:机器学习过程中对某种类型的假设具有偏好,即,在训练集上多种假设等效时,机器会选择哪个假设版本。
2.归纳偏好的基本原则:在多个假设等效时则选择最简单的那个,并且认为更平滑为更简单。
3.学习算法自身的归纳偏好与问题是否匹配,在大多数情况下会直接决定着算法能否取得好的性能。
4.好的性能:泛化能力更强。
5.NFL(no free lunch theorem):脱离具体问题,空谈哪种学习算法更好毫无意义。
1.5发展历程
1.机器学习研究分为:从样例中学习(广义的归纳学习),在问题求解和规划中学习,通过观察和发现学习。
2.从样例中学习分为:基于逻辑表示的符号主义学习,基于神经网络的连接主义
4000
学习。
样例中学习 | 符号主义学习 (能产生明确的概念) | 决策树 | 以信息论为基础,以信息熵的最小化为目标,模拟人类对概念进行判定的树形流程。 |
基于逻辑的学习 | 代表是归纳逻辑程序设计 | ||
连接主义学习(“黑箱”模型) | BP算法 | 基于神经网络 | |
统计学习 | 支持向量机(SVM) | | |
深度学习 | | | 需要调参,模型复杂,对计算机要求高 |
1.数据挖掘:数据库为数据挖掘提供数据管理技术,机器学习和统计学为数据挖掘提供数据分析技术。总之,数据库和机器学习是数据挖掘的两大支撑。
相关文章推荐
- 读书笔记《机器学习》:第一章:绪论
- 周志华《机器学习》读书笔记第一章
- 《机器学习》读书笔记,第一章引言
- <机器学习>(周志华)读书笔记 -- 第一章 绪论
- 机器学习 西瓜书 第一章 [读书笔记+习题]
- 《机器学习》读书笔记-第一章 引言
- 《机器学习实战》读书笔记:第一章 机器学习基础
- 机器学习实战之第一章 机器学习基础
- 机器学习案例解析第一章笔记(ggplot,ggsave,merge,gsub,as.Date,read.*)
- MYSQL必知必会读书笔记 第一章(基础)
- 《程序是怎么跑起来的》第一章--对程序员来说CPU是什么--读书笔记
- 《Python机器学习》读书笔记(十)机器学习模型的评价指标
- 《机器学习》周志华 读书笔记二(原创)
- data mining - 实用机器学习工具与技术 - 读书笔记( 一 )
- 精通Objective-C 第一章~第三章读书笔记
- 《编程珠玑》读书笔记——第一章.开篇
- 读书笔记:持续集成软件质量改进和风险降低之道-第一章
- 《图解HTTP》读书笔记 第一章 了解Web及网络基础
- 《算法导论》读书笔记--第一章
- 《Linux多线程服务端编程》读书笔记——第一章_线程安全的对象生命期管理