机器学习基石ch3

三、Types of Learning

各种类型的机器学习问题。

3.1 Learning with Different Output Space

不同类型的输出空间。

3.1.1 binary classification

二元分类问题。
前两章中提到的银行发信用卡问题就是一个典型的二元分类问题，其输出空间只包含两个标记+1和-1，分别对应着发卡与不发卡。当然二元分类问题包含多种情况，如2.3节中提到过，如图3-1所示。 

图3-1 a) 线性可分 b) 线性不可分包含噪音 c) 多项式可分
 
图3-1a为线性可分（linear binary separable），如可以使用PLA求解；b是包含噪音可以使用pocket求解，而c会在后面章节中详细叙述，属于多项式可分解。当然解决以上三种二元分类问题的机器学习方法很多，因为二元分类问题是机器学习中很重要、核心的问题。
 

3.1.2 Multiclass Classification

多元分类。
有二元分类，就不难想到多元分类的问题，该类问题输出标签不止两种，而是{1,2,…,K}。这在人们的生活中非常常见，比如给水果的图像分类，识别硬币等等，其主要的应用场景就是模式识别。
 

3.1.3 Regression

回归分析。
该问题的输出空间为整个实数集上或者在一定的实数范围内，这和前面讲的分类问题完全不一样，该输出不是一种毫无意义的标记，而是有实际意义的输出值。比如给定一个大气数据可以推出明天的天气等等之类的问题。统计学习对该类问题的研究比较成熟。
 

3.1.4 Structured Learning

结构学习。
当然还有其他更为复杂的问题，比如很多很多类型的分类问题。
 

3.2 Learning with Different Data Label

不同的数据标记。

3.2.1 Supervised Learning

监督学习。
知道数据输入的同时还知道数据的标记。就相当于告诉你题目的同时还告诉你答案，让你在这种环境下学习，称之为监督学习（supervised learning）或者叫有师学习（learning with a teacher），之前讨论的一些算法都是这类问题。举个例子，硬币分类问题，如图3-2所示，其中横轴标示硬币的大小，纵轴标示硬币聚集的堆。
 

图3-2 有监督的多类别分类问题
 
其中这几种类别的硬币已经被各种不同的颜色所标示好。
 

3.2.2 Unsupervised Learning

无监督学习。
这是一种没有标示（就是没有输出y）的问题，就是不告诉你题目的正确答案让你自己去寻找，再以硬币分类为例进行阐述，如图3-3所示。
 

图3-3 无监督的多类别分类问题
 
这种类型的问题最常见的是聚类或者叫分群（clustering），从图中不难看出无标示的难度比有标示的难度增加不少，而且极有可能犯错，但是这种问题却拥有广泛的应用场景（毕竟标示需要花费大量人力物力），如将新闻按照不同的主题聚类，按用户的属性将用户聚成不同类型的用户群等等。
除了聚类之外还有其他的无监督学习，如密度评估（density estimation）和离群点检测（outlier detection）等等。
 

3.2.3 Semi-supervised Learning

半监督学习。
是否能在监督式学习和无监督学习之间取一个中庸的方法呢？答案是可以的，就是半监督学习，它通过少量有标记的训练点和大量无标记的训练点达到学习的目的。还是以硬币为例，如图3-4所示。这种类型的例子也有很多，比如图像的识别，很多情况下我们不可能把每张图片都做上标记（因为做这种标记需要耗费大量的人力物力，是一种昂贵的行为），此时，使用半监督学习是一种不错的选择。
 

图3-4 半监督学习
 

3.2.4 Reinforcement Learning

强化学习。
前面三个是机器学习中最传统的三种方式，除此之外，还有一种方式是通过对一个行为作出奖励或者惩罚，以此获得的输出，进而进行学习，这种学习方式称之为强化学习。
一般可以表示为

，其中向量

还是为输入向量，

表示一种输出，注意

并不一定是最佳输出，最后一项是对输出做出的评判。比如一个广告系统可以写成如下形式

。
 

3.3 Learning with Different Protocol

不同方式获取数据。
对此节的内容进行简单阐述，在不同的协议中可以将机器学习分为三大类：
批量（batch）学习就是将很多数据一次性的给算法进行学习，最常见的方式；
在线（online）学习就是一点一点将数据传输进去，如PLA和增强学习都适用于这种形式；
主动（active）学习是主动提出问题让算法解决，可以节省大量的训练和标记消耗。 

3.4 Learning with Different Input Space

不同的输入空间。
输入又可以称之为特征（features），其主要分为三种：
具体特征（Concrete Features），具体特征最大特点就是便于机器学习的处理，也是基础篇中主要讨论的情形。这种情况是人类或者机器通过一定的方式提取获得的，具有实用性。
原始特征（Raw Features），如图片的像素等等，是最为常见到的资料，但是需要经过处理，转换成具体特征，才容易使用，实用性不太大。
抽象特征（Abstract Features），如一些ID之类的看似无意义的数据，这就更需要特征的转换、提取等工作（相对于原始特征而言），几乎没有实用性。