【课程笔记】机器学习课程DrSu

1基本概念

输入	定义在输入（特征空间）随机变量取值	输入变量习惯用大写字母X，输入变量所取的值用小写字母x	可以是标量或向量
输出	定义在输出空间的随机变量取值	输出变量习惯用大写字母Y，输出变量所取的值用小写字母y	可以是标量或向量

 


(d:第d维特征；i：第i个样例)
训练数据：由输入（特征向量）与输出对组成；训练集T={（x1,y1),...(Xn,yn）}
测试数据：由相应的输入与输出对组成
输入与输出对成为样本或样本点

输入空间	输入的所有可能取值的集合	有限元素的集合、整个欧式空间
输出空间	输出的所有可能取值的集合	有限元素的集合、整个欧式空间
特征空间	特征向量的所有可能取值（特征空间的每一维对应于一个特征）
假设空间	输入到输出的映射集

区别：

输入空间、输出空间、特征空间可以是相同空间，也可以不是同一空间。
通常输出空间远远小于输入空间。
模型定义在特征空间上，一个实例由特征向量表示。

2机器学习分类：
按输出空间分类：分类（离散）、回归（连续）、结构化学习
按数据标记分类：半监督、监督、无监督、强化学习（？）
按目标函数学习策略：在线学习、批量式、主动学习
按目标函数的模型：产生式（对p（X，y）进行建模，朴素贝叶斯、HMM）、判别式（直接学习p（y|X）；k近邻、感知机、决策树、logistic分类器、SVM、Boosting、CFR）

方法=模型h+策略Loss+算法（求grad）
基本概念：

/联合概率密度分布
输入与输出的随机变量遵循联合概率分布P（X，Y）
X和Y有联合概率分布的假设就是监督学关于数据的基本假设
训练数据与测试数据是依据P（X，Y）独立同分布产生的
独立
同分布