【ML笔记】第三章 线性模型

第3章 线性模型

基本形式

给各个属性分配权值，和数对应到预测函数

线性回归

定义：给定离散的数据点（属性，标记）数据对，学习线性模型预测输出

对于输入属性

输入属性数目只有一个

离散属性：存在序关系的转换为大小不同的值，不存在序关系的转化为0/1向量

基于均方误差最小化进行模型求解的方法：「最小二乘法」

求解w，b使得均方误差最小的过程称为最小二乘「参数估计」

对均方误差函数E(w,b)分别关于w和b求导，令导数为0

原理：E是关于w和b的凸函数；判断凸函数方法：二阶导数在区间上非负（若严格大于0则称严格凸函数）

多元线性回归

对数几率回归

将分类任务用线性模型解决

「单位阶跃函数」：以0.5为界将0～1的实值转化为0/1标记（自变量只接收0/0.5/1三个离散值）

「对数几率函数」：y=1/(1+e^-z) 是一种Sigmoid函数（形似S的函数）

可以变形为ln(y/(1-y))=z

左边称为「对数几率」，即几率的自然对数

几率（odds）是正确可能性/错误可能性

优点

无须假设数据分布

可得近似概率预测

对率函数是任意阶可导凸函数

求解w和b【P59-60】

线性判别分析（Linear Discriminant Analysis, LDA）

找到一条直线，使得同类样例投影点尽可能接近，异类尽可能远离；对新样本，观察投影点位置来分类

求解w和b【p60-63】

将LDA推广到多分类任务

LDA常被视为一种经典的监督降维技术

多分类学习

基本思路：拆解为若干个二分类任务

OvO一对一：将N个类别两两配对形成N(N-1)/2个二分类任务，把被预测的最多的分类作为结果【训练每个分类器时只调用这两个类别】

OvR一对其余：其中一个类作为正例，其余所有作为反例，训练N个分类器【每次训练都会调用所有的样例】

MvM多对多：构造正反类

纠错输出码（Error correcting output codes, ECOC）

编码：将N个类别作M次划分，形成M个分类器

解码：样本在M个分类器上运行，得到M个正/反例预测（因为分类器是二分类器，所以只要该样本属于该二分类器正例部分就”极可能“输出正例），构成一个长度为M的”预测编码“；对于每一个类别，可以在每一个分类器上得到一个“标准答案”；将样本的预测编码与“标准答案”比较，取距离最短的类别划分至之

二元码和三元码：后者可以指定“停用类”置0

海明距离与欧氏距离：前者统计对应位置值不同数目，后者计算差值的平方之和开根号；只有当使用三元码时排序可能出现不同

怎么分类很难说，分类也不是越多越好的

有问题依赖的ECOC编码法：开源ECOC库

DAG拆分法

多类支持向量机

类别不平衡问题

分类任务中不同类别的训练样例数差别很大的情况

问题出现在：判定正例与反例的阈值为0.5的前提是，假定正例与反例出现的概率是相等的

因此：应更正阈值为真实几率（通常取训练集的观测几率代表之，即“训练集是样本总体的无偏采样”）

再缩放（rescaling/rebalance）：若y÷(1-y)>(m+)÷(m-)即为正例，把右边分数移到左边即可退化为y’÷(1-y’)的形式与1比较大小

是“代价敏感学习”的基础，将正例（m+）更换为将正例误分为反例的代价，反之亦然

欠采样（undersampling）

EasyEnsemble：集成学习机制，将反例划分为若干个不同集合供不同学习器使用

过采样（oversampling）

SMOTE：插值产生额外样例，不能简单重复，否则造成严重过拟合

阅读材料

稀疏表示

多标记学习

多分类学习的每一个样本仅属于一个类别，一个样本同时预测出多个类别标记属于多标记学习