「ML」chapter3:线性模型
2017-07-10 01:19
169 查看
基本形式
f(x)=ω1x1+ω2x2+...+ωdxd+b写成向量模式:
f(x)=ωTx+b
线性回归
均方误差最小化,可以求出解析解。在引入多变量时,特征矩阵X往往不是满秩矩阵,这时可以有多组参数解,选择那个解作为输出,有学习算法的归纳偏好决定,常见方法时引入正则项。衍生物1:对数线性回归
ln(y)=ωTx+by=eωT+b
衍生物2:对数几率回归
ln(y1−y)=ωTx+by=11+e−(ωTx+b)
优点:
1. 直接对分类可能性进行建模,无需假设数据分布??????
2. 近似概率分布,任意阶可导,方便求解。
解法:用极大似然法求解
l(w,b)=∑i=1mln p(yi|xi;ω,b)
其中:
p(yi|xi;ω,b)=p(yi|xi)yip((1−yi)|xi)1−yi
用梯度下降求解可得
βt+1=βt+α×∑i=1m(yi−p(yi|xi))xi
线性判别分析(LDA)
LDA的思想:给定训练样例,设法将样例投影到一条直线上,使得同类投影点尽量接近,异类投影点尽可能远离。多分类学习
采用一些基本策略,利用二分类学习器来解决多分类问题。经典策略:一对一,一对其余,多对多。多对多中常用计数:纠错输出码,
编码:对N个类别做M次划分,每次划分一部分类别为正,其余为负,产生M个训练集,训练M个分类器,
解码:对测试样本进行预测,将预测结果组成一个编码,与各类别对编码计算距离,距离最小的类别作为最终预测结果。
类别不均衡问题
线性分类器y=ωTx+b对新样本进行分类时,通过y值与一个阈值进行对比,通常为0.5,这就意味着决策规则为:y1−y>1,则预测为正例
类别不平衡学习的一个基本策略:再缩放-1欠采样2过采样
1. 欠采样,EasyEnsemble利用继承学习机制,将反例划分为若干个集合共不同学习器使用,
2. 过采样,SMOTE通过对训练集里对正例进行插值产生额外的正例。
相关文章推荐
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- <转>spark下线性模型 spark.mllib
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- spark下线性模型 spark.mllib
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 【ML笔记】第三章 线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型