周志华《机器学习》读书笔记(2)
2017-12-02 13:10
274 查看
第三章 线性模型
给定由d个属性描述的示例 x=(x1;x2;...;xd),其中xi是x在第i个属性上的取值。线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数,即f(x)=w1x1+w2x2+...+wdxd+b一般用向量形式写成f(x)=wTx+b
其中w=(w1;w2;...;wd),w和b学得之后,模型就得以确定。
线性模型有很好得解析性,例如在西瓜问题中学得f好瓜(x)=0.2⋅x色泽+0.5⋅x根蒂+0.3⋅x敲声+1,则意味着可通过综合考虑色泽、根蒂和敲声来判断瓜好不好,其中根蒂最重要,而敲声比色泽更重要。
线性回归。
给定数据集D={(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)},其中xi=(xi1;xi2;xi3;...;xid),yi∈R,线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记。
我们考虑一种最简单的标记:输入属性的数目只有一个。此时我们忽略关于属性的下标,即D={xi,yi}mi=1。
对离散属性,如果属性间存在“序”(order)关系,可通过连续化将其转化为连续值,例如身高中的“高”、“矮”,可转化为{1.0,0.0}。三值属性“高度”的取值“高”、“中”、“低”。可转化为k维向量,例如属性“瓜类”中的取值“西瓜”、“南瓜”“黄瓜”可转化为(0,0,1),(0,1,0),(1,0,0)
若将无序属性连续化,则会不恰当的引入序关系,对后续处理如距离计算等造成误导。
线性回归试图学得 f(xi)=wxi+b,使得f(xi)≃yi
(w∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi)2=argmin(w,b)∑i=1m(yi−wxi−b)2
相关文章推荐
- 西瓜书《机器学习》周志华读书笔记和课后习题目录
- 机器学习 周志华 读书笔记 第1章 绪论
- <机器学习>(周志华)读书笔记 -- 第二章 模型评估与选择
- 读书笔记:《机器学习》周志华
- 机器学习(周志华)读书笔记-(一)绪论
- 《机器学习》周志华 读书笔记
- 周志华《机器学习》读书笔记(1)
- 周志华《机器学习》读书笔记第一章
- 机器学习(周志华)读书笔记-(五)神经网络(1)
- <机器学习>(周志华)读书笔记 -- 第五章 神经网络
- 机器学习_周志华版_读书笔记_02 模型评估与选择
- 《机器学习》周志华 读书笔记二补充(原创)
- 周志华机器学习第二章读书笔记(二)
- 《机器学习》(周志华)读书笔记
- 机器学习(周志华)读书笔记-(三)线性模型
- 周志华《机器学习》读书笔记(一)
- 机器学习(周志华)读书笔记-(五)神经网络(2)卷积神经网络
- <机器学习>(周志华)读书笔记 -- 第一章 绪论
- 机器学习(周志华)读书笔记-(四)决策树
- <机器学习>(周志华)读书笔记 -- 第六章 支持向量机