机器学习方法篇(2)------线性模型
2017-06-11 19:32
211 查看
● 每周一言
大道至简,知易行难。导语
线性模型应该是最直观、最容易理解的一种机器学习模型了。同时也是应用最广泛的一种模型,比如各种模型中常出现的softmax层、全连接层等等,都属于线性模型。那么线性模型到底是什么,其训练方式又是如何?线性模型
如果在街上看见一个皮肤黝黑的人,我们很可能会猜他来自非洲,而认为黄种人多半来自亚洲,白种人则多半来自欧洲;夏天买西瓜,我们通常先看看色泽与瓜蒂,然后敲一敲听听声响判断是否好吃。其实,在做出类似生活判断的时候,我们用的就是线性模型。可以说,人的大脑自带各种线性模型,每天的生活经验则作为这些模型的训练数据。如上面提到的夏天买瓜就是一种线性模型,其中瓜蒂、色泽及声响是3种特征。对于线性模型,我们用 f(x)=wx+b 形式表示。在这个买瓜的模型中,w 是一个长度为3的向量,代表上述3种西瓜特征权重。为了方便训练,通常把b作为 w0 融入到特征向量[w0,w1,w2,w3]中,相应 x的输入增加一维固定值,为[1,x1,x2,x3]。这样,形式简化成 f(x)=wx。
那么,这个线性模型具体如何训练呢?为了简化模拟训练过程,我们不妨先看一个拟合直线的过程。有线性函数 f(x)=ax,数据为 (2,4) 这一个点,训练过程如下:
1> 初始化模型参数a,假设初始化的值为5,并设定训练步长为 s=0.1;
2> 将 x=2 带入 △=f(x)−y 得到当前输出与实际输出的差值△,若 △ 的绝对值小于某一阈值则结束训练;
3> 参数a减去 s×△ 的值来更新a值,转第2步。
不难看出,经过有限轮次训练后,a将趋近于2。 同理,对于 f(x)=wx 的训练方式与之相似。我们事先采集了一批西瓜特征,且每一条数据对应一个输出值,即西瓜是否好吃(好吃为1,不好吃为0)。第3步对参数向量 w 的每一个参数进行迭代更新,严格来说,这一步修正的其实是针对输入特征x的每一维求导得来的 w 参数值。
线性模型如果使用 y=x 之类的线性激活函数,则称为线性回归;若使用Sigmoid函数作为激活函数,则称为逻辑(非线性)回归。此外,为了防止过拟合,通常会给模型加上正则项,具体说明可参看我之前有关正则项的文章。
结语
感谢各位的耐心阅读,后续文章于每周日奉上,敬请期待。欢迎大家关注小斗公众号 对半独白!相关文章推荐
- 48、tensorflow入门二,线性模型的拟合
- R语言学习(1)线性模型
- 机器学习笔记1_3:广义线性模型(GLM, Generalized Linear Models)
- 机器学习算法之线性模型
- 《模式识别与机器学习》学习笔记:4.0 线性分类模型:前言
- Matlab数模笔记(10)--线性规划、非线性规划 与 0/1规划 模型
- 机器学习笔记4——线性模型(一)
- 第三章 回归线性模型
- 从广义线性模型到逻辑回归
- 机器学习教程 之 线性模型:线性回归、对数几率回归、线性判别分析
- 2 线性模型
- Holt 线性趋势模型,指数趋势模型和阻尼形式
- 机器学习算法之:指数族分布与广义线性模型
- 详解梯度下降法求解线性模型参数
- 利用RANSAC方法找到二维与三维的最佳模型(仅线性)
- 大数据:“人工特征工程+线性模型”的尽头
- 机器学习.周志华《3 线性模型》
- 广义线性模型的流式学习
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型