机器学习中线性模型和非线性的区别
2017-10-21 22:21
351 查看
误区
线性和非线性的区别是是否可以用直线将样本划分开(这个观点是对的)和同学讨论到logistics模型是线性还是非线性的,很难理解!(logistics模型是广义线性模型)
区分一下回归和分类问题,线性模型是可以用来曲线拟合(回归)的,但是线性模型模型的分类一定是一条直线的,例如logistics模型。
线性模型和非线性模型区别
线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics模型区分是否为线性模型,主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x,那么此模型为线性模型。或者判断决策边界是否是线性的
举例
y=11+ew0+w1∗x1+w2∗x2
画出y和x是曲线关系,但是它是线性模型,因为x1*w1中可以观察到x1只被一个w1影响
y=11+w5∗ew0+w1∗x1+w2∗x2
此模型是非线性模型,观察到x1不仅仅被参数w1影响,还被w5影响,如果自变量x被两个以上的参数影响,那么此模型是非线性的!
4 其实最简单判别一个模型是否为线性的,只需要判别决策边界是否是直线,也就是是否能用一条直线来划分
神经网络是非线性
虽然神经网络的每个节点是一个logistics模型,但是组合起来就是一个非线性模型。此处我们仅仅考虑三层神经网络
第一层的表达式
y1=11+ew0+w1∗x1+w2∗x2+w3∗x3
y2=11+ew4+w5∗x1+w6∗x2+w7∗x3
第二层的表达式
z=11+ek1+k2∗y1+k3∗y2
将第一层的表达式带入第二层表达式中,可以观察到x1变量不仅仅被w1影响还被k2影响,所以此模型不是一个线性模型,是个非线性模型。
相关文章推荐
- [机器学习实战] 线性模型与非线性模型的区别
- 机器学习之logistic分类线性与非线性实验(续)
- 机器学习Python实现之线性模型
- 机器学习笔记(2)线性模型的基本形式
- 机器学习:线性回归和逻辑回归的区别
- 机器学习3——牛顿方法、指数族、广义线性模型
- 机器学习总结(一):生成模型与判别模型的区别
- 机器学习与数据挖掘_线性模型 II
- [机器学习笔记]三:Generalized Linear Models(广义线性模型)
- 机器学习教程 之 线性模型:线性回归、对数几率回归、线性判别分析
- 机器学习三人行(系列五)----你不了解的线性模型(附代码)
- 加州理工大学公开课:机器学习与数据挖掘_线性模型(第三个教训)
- 机器学习4:简单的线性模型(二)
- 应用机器学习(八):线性模型
- 机器学习(三)线性模型
- 机器学习笔记(VI)线性模型(II)多维最小二乘法
- [机器学习之SVM] 线性SVM还是非线性SVM?
- 周志华《机器学习》笔记:第3章 线性模型
- 机器学习(周志华)_第三章线性模型