知乎转载 逻辑回归线性非线性疑问
2015-11-23 15:40
351 查看
逻辑斯蒂回归能否解决非线性分类问题?
逻辑斯蒂回归提出时用来解决线型分类问题,其分离面是一个线型超平面wx+b,如果将这个超平面改成非线性的,如x1^2+x2=0之类的非线性超平面来进行分类,是否也可以正确分类呢,如果像SVM一样加入核扩展到高维是否也可行呢?添加评论
分享
查看全部 8 个回答
赞同6反对,不会显示你的姓名
![](https://pic3.zhimg.com/af1c6d956_s.jpg)
辛俊波,机器学习/数据挖掘/户外/摄影
李大海、云云云、晓晓焓 等人赞同
谢邀。
逻辑回归的模型引入了sigmoid函数映射,是非线性模型,但本质上又是一个线性回归模型,因为除去sigmoid映射函数关系,其他的步骤,算法都是线性回归的。可以说,逻辑回归,都是以线性回归为理论支持的。
这里讲到的线性,是说模型关于系数
一定是线性形式的
加入sigmoid映射后,变成:
如果分类平面本身就是线性的,那么逻辑回归关于特征变量x,以及关于系数
都是线性的
如果分类平面是非线性的,例如题主提到的
,那么逻辑斯蒂回归关于变量x是非线性的,但是关于参数
仍然是线性的
这里,我们做了一个关于变量x的变换:
其他非线性超平面一样的道理,我们可以通过变量的变化,最终一定可以化成形如
的东西,我们把z看做
的变量,就是个线性模型。剩下的工作,无非是去构造映射关系
题主提到了SVM,区别是,SVM如果不用核函数,也得像逻辑回归一样,在映射后的高维空间显示的定义非线性映射函数
,而引入了核函数之后,可以在低维空间做完点积计算后,映射到高维
综上,逻辑回归本质上是线性回归模型,关于系数是线性函数,分离平面无论是线性还是非线性的,逻辑回归其实都可以进行分类。对于非线性的,需要自己去定义一个非线性映射。
相关文章推荐
- Masonry 学习笔记
- iOS:测试机添加
- NSNotificationCenter(通知)与Key-Value Coding (KVC)与Key-Value Observing (KVO)
- 新型数据库Kudu应用经验分享
- GCD简单使用
- 【LeetCode OJ 016】3Sum Closest
- java 微信搭建实例
- 基于深度感知和运动信息的3D视频质量评价
- DEV的TreeList添加ToolTip信息
- 重温servlet②
- JSP 九大内置对象(转)
- UIImageView中图片尺寸模式
- memcpy函数的用法
- 类装载器工作机制
- Android ListView+ScrollView显示和触摸冲突解决
- 在IOS中为什么使用多线程及多线程实现的三种方法
- Java中List集合的遍历
- Eclipse下快速打开本地文件插件EasyExplorer
- Spring AOP 详解
- 自定义布局的PopupWindow