知乎转载 逻辑回归线性非线性疑问

逻辑斯蒂回归能否解决非线性分类问题？

逻辑斯蒂回归提出时用来解决线型分类问题，其分离面是一个线型超平面wx+b，如果将这个超平面改成非线性的，如x1^2+x2=0之类的非线性超平面来进行分类，是否也可以正确分类呢，如果像SVM一样加入核扩展到高维是否也可行呢？

添加评论

分享

查看全部 8 个回答

赞同6
反对，不会显示你的姓名



辛俊波，机器学习/数据挖掘/户外/摄影

李大海、云云云、晓晓焓 等人赞同

谢邀。

逻辑回归的模型引入了sigmoid函数映射，是非线性模型，但本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。

这里讲到的线性，是说模型关于系数

一定是线性形式的



加入sigmoid映射后，变成：



如果分类平面本身就是线性的，那么逻辑回归关于特征变量x，以及关于系数

都是线性的

如果分类平面是非线性的，例如题主提到的

，那么逻辑斯蒂回归关于变量x是非线性的，但是关于参数

仍然是线性的



这里，我们做了一个关于变量x的变换：


其他非线性超平面一样的道理，我们可以通过变量的变化，最终一定可以化成形如


的东西，我们把z看做

的变量，就是个线性模型。剩下的工作，无非是去构造映射关系


题主提到了SVM，区别是，SVM如果不用核函数，也得像逻辑回归一样，在映射后的高维空间显示的定义非线性映射函数

,而引入了核函数之后，可以在低维空间做完点积计算后，映射到高维

综上，逻辑回归本质上是线性回归模型，关于系数是线性函数，分离平面无论是线性还是非线性的，逻辑回归其实都可以进行分类。对于非线性的，需要自己去定义一个非线性映射。