证：单层感知机不能表示异或逻辑

转载于http://blog.csdn.net/panda07100/article/details/38580993

对于a XOR b ，其真值表为：

a	b	y
0 0 1 1	0 1 0 1	0 1 1 0

从数据集线性可分性的角度证明XOR逻辑是非线性的：

设数据集T为：

　　　　


其中：

　　　　


假设T是线性可分的，则存在超平面

对T中的4个实例正确分类

则

　　


注：这里的大于小于零与y的取值无关，它与参考系有关，表示两个类别，所以也并不要求y的取值是正1和负1.

设


对上式进行化简

　　


四个式子相互之间是矛盾的，所以异或逻辑是非线性问题，得证。

　另外，感知机的学习策咯是极小化误分类点到超平面S的总距离，即经验风险最小化。对于线性不可分数据集，由于总是存在误分类点，算法将不能够收敛。事实上，最后的迭代（随机梯度下降）将发生震荡，证明过程见Novikoff定理。

　


异或逻辑图像



综上所述：单层感知机不能表示异或逻辑。

参考资料：《统计学习方法》 李航