多元模型的交互作用与共线性

实际上，共线性的存在是可以看作是无限接近于违背多元模型中自变量线性可加这个假设，也就是说，违背了自变量之间独立性。建立多元线性模型，就给定了自变量,X=x1+x2+x3+....xnX=x1+x2+x3+....xn,这样的线性关系。

如果两个变量存在高度相关，比如相关系数大于0.9，那么，就是自变量xi≈λxjxi≈λxj，我们说的存在共线性时，无法分离出自变量变量对因变量的共线性是怎么一回事呢？

假如Y=β0+β1x1+β2x2+ϵY=β0+β1x1+β2x2+ϵ 这个二元回归方程说，x1x1增加一个单位，那么，在x2x2不变的前提下YY平均增加 β1β1个单位。

交互作用是：Y=β0+β1x1+β2x2+β3x1x2+ϵY=β0+β1x1+β2x2+β3x1x2+ϵ增加的这一项名为交互项(interaction item),交互项由x1x1和x2x2的乘积组成。上式改写为Y=β0+(β1+β3x2)x1+β2x2+ϵ=β0+β^x1+b2x2+ϵY=β0+(β1+β3x2)x1+β2x2+ϵ=β0+β^x1+b2x2+ϵ,其中另β^=β1+β3x2β^=β1+β3x2因为β^β^随着x2x2变化，β^β^变成了x2x2的函数，所以x1x1对于YY的效应不再是常数关系，变成函数关系了，我们知道多元回归中，偏回归系数的意思是在其他变量不变的情况下，某一个自变量的变化只是引起因变量的改变。也就是说，此时，某自变量对因变量起作用时与其他变量不变（与其他变量无关）。

3.高斯-马尔可夫定理(Gauss-Markov Assumptions)的前提也是变量之间的独立性。

我们也可以从条件概率可以理解，概率的加和规则(sumrule)(sumrule),条件xixi发生与否与xjxj无关，于是也就有了联合概率，p(xi)=∑x2p(xx,x2)p(xi)=∑x2p(xx,x2)

需要说明的是，平时说的线性回归，不是自变量之间的线性，而是系数之间的关系是线性。