多重共线性

统计学名词

多重共线性是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。

简介

对线性回归模型

基本假设之一是自变量，之间不存在严格的线性关系。如不然，则会对回归参数估计带来严重影响。为了说明这一点，首先来计算线性回归模型参数的 LS 估计的均方误差。为此。重写线性回归模型的矩阵形式为

其中服从多元正态分布，设计矩阵 X 是的，且秩为 p。这时，参数的 LS 估计为，而回归系数的 LS 估计为。注意到由此获得的 LS 估计是无偏的，于是估计的均方误差为

其中是的特征根。显然，如果至少有一个特征根非常接近于零，则就很大，也就不再是的一个好的估计。由线性代数的理论知道，若矩阵的某个特质根接近零，就意味着矩阵 X 的列向量之间存在近似线性关系。

如果存在一组不全为零的数，使得

则称线性回归模型存在完全共线性；如果还存在随机误差 v，满足，使得

则称线性回归模型存在非完全共线性。

如果线性回归模型存在完全共线性，则回归系数的 LS 估计不存在，因此，在线性回归分析中所谈的共线性主要是非完全共线性，也称为复共线性。判断复共线性及其严重程度的方法主要有特征分析法(analysis of eigenvalue)，条件数法 (conditional numbers)和方差扩大因子法(variance inflation factor)。

产生原因

主要有3个方面：

（1）经济变量相关的共同趋势

（2）滞后变量的引入

（3）样本资料的限制

影响

（1）完全共线性下参数估计量不存在

（2）近似共线性下OLS估计量非有效

多重共线性使参数估计值的方差增大，1/(1-r2)为方差膨胀因子(Variance Inflation Factor, VIF)如果方差膨胀因子值越大，说明共线性越强。相反因为，容许度是方差膨胀因子的倒数，所以，容许度越小，共线性越强。可以这样记忆：容许度代表容许，也就是许可，如果，值越小，代表在数值上越不容许，就是越小，越不要。而共线性是一个负面指标，在分析中都是不希望它出现，将共线性和容许度联系在一起，容许度越小，越不要，实际情况越不好，共线性这个“坏蛋”越强。进一步，方差膨胀因子因为是容许度倒数，所以反过来。

总之就是找容易记忆的方法。

（3）参数估计量经济含义不合理

（4）变量的显著性检验失去意义，可能将重要的解释变量排除在模型之外

（5）模型的预测功能失效。变大的方差容易使区间预测的“区间”变大，使预测失去意义。

需要注意：即使出现较高程度的多重共线性，OLS估计量仍具有线性性等良好的统计性质。但是OLS法在统计推断上无法给出真正有用的信息。

判断方法

如图1，是对德国人口老龄化情况的分析，其中y是老龄化情况，线性回归的x1、x2、x3分别为人均国内生产总值、出生率、每个医生平均负担人口数。

判断方法1：特征值，存在维度为3和4的值约等于0，说明存在比较严重的共线性。

判断方法2：条件索引列第3第4的值大于10，可以说明存在比较严重的共线性。

判断方法3：比例方差内存在接近1的数（0.99），可以说明存在较严重的共线性。

解决方法

（1）排除引起共线性的变量