多重共线性

1. 完全与不完全共线性

对含截距模型 $Y=X\beta+u$，X 的第一列为 1，列数为 k。

完全共线性：存在非零向量 a，使 $Xa=0$，即某列可由其他列精确线性表示。

例：$X_3=2X_2$；同时包含截距和穷尽、互斥类别的全部虚拟变量；“总收入＝工资收入＋非工资收入”三个变量同时作为解释变量。

不完全／近似共线性：X 仍满秩，但某些列近似线性依赖，变量提供的独立变化信息很少。共线性发生在解释变量之间，不是解释变量与被解释变量相关。

来源：共同趋势、滞后变量、变量定义或经济机制、截面个体特征关联、样本覆盖范围过窄等。

2. 完全共线性为什么不能分别估计

若离差变量满足 $x_3=\lambda x_2$，则

只能识别组合参数 $\beta_2+\lambda\beta_3$，不能把两者的单独作用分开。满足同一组合的无穷多组系数可以给出相同拟合值。

严格说，完全共线性下通常的 $(X'X)^{-1}X'Y$ 不存在，因此分别的 OLS 系数和相应方差没有通常的定义。课件“方差无穷大”应理解为趋近完全共线性时方差发散的极限直觉；不能把不存在的逆矩阵当成正常矩阵计算。

3. 近似共线性的后果：仍然无偏，但不精确

在其他经典假设仍成立、X 满秩时：

• OLS 仍无偏，也仍是 BLUE。高度相关本身不构成内生性。
• 单个系数估计方差、标准误差可能很大，置信区间宽，t 检验的检验力下降。
• 估计结果可能对样本、变量增删和微小数值变化敏感，出现不稳定符号。
• 可以同时出现“R² 高、整体 F 显著，但若干单独 t 不显著”。
• 预测是否受严重影响取决于预测点。原数据支持范围内的某些变量组合仍可预测得较准，沿信息薄弱方向外推尤其不稳。

4. VIF：定义、计算与证明

4.1 辅助回归

将第 j 个解释变量 $X_j$ 对截距和其余所有解释变量作 OLS，得到辅助回归的可决系数 $R_j^2$。不要拿原模型 Y 对 X 的整体 R² 替代它。

VIF 是在误差方差和该变量离差平方和相同条件下，相对于它与其他解释变量正交时的方差倍数；标准误差倍数为 $\sqrt{VIF_j}$。

课件经验规则：VIF≥10 提示严重共线性。这是诊断阈值，不是严格假设检验，也不是一见 10 就必须删变量。

4.2 残差化推导（对应第 31–35 页）

把第 j 列与其他列分开，其他列包括截距，记为 $X_{-j}$：

$v_j$ 是辅助回归残差，代表 $X_j$ 无法被其他变量解释的独立变化。分块矩阵求逆或残差化可得

辅助回归残差平方和为

代入便得到 VIF 公式。直观上：越能被其他解释变量预测，剩下用于单独识别本变量作用的信息越少。

对仅有两个非截距解释变量的模型，$R_2^2=R_3^2=r_{23}^2$，于是系数方差中出现 $1/(1-r_{23}^2)$。

5. 其他诊断方法与局限

5.1 简单相关系数

两两相关的绝对值接近 1 提示共线性；课件用约 0.8 作为经验界限。高度负相关同样是问题。多个解释变量时，两两相关不高也不能排除多变量的线性依赖。

补充反例：中心化后的相互正交变量 $x_1,x_2$ 方差相等，令 $x_3=x_1+x_2$。则 $r_{12}=0$，$r_{13}=r_{23}=1/\sqrt2\approx0.707<0.8$，但三个变量完全共线。

5.2 结果的直观信号

系数对样本和变量增删敏感、符号反常、标准误差大、F 与 t 结果反差，都是排查线索，不能单独确诊。不能把所有经济含义异常都归因于共线性，还应考虑设定误差、单位、内生性和数据质量。

5.3 特征值与病态指数

当某个方向的特征值 $\lambda_j$ 很小，X 在该方向的信息不足，逆矩阵会放大扰动。应注意变量尺度：直接给不同单位的原始 X 算条件数，结果也会受量纲影响。

令 $0<\lambda_1\le\cdots\le\lambda_k$ 是 $X'X$（或明确标准化后矩阵）的特征值，则常见写法是

课件口径保留：第 41 页病态指数写为平方根比，示意分级 <10、10–100、>100；公式分母印成固定 $\lambda_1$ 却又带 j，存在下标不一致。第 42 页条件数用不取根的最大／最小特征值比，分级 <100、100–1000、>1000。这两套阈值并不严格互为平方，按其定义分别辨认，不能把“取根的 10”与“不取根的 10”当成同一标准。做题优先采用题目给定定义和阈值。

5.4 逐步回归

按变量贡献逐个引入，并考察加入后的 F、t、符号和稳定性，也可能剔除此前变量。它是课件介绍的经验方法，不应只按最大 R² 选模型，因为嵌套模型增加变量本来就不会降低 R²。反复按同一数据筛选还会影响最终名义 p 值的解释，应结合理论。

6. 补救方法：写出代价

对课件“增大样本容量，矩阵的秩会增大”的修正：加行后列秩不会下降，但未必严格增加；若变量定义导致精确线性关系，收集更多同结构数据仍然共线。

课件还列出 Box–Cox 变换（X>0）：

选择变换应兼顾经济意义和数据性质，不能保证任意变换都能改善模型。

7. 岭回归（选学）

对已中心化、通常也标准化后的解释变量，截距另行估计，令 $a>0$：

等价于最小化 $\|Y-X\beta\|^2+a\|\beta\|^2$。特征值从 $\lambda_j$ 变为 $\lambda_j+a$，减弱小特征值方向的放大效应。实际一般不惩罚截距，必须说明标准化和惩罚约定。

在原本满秩的情形，沿各特征方向方差由 $\sigma^2/\lambda_j$ 变为 $\sigma^2\lambda_j/(\lambda_j+a)^2$，因此减少方差，但通常引入偏差。

合适的 a 可能降低 MSE，不能说任意 a 都更好。课件介绍岭迹图和一般对角惩罚 K；交叉验证也是实际常见选择方法（补充）。a→0 且原模型满秩时回到 OLS。

8. 课件旅游案例

18 年样本（1994–2011），以国内旅游收入 Y 为因变量，旅游人数 $X_2$、城镇人均旅游花费 $X_3$、农村人均旅游花费 $X_4$、铁路里程 $X_5$ 为解释变量。

原水平模型第 62 页 $R^2\approx0.9858,F\approx225.85$，但 $X_5$ 不显著且部分系数符号异常。辅助回归结果：

因此 $X_2,X_5$ 的独立信息尤其有限。课件随后取对数，报告 $R^2\approx0.9979,F\approx1540.78$，系数解释为：其他因素不变时，人数增 1%，收入约增 0.921%；城镇人均花费增 1%，收入约增 0.41%；农村人均花费增 1%，收入约增 0.29%；铁路里程增 1%，收入约增 1%。

如何评价变换：课件称其为消除共线性后的结果，但只看新模型 R² 和 t 不能严格证明共线性已消除，还应重新计算对数解释变量的 VIF 等。因变量也由 Y 变 lnY，两个模型的 R² 不宜直接作优劣比较。

9. 手算与折叠自测

10. 课件回查索引