多元线性回归

1. 模型、矩阵维度和偏回归系数

偏回归系数：在其他解释变量不变时，$X_j$ 增加 1 单位，Y 的条件均值变化 $\beta_j$ 单位。多元回归一般不等于分别对每个解释变量做一元回归。

例：Cobb–Douglas 生产函数 $Y=AL^\alpha K^\gamma e^u$ 取对数后为 $\ln Y=\ln A+\alpha\ln L+\gamma\ln K+u$，对参数线性；$\alpha,\gamma$ 分别是相应系统部分的产出弹性。

2. 基本假设及其作用

• 满秩保证参数可识别，$X'X$ 可逆；$n>k$ 还保证有剩余自由度估计方差。
• $E(u\mid X)=0$ 支持无偏；固定 X 情形可写 $E(u)=0$。
• $\sigma^2I_n$ 同时表达同方差和误差间不相关。
• 额外加 $u\mid X\sim N(0,\sigma^2I_n)$，才能得到这里的有限样本精确 t、F 检验。
• “无多重共线性”在经典假设中应理解为无完全多重共线性，不要求解释变量彼此零相关。

3. OLS 推导、代数性质和统计性质

3.1 正规方程和唯一解

令其为零：

$X'X$ 正定时 Hessian 为 $2X'X$，该解是唯一最小值。截距列含于 X 时，立即得 $\sum e_i=0$、$\overline{\hat Y}=\bar Y$，回归超平面通过样本均值点。

3.2 两个解释变量的手算形式

令 $x_{ji}=X_{ij}-\bar X_j$、$y_i=Y_i-\bar Y$，定义 $S_{ab}=\sum x_{ai}x_{bi}$，$S_{ay}=\sum x_{ai}y_i$，$D=S_{22}S_{33}-S_{23}^2>0$，则

3.3 无偏性和协方差

关键恒等式：

因此

设 $C=(X'X)^{-1}$，则 $\operatorname{Var}(\hat\beta_j\mid X)=\sigma^2c_{jj}$。在正态条件下

3.4 Gauss–Markov 的矩阵证明骨架（推导补充）

令另一个线性无偏估计为 $\tilde\beta=AY$，其中 $AX=I_k$。写成 $A=(X'X)^{-1}X'+D$，则 $DX=0$。因此交叉项消失，

差为半正定矩阵，意味着每个线性组合的方差都不会小于 OLS；这就是“最佳线性无偏”的准确比较含义。

4. 投影矩阵与残差制造矩阵

课件第 33 页提出这些概念；以下把性质与推导补齐。

还有 $PM=MP=0$，$Y=PY+MY$ 为正交分解，$\hat Y'e=0$，$RSS=Y'MY=u'Mu$。幂等矩阵的特征值只能是 0 或 1，因此秩等于迹。

由此 $E(RSS\mid X)=\sigma^2\operatorname{tr}(M)=(n-k)\sigma^2$。正态时

这解释了为什么用估计标准误差作标准化后得到 t，而不是把未知 $\sigma$ 直接当已知。

5. 拟合优度、自由度和修正 R²

含截距 OLS 且 $TSS>0$ 时，仍有 $TSS=ESS+RSS$：

• 同一 Y、同一样本的嵌套 OLS 模型，新增解释变量不会增大 RSS，所以普通 R² 不下降。
• 修正 R² 对自由度作惩罚，可以上升也可以下降，且不超过普通 R²。
• 数学上修正 R² 可以为负。课件第 39 页说可按约定记为 0；做公式计算时先保留真实结果，若题目明确要求该约定再处理。
• 不应直接比较因变量不同、样本不同的 R²，例如 Y 与 lnY 的拟合优度不能据此直接排序。

6. 系数 t 检验与整体 F 检验

6.1 一个系数

双侧 $|t|>t_{1-\alpha/2,n-k}$ 时拒绝；置信区间 $\hat\beta_j\pm t_{1-\alpha/2,n-k}s\sqrt{c_{jj}}$。

6.2 整个回归方程

F 为右尾检验，$F>F_{1-\alpha;k-1,n-k}$ 时拒绝；截距不包含在这个整体零斜率原假设中。

两者关系：F 显著只说明斜率不全为零，不说明每个斜率显著；多个单独 t 不显著与整体 F 显著可以同时发生，共线性是常见原因。对同一个单一线性约束，F=t²；一元回归整体 F 与零斜率 t 就是特例。多个约束的 F 不能用若干 t 的平方代替。

7. 带线性约束的最小二乘与一般 F 检验

课件第 51–57 页的补充不能漏掉。统一写

7.1 约束估计式

用 $L=(Y-X\beta)'(Y-X\beta)+2\lambda'(A\beta-b)$，联立

解得

U 表示无约束，R 表示受约束。约束减少可选范围，因此 $RSS_R\ge RSS_U$；样本恰好满足约束时取等号，但等号不是原假设成立的必要条件。

7.2 约束检验

等价二次型：

记住三个位置：分子用残差平方和的增加量；分子除独立约束数 q；分母用无约束模型的 RSS 和自由度。

正态原假设下，$(RSS_R-RSS_U)/\sigma^2\sim\chi^2_q$，且与 $RSS_U/\sigma^2\sim\chi^2_{n-k}$ 独立，二者各除自由度之比便得到 F。

例：检验 $\beta_2=\beta_3$ 是 1 个约束，A 的相应两列为 1、−1；检验 $\beta_2=0,\beta_3=0$ 是 2 个约束。整体 F 就是约束所有斜率为零、受约束模型仅含截距的情形。

8. 多元预测

给定行向量 $x_f=(1,X_{f2},\ldots,X_{fk})$，令 $h_f=x_fCx_f'$。

维度检查：$(1\times k)(k\times k)(k\times1)=1\times1$；$h_f$ 是标量。新个体区间仍比均值区间宽，前提同一元预测：关系稳定、新误差与估计样本独立、解释变量值给定。

9. 课堂案例与数值解释

2011 年 31 省财政教育支出模型，第 71 页：

变量依次为 GDP（亿元）、人口（万人）、人均教育现金消费（元）、教育价格指数、教育支出占财政支出的比重。$n=31,k=6,n-k=25$；$R^2=0.9732,\bar R^2=0.9679,F=181.7539$，显示值有舍入。

• 整体检验：$F>F_{0.95;5,25}\approx2.61$，拒绝所有斜率为零。
• $X_6$ 的 t=1.8422，p=0.0773：5% 双侧不显著，10% 双侧显著。
• 单位勘误：表内比重写作 0.16 这样的比例，增加 1 个百分点是增加 0.01，预测教育支出增加 $866.41\times0.01=8.6641$ 亿元。不能把“增加 1%”直接解释为增加 866.41 亿元；那相当于比例增大 1，即 100 个百分点。
• 第 74–75 页 t 临界值被误标成 F，判断时按 t 的临界值 2.060、1.708 使用。

这个案例用来练习读结果和单位解释；要作严格因果分析，仍须检验解释变量外生性等条件。

10. 计算例题（补充）

设无约束模型 $n=30,k=4,RSS_U=100,TSS=400$；检验两个独立约束时 $RSS_R=150$。

1. $R^2=1-100/400=0.75$。
2. $\bar R^2=1-(100/26)/(400/29)=0.72115$。
3. 整体 $F=(300/3)/(100/26)=26$，自由度 (3,26)。
4. 两个约束 $F=((150-100)/2)/(100/26)=6.5$，自由度 (2,26)。
5. 若另给 $\hat\beta_2=2,c_{22}=0.09$，则 $se=\sqrt{(100/26)\times0.09}=0.58835$，零系数 t=3.399。

这几个统计量可以来自同一模型，但检验的原假设不同，不能互相替代。

11. 折叠自测

12. 课件回查索引