一元线性回归

1. 相关、回归、PRF 与 SRF

相关分析度量变量间线性联系的方向与强弱，对 X、Y 对称；回归分析研究给定解释变量时被解释变量的条件均值，X、Y 的角色不对称。相关和回归本身均不自动建立因果关系。

其中 $x_i=X_i-\bar X$，$y_i=Y_i-\bar Y$。$r\in[-1,1]$；$r=0$ 只说明没有线性相关，不排除非线性依赖。在独立同分布的二元正态样本等适当条件下，检验 $H_0:\rho=0$ 可用

• $u_i=Y_i-E(Y_i\mid X_i)$：总体扰动，不可直接观测。
• $e_i=Y_i-\hat Y_i$：估计后可计算的残差，不等于真实扰动。
• $\beta$ 是总体未知常数，$\hat\beta$ 是估计量；不同样本的 SRF 可以不同。
• 线性是对参数而言；可以将 $X^2$、$\ln X$ 作为变换后的解释变量。

2. 假设与结论要对应

以下按固定设计 X 或给定整个样本解释变量 X 的条件来表述：

3. OLS 估计与代数性质

3.1 从最小化到公式

一阶条件（正规方程）：

第一式给出 $\hat\beta_1=\bar Y-\hat\beta_2\bar X$。代入第二式得到

速算离差平方和：

3.2 必会证明的五个性质

对含截距的样本 OLS 回归：

1. $\sum e_i=0$，残差均值为 0。
2. 回归线经过 $(\bar X,\bar Y)$。
3. $\overline{\hat Y}=\bar Y$。
4. $\sum x_ie_i=0$，解释变量与残差样本正交。
5. $\sum\hat Y_ie_i=\hat\beta_1\sum e_i+\hat\beta_2\sum X_ie_i=0$。

这些是最小二乘运算的代数性质，不要求误差正态，也不能据此证明真实 $u$ 与 X 外生。没有截距时，残差和为零、经过均值点等结论不一定成立。

4. OLS 的统计性质与证明骨架

4.1 线性与无偏性

令 $k_i=x_i/S_{xx}$，则

在 $E(u\mid X)=0$ 下，$E(\hat\beta_2\mid X)=\beta_2$；由截距公式同理可得 $E(\hat\beta_1\mid X)=\beta_1$。这里“线性估计量”是指对 Y 线性，不是对 X 线性。

4.2 方差与协方差

在同方差无自相关下：

斜率方差的推导：$\operatorname{Var}(\sum x_iu_i/S_{xx}\mid X)=\sigma^2\sum x_i^2/S_{xx}^2=\sigma^2/S_{xx}$。误差噪声越小、X 的离差平方和越大，估计越精确。

4.3 Gauss–Markov／BLUE

在模型线性、满秩、零条件均值、同方差且无自相关下，OLS 是最佳线性无偏估计量。 “最佳”只在线性无偏这一比较类别内指方差最小，不是所有估计方法中无条件最好；不需要正态性。

可记斜率的简短证明：任意另一个线性无偏估计 $\tilde\beta_2=\sum(k_i+d_i)Y_i$ 的无偏性要求 $\sum d_i=\sum d_iX_i=0$，故 $\sum k_id_i=0$，于是

这是对课件“最小方差”结论的推导补充。

4.4 无偏、有效、一致不能混用

• 无偏：固定样本量，$E(\hat\beta)=\beta$。
• 有效：在指定估计量类别和比较准则下方差最小。
• 一致：对每个 $\varepsilon>0$，$P(|\hat\beta_n-\beta|>\varepsilon)\to0$。
• 无偏不自动推出一致；渐近无偏也不自动推出一致。例如 $\sigma^2/S_{xx}\to0$ 可与无偏性一起用切比雪夫不等式证明斜率一致。

5. 拟合优度与方差估计

由 $Y_i-\bar Y=(\hat Y_i-\bar Y)+e_i$ 及正交性，

$TSS>0$ 时，含截距 OLS 有 $0\le R^2\le1$；一元含截距时还有 $R^2=r_{XY}^2$。$R^2$ 不表示因果关系，也不是所有模型优劣的唯一标准。教材对 ESS、RSS、SSR、SSE 的命名可能不同，考试按“解释平方和／残差平方和”的定义判断。

为什么除以 n−2？估计了两个参数，残差有两条独立线性约束；$E(RSS\mid X)=(n-2)\sigma^2$。

6. t 检验、p 值与置信区间

用 $s$ 替代 $\sigma$，得到

在正态误差条件下，检验 $H_0:\beta_j=b_0$：

双侧检验五步：写 $H_0$ 和 $H_1$ → 给显著性水平 $\alpha$ → 算 t 和自由度 → 与临界值比较 → 用题目语境解释结论。

• 双侧 $H_1:\beta_j\ne b_0$：$|t|>t_{1-\alpha/2,n-2}$ 时拒绝 $H_0$。
• 右侧 $H_1:\beta_j>b_0$：$t>t_{1-\alpha,n-2}$ 时拒绝；左侧同理。
• p 值小于 $\alpha$ 时拒绝。p 值是 $H_0$ 成立时，统计量出现观测结果或更极端结果的概率；不是“$H_0$ 为真的概率”。
• 不拒绝表示证据不足，不能写成证明 $\beta_j=0$ 或证明没有作用。

置信度 $1-\alpha$ 的区间：

记号说明：此处用“分布的下尾分位数”记临界值；课件 $t_{\alpha/2}(n-2)$ 通常指右尾概率 $\alpha/2$ 的正临界值，两者同一个数。

正确的频率解释：重复抽样构造的区间约有 $1-\alpha$ 比例覆盖固定的真实参数。具体区间算出后不能将未知固定参数说成以 95% 的概率随机落入其中。同一双侧检验与区间等价：区间不含 $b_0$ ⇔ 拒绝 $H_0$。

正态且 $\sigma$ 已知时可用 Z；$\sigma$ 未知而误差正态时 t 在任意适当样本量下都精确成立，大样本仅使 t 接近标准正态。

7. 平均值预测与个别值预测

给定新解释变量值 $X_f$，两者点预测相同：

个别值区间多一个 1，因此更宽；在 $X_f=\bar X$ 处二者最窄。若样本增大且 $h_f\to0$，均值估计误差可趋零，但新个体扰动仍在。

适用前提：模型关系在预测期稳定；$X_f$ 当作给定；新扰动与估计样本独立并满足相同方差、分布假设。若 $X_f$ 本身是预测值，以上区间未计入 X 的预测误差。外推很远时应慎重。

8. 完整手算例题（补充）

给定 $n=10,\bar X=5,\bar Y=12,S_{xx}=40,S_{xy}=60,S_{yy}=130$；给 $t_{0.975,8}=2.306$。

1. $\hat\beta_2=60/40=1.5$，$\hat\beta_1=12-1.5\times5=4.5$。
2. $ESS=\hat\beta_2S_{xy}=90$，$RSS=130-90=40$，$R^2=90/130=0.6923$。
3. $s^2=40/8=5$，$se(\hat\beta_2)=\sqrt{5/40}=0.3536$。
4. 检验 $H_0:\beta_2=0$，$t=1.5/0.3536=4.243>2.306$，在 5% 水平拒绝。
5. 95% 斜率区间 $1.5\pm2.306\times0.3536=(0.685,2.315)$。
6. $X_f=7$ 时，$\hat Y_f=15$，$h_f=0.1+4/40=0.2$。
7. 均值区间 $15\pm2.306\sqrt{5\times0.2}=(12.694,17.306)$。
8. 个别值区间 $15\pm2.306\sqrt{5\times1.2}=(9.351,20.649)$。

9. 课件案例怎样读

2011 年 31 个地区城镇居民计算机拥有量模型（第 122 页）：

截距、斜率标准误差约为 5.6228、0.00024；t 分别为 2.1267、11.9826。表中数值经过四舍五入，不宜用截断后的标准误差要求复算完全一致。

解释：收入每增加 1 元，每百户计算机拥有量的预测均值约增加 0.002873 台；收入增加 1000 元则约增 2.873 台。注意 Y 是“每百户”，X 是“每人收入”，不能说每个人多买 0.002873 台。

$X_f=25000$ 时，课件报告点预测约 83.7846 台，95% 均值区间 $(80.6219,86.9473)$、个别值区间 $(67.0656,100.5036)$；用显示的截断系数直接算约 83.783，差异来自数值精度。

10. 折叠自测

11. 极大似然：仅作小结补充

第 130 页小结列出 MLE，但这份课件正文未展开完整推导。若课堂要求，正态独立误差下的对数似然为

最大化得到 $\hat\beta_{ML}=\hat\beta_{OLS}$，$\hat\sigma^2_{ML}=RSS/n$；它与无偏的 $RSS/(n-2)$ 不同。此节是补充，不据此宣称教师一定考 MLE。

12. 课件回查索引