MSBS7102 Lecture 2 · 线性回归（最小二乘与变量选择）

1. 本讲信息

课程：SBMS7202/MSBS7102 Foundations in Biomedical Data Science（生物医学数据科学基础）

讲次：Lecture 2 — Linear regression（线性回归）

日期：2026 年 9 月 11 日（地点 LT2）

教师：Prof. Yuanhua Huang（黃渊華），办公室 Rm 1-05E, 1/F, JCBIR, 5 Sassoon Road（医学院校区）；邮箱 yuanhua@hku.hk；主页 https://statbiomed.github.io

配套自学材料 （课件第 2 页）：课程 R Markdown 笔记本 https://statbiomed.github.io/BMDS-book/introLinearReg.html ；《Introduction to Modern Statistics (2nd ed., Çetinkaya-Rundel & Hardin)》第 7–8 章

2. 学习目标

理解为什么要做回归分析（regression analysis）：预测（predictive）与解释（interpretive）两大动机。

掌握简单线性回归 （simple linear regression，仅一个解释变量）的概念与数学原理，并能从零实现。

掌握多元线性回归 （multiple linear regression，多个解释变量）的最小二乘估计（least squares estimators）。

学会合理选择输入变量：理解 R² 的局限、调整 R²（adjusted R²）与 F 统计量（F-statistic）在模型选择中的作用。

3. 核心内容

3.1 为什么做回归分析

课件首先把回归放进机器学习（machine learning）的整体框架：

监督学习 （supervised learning）：同时拥有输入 X 和输出 y 的数据，学习输入与输出之间的关系 y = f(X)。其中 y 为连续变量时是回归（regression，本讲）；y 为分类变量时是分类（classification，下一讲）。

无监督学习 （unsupervised learning）：只有 X，没有标签，例如聚类（clustering）、因子分析（factor analysis）。

做回归的两个动机：

预测（predictive）：给定新的 X，尽可能准确地预测 y。

解释（interpretive）：识别 X 与 y 之间的关系（例如某个基因突变与某种疾病是否相关）。

线性回归（linear regression，又称线性模型 linear model）是预测建模（predictive modeling）的基础技术：它假定输入与输出之间是线性关系，结果可以用通俗语言解释、可以画成简单的直线图，且 R 语言有现成函数（lm()）与详细文档。课件同时强调：正因为它太方便，使用者更有必要理解代码背后的逻辑——模型如何工作、结果意味着什么、依赖哪些假设（assumptions）。

3.2 基本术语

一个预测模型 （predictive model）是一个由输入变量构成的数学方程；给定输入变量的取值即可算出输出。课件用房价作例子：房价 P 线性地依赖于面积 S、配套设施 A 与交通便利度 T：

输出变量 （output variable）P：也称预测输出、因变量 （dependent variable）。

输入变量 （input variables）S、A、T：也称预测变量 （predictors）、协变量（covariates）、自变量（independent variables）、解释变量（explanatory variables）或特征（features）。变量可以是数值型（连续）、二值型或分类型。

参数（parameters）：也称系数（coefficients）或权重（weights），它们未知。

回归分析的任务，就是用历史的输入—输出数据估计这些未知参数 。只有一个解释变量时称为简单线性回归，有多个解释变量时称为多元线性回归。

3.3 简单线性回归：原理与数学

课件用一个虚拟的房价数据集（4 幢已知面积与成本的房子，另有一幢 900 平方英尺、成本未知的房子）引入模型。设 y = Cost（成本）、x = Size（面积），假设 y 是 x 的线性函数：

其中（读 y-hat）表示按方程计算出的 y 的估计值/预测值 。只要确定（截距）与（斜率），就能对任意 x 预测 y。例如、时，900 ft² 的房子预测成本 = 2 + 0.03 × 900 = 29（千美元）。

最小二乘法 （method of Least Squares，源自 Laplace 与 Gauss）给出"好"的：使 n 个数据点上实际值与预测值之差的平方和最小。这个平方和称为误差平方和 （sum of squared error, SSE）：

用微积分（对、分别求偏导并令其为 0）可解出最优参数的解析解 （closed-form solution）：

其中、分别是 x、y 的样本均值。也就是说：斜率等于 x 与 y 的协方差除以 x 的方差（按样本和的形式书写），截距由"回归直线必过点 "确定。课件第 10 页给出了完整推导（属于选学内容，课堂录音明确说明数学推导不要求、不进入期末考试 ，但希望理解概念）。

诊断统计量 （diagnostic statistics）——评估模型好坏的三个平方和：

（也称 SSD）：残差平方和，，模型未能解释的部分。

（sum of squares total）：总平方和，，不涉及任何模型，就是数据本身的离散程度。

（sum of squares due to regression）：回归平方和，，模型（相对均值）解释的部分。

三者满足分解关系（总变异 = 已解释变异 + 未解释变异）。由此定义决定系数 （coefficient of determination）：

的直观含义是被模型解释的数据方差比例 ：例如表示数据中 60% 的变异可由该模型解释，其余 40% 无法解释（课堂录音补充的解释）。

3.4 R 实操示例：marketing 数据集

课件用 datarium 包的 marketing 数据集演示：输出变量为 Sales（销售额），输入变量为 YouTube、Facebook、Newspaper 三个广告渠道的投放费用，n = 200 个观测。

简单回归只需一行 R 代码（默认自动包含截距，等价于公式里加 "+1"）：

拟合结果：。输出各部分含义：

Coefficients 表 ：截距估计 8.439112（标准误 0.549，t = 15.36）；youtube 系数 0.047537（标准误 0.0027，t = 17.67），两者的 p 值均 < 2e-16（标记 ***），即"系数 = 0"的原假设被拒绝——截距显著非零，YouTube 投放对销售额有显著影响。

Residual standard error: 3.91 （198 个自由度）：残差标准误 RSE（见 3.6 节）。

Multiple R-squared: 0.6119, Adjusted R-squared: 0.6099 。

F-statistic: 312.1 on 1 and 198 DF （p < 2.2e-16）。

此模型，尚有改进空间，由此引出多元回归。

3.5 多元线性回归：一般方法与最小二乘估计

用 p 个输入变量预测输出：

对每个样本点 i，预测值为。最小二乘法的思想不变：求使平方和

最小的参数。做法同样是令所有偏导数为 0，得到 p+1 个方程、p+1 个未知数，解出的即最小二乘估计。课堂录音指出：线性回归是少数存在解析解、可"用手解出"的机器学习方法。SSE、SST、SSR 的定义与、在多元情形下完全同样成立。

3.6 输入变量的选择：R² 的陷阱与校正

marketing 数据有 3 个可用变量，可组合出 7 个候选模型 （Sales ~ YouTube；~ Newspaper；~ Facebook；~ YouTube + Newspaper；~ YouTube + Facebook；~ Newspaper + Facebook；~ YouTube + Facebook + Newspaper）。一般地，k 个特征有个非空模型（课堂举例：10 个特征 → 1024 种组合，含"无任何特征"的空模型）。哪一个是"最好"的模型、好在什么意义上？这就是变量选择 （selection of variables）问题。

重要事实：变量越多，R² 只会越大（不会变小）。 课件给出论证：设模型 (I) 与模型 (II) 。模型 (II) 的参数空间包含模型 (I)（令即退化为 (I)），因此 (II) 能达到的最小 SSE 不可能大于 (I)，即，从而。

注意这只是对手上这份数据（训练数据） 而言。如果单纯追求 R²，最终会把所有变量都塞进模型，很可能得到一个糟糕的模型——过拟合 （overfitting），即模型在训练数据上表现好、却不能泛化（generalisable）到未见过的新数据。

为此课件引入两个对变量数做"惩罚/校正"的统计量：

残差标准误 （residual standard error, RSE）：

其中 n 为样本量、p 为输入变量个数（不含截距），n − p − 1 为误差自由度（估计了截距故再减 1）。

F 统计量 （F-statistic）——"模型解释的方差"与"残差（噪声）未解释的方差"之比，两者都按自由度归一：

p 为模型自由度（除截距外的特征数），n − p − 1 为误差自由度。F 检验比较两个假设（课件第 30 页，v2 版新增）：

原假设：所有回归系数（斜率）全为 0——整个模型无用；

备择假设：至少一个回归系数非 0——模型有一定用处。

当 p 增大时，SSR 会增加，但因子 p/(n−p−1) 也会变大，从而对 F 形成"补偿/惩罚"。

调整 R² （adjusted R²）——课件推荐的选模准则：在候选变量子集中选调整 R² 最大 的模型：

当 p 增加时，的下降会被因子的上升抵消，因此调整 R² 不会系统性地偏向变量多的模型。

除调整 R² 外还应同时检查：1）各回归系数单独显著——t 统计量大、p 值小；2）全局 F 统计量足够大、p 值小。

marketing 数据的四模型比较 （课件第 25、28 页）：

模型	R²	Adj-R²	系数 p 值	F 统计量 (p 值)	Error (=RSE/均值)
1: sales ~ youtube	0.612	0.610	0.000 (×2)	312.1 (0.000)	23.2%
2: sales ~ youtube + newspaper	0.646	0.642	0.000 (×2)	179.6 (0.000)	22.2%
3: sales ~ youtube + facebook	0.897	0.896	0.000 (×2)	859.7 (0.000)	12.0%
4: sales ~ youtube + newspaper + facebook	0.897	0.896	0.000 (×4)	570.3 (0.000)	12.2%

课件的分析：从模型 1 到模型 2，调整 R² 仅边际上升、F 统计量大幅下降，不划算；从模型 1 到模型 3，调整 R² 显著上升、误差显著下降、F 统计量大增，值得；从模型 3 到模型 4，调整 R² 不再上升、误差反而略增、F 统计量大降。结论：模型 3（Sales ~ YouTube + Facebook）是最佳选择。

3.7 小结（课件第 29 页）

简单线性回归：输入输出间的线性关系；最小二乘估计存在解析解。

多元线性回归：最小二乘估计同样有解析解。

输入特征组合的选择：使用调整 R²。

4. 关键图解

课件 p7：房价示例数据集（面积 Size 与成本 Cost），最后一行 900 ft² 的房子成本待预测（?）。右侧给出模型假设 ，即 Cost = α + β × Size。

课件 p9：最小二乘法示意。散点为观测数据，蓝色直线为拟合的回归线，绿色竖线段表示每个点的残差（实际值 y 与估计值 ŷ 之差）；目标是最小化 SSE = Σ(yᵢ − ŷᵢ)²，右下给出 β 与 α 的最优解公式。

课件 p11：三个平方和的几何关系。红虚线为 y 的均值线，橙、绿、红三段箭头分别标出 SSE（点到回归线）、SSR（回归线到均值线）、SST（点到均值线）的距离，直观呈现 SST = SSR + SSE 与 R² = 1 − SSE/SST。

课件 p14：marketing 数据示例。左侧为 sales 对 youtube 的散点及红色拟合直线，下方一行 lm(sales ~ youtube, data = marketing) 完成拟合；右侧 summary() 输出中系数表与残差标准误被红框标出，是解读的重点。

课件 p24：R² 随输入变量个数 p 的变化曲线——R² 单调不减、渐近趋向 1。若只以 R² 为目标，最终会纳入所有变量，导致过拟合（overfitting），模型不能泛化到未观测数据。

课件 p28：marketing 数据 4 个候选模型的 R²、调整 R²、系数 p 值、F 统计量与误差对比。模型 3（youtube + facebook）调整 R² 最高、误差最低，加 Newspaper（模型 4）反而使误差略升、F 大降，故为最佳选择。

5. 课前思考 / 自测

（本讲课件未含习题，以下依据课件内容与课堂提问自拟）

简单回归得到。这句话用"方差解释比例"来表述应该怎么说？加入 Newspaper 后升到 0.646，能否据此认定应当保留 Newspaper？为什么调整 R² 与 F 统计量给出的结论相反？

最小二乘最小化的是竖直方向 残差的平方和（）。课堂讨论过：为什么不最小化"点到直线的垂直距离"？从计算简便性的角度想一想原因。

F 统计量的原假设是什么？F 值很大（如模型 3 的 859.7）意味着什么？它与单个系数的 t 检验在回答的问题上有何不同？

若有 10 个候选特征，非空的变量组合模型共有多少个（）？这解释了变量选择为什么是一个需要准则的复杂问题。

复习衔接（上一讲）：两组比较（如吸烟组 vs 非吸烟组的新生儿体重）如何改写成线性回归？"β₁ = 0"对应原来的哪个假设？回归形式的好处是什么？

6. 参考材料

主课件 ：Materials/SBMS7202 Lecture 2 (Dr Huang)-Sep11_v2_fix_F_stat_p25_28_30.pdf（30 页，本讲使用版本：在第 25、28、30 页修正了 F 统计量相关内容，并新增第 30 页"F-statistic 详解"；本笔记插图与内容均取自该版）

旧版课件：Materials/SBMS7202 Lecture 2 (Dr Huang)-Sep11.pdf（29 页，F 统计量修正前版本，仅作版本对照，未用作内容来源）

课程配套笔记本：https://statbiomed.github.io/BMDS-book/introLinearReg.html （含 3.1–3.3 节脚本练习与 F-statistics 说明）

示例笔记本：https://github.com/StatBiomed/BMDS-book/blob/main/notebooks/chapter2-LR/02-linearReg-04.Rmd 与 02-linearReg-05.Rmd（marketing 示例）

延伸阅读：《Introduction to Modern Statistics》(2nd ed.) 第 7–8 章，https://www.openintro.org/book/ims/

示例数据：R 包 datarium 的 marketing 数据集（n = 200）

课堂录音转写：Recordings/MSBS7102-0911-2.txt、Recordings/MSBS7102-0911-3.txt

7. 课堂要点补充（基于课堂录音）

以下要点来自 9 月 11 日课堂录音转写（MSBS7102-0911-2/-3.txt，语音识别文本，已过滤识别噪声）。

与上一讲的衔接（录音 -2） ：两组均值的比较可以改写成线性回归形式——设新生儿体重 y = β₀ + β₁ ×（母亲是否吸烟），若 β₁ ≠ 0 则吸烟对出生体重有影响；这把 t 检验的原假设转化为"回归系数 = 0"的检验。线性回归形式的强大之处在于可以继续加入其他协变量（如母亲运动情况等），这是后续课程反复使用的建模思路。

t 分布背景（录音 -3） ：老师介绍了 t 检验的由来——William Sealy Gosset 在都柏林的啤酒公司工作期间，以笔名 "Student" 于 1908 年在 Biometrika 发表该分布（转写中年份识别有误，此处按史实更正），故称 Student's t-test。t 分布比正态分布多一个参数——自由度（degree of freedom）：样本量大于约 30 时 t 分布与正态分布几乎一致，二者给出的 p 值相近；但小样本时差异明显，例如只有 3 个重复样本时自由度为 1，分布尾部很长，必须用 t 分布。做 t 检验的前提假设是数据近似正态分布，若严重偏离则 p 值不可靠。

关于课程定位 ：本课程是"速成课"（crash course），不假设学生有统计或编程基础；R 语言将在后续几周从零教起。遇到问题可以发邮件问老师，也可以借助 AI 工具学习，但关键是理解概念。

实现层面 ：线性回归"从零实现"只需两行代码——按课件公式分别算出 β 与 α 即可；课后可以自己动手并与 R 的 lm() 结果对比。lm() 默认包含截距（等价于公式中 "+1"）。参数估计的标准误、t 值与 p 值均由 summary() 直接给出。

符号提醒 ：多元回归中的 p 表示特征数/维度数 （也可记作 d），与假设检验里的 p 值（p-value）毫无关系，只是恰好共用同一个符号，注意区分。

关于模型选择与 F 统计量 ：F 统计量对特征个数很敏感，尤其在特征数少（分母自由度小）时；因此模型 4 虽然整体显著，F 值却比模型 3 低很多。课堂还强调：更多特征只保证在训练数据 上 SSE 更低，不代表对新数据预测更好——这正是过拟合的含义。

其他：marketing 数据较为陈旧（老师提到该数据来自 Facebook 尚未改名 Meta 的年代）；本讲数学推导不进入期末考试；Quiz 2 截止时间延至下周五。