MSPH7901 Session 1 · 探索性数据分析

MSPH7901 第一节课前预习笔记:变量分类、表格与图形呈现规范、位置度量(均数/中位数/众数)与离散度量(极差/IQR/方差/标准差)、z 分数及数据清洗三阶段流程。

一、本讲信息

  • 课程 :MSPH7901 Introduction to Biostatistics(生物统计学导论;课件页脚所印课程代号为 CMED6100)
  • 讲次 :Session 1 — Exploratory data analysis(探索性数据分析)
  • 日期 :2026 年 9 月 5 日(周六上午)
  • 教师 :Sheikh Taslim Ali,香港大学公共卫生学院(School of Public Health, The University of Hong Kong)
  • 主课件 :session1handout.pdf(96 页讲义,覆盖三个部分:表格与图形描述数据、位置与离散度量、数据清洗)
  • 模块安排 (课件第 4–8 页):共 9 次讲课 + 1 次期中考;4 次 practical(实习课)与 1 次 tutorial(辅导课,经 Moodle 报名);每次讲课与实习后均有 Moodle 作业(占总评 25%);期中考(MCQ + SAQ,占 25%);期末考(MCQ + SAQ,占 50%)。答疑时间(office hour)为每周三 12:30–14:30。考试需自备科学计算器(scientific calculator),须含自然对数 "ln" 与反对数 "ex" 键——注意 "EXP" 是乘以 10 的幂,与 "ex" 不同。

二、学习目标

本讲结束后应能(课件 Session 1 objectives):
  1. 用合适的表格形式呈现数据;
  1. 绘制条形图(barplot)、线图(line plot)、茎叶图(stem-and-leaf plot)、直方图(histogram)与箱线图(box-and-whisker plot);
  1. 定义并计算均数(mean)、中位数(median)与众数(mode);
  1. 定义并计算最小值、最大值、四分位距(inter-quartile range, IQR)、方差(variance)与标准差(standard deviation, SD);
  1. 定义并计算 z 分数(z-score)。

三、核心内容

1. 什么是生物统计学

课件引用词典定义:生物统计学(biostatistics)是处理生物体数据的一个统计学分支,即把统计方法与工具应用于生物学、生物医学科学与流行病学等广泛主题,必要时还包括为生物问题发展新的统计工具。老师指出统计方法大致可分为描述性分析(descriptive analysis)、探索性数据分析(exploratory data analysis, EDA)与推断性分析(inferential analysis),本模块以前两者为基础,后续再进入推断。

2. 变量及其类型

变量(variable)是统计分析的基本元素:可以被观察或测量、且在不同观察对象上取不同值的量,如出生体重、吸烟状态、年度结核报告数。变量首先分为分类变量(categorical)与数量变量(quantitative),课件进一步给出四级分类:
类型
定义
例子
名义变量(nominal)
类别只有名称、无顺序
性别、婚姻状况
有序变量(ordinal)
类别有顺序但间距不相等
Apgar 评分、癌症分期
区间变量(interval)
取值间距相等,但零点无实际意义
摄氏体温、IQ
比率变量(ratio)
间距相等且零点有意义,比值有意义
年龄、体重、脉搏
判断流程(课堂板书思路):先问"类别有无顺序"——无则为名义;有则问"间距是否相等"——不等则为有序;相等再问"零是否为绝对零点"——不是则为区间,是则为比率。

3. 数值修约(rounding)

课件举了一个学生论文的反例:450 名女性中 22 人吸烟,写成 22(4.88889%)——应当修约:保留 3 位有效数字为 4.89%,保留 2 位为 4.9%,通常 2 位已足够。修约规则:被舍位数字 ≥5 时进位。课堂特别强调:修约必须在全部计算完成之后最后进行 ,中途修约再继续计算会引入误差,这是学生反复出现的错误。

4. 用表格呈现数据

案例一:吸烟与肺癌 (Müller 1939 年病例对照研究)。86 名肺癌男性(cases)与 86 名健康男性(controls)的吸烟习惯比较:重度吸烟 56 对 31,轻度 27 对 41,不吸烟 3 对 14。关键在于百分比的方向:行百分比会误导,按列计算百分比 (65%/36%、31%/48%、3%/16%)才能清楚展示两组吸烟构成的差异。原因(课堂讲解):病例对照研究按"病例/对照"分组招募,比较的就应是两组内部的构成。
案例二:香港结核报告率表 (2012–2018,按年龄组)。改进方法:数值取整、按年龄从大到小重排行序、去掉网格线——数据模式立即清晰。设计表格的一般原则:
  • 版面简洁,少用网格线;
  • 文本列左对齐、数字列(含表头)右对齐;
  • 标题与标签措辞清晰;
  • 慎重考虑行列的最佳排序(无自然顺序时可按大小排)。

5. 用图形呈现数据

图形设计总原则引自 Tufte:用最少的墨表达最多的信息 (maximum information with minimum ink)。作图有两个时机:分析开始时探索数据(可多尝试各种图),与分析结束时呈现结果(此时须严格注意格式)。
  • 条形图(bar graph) :适合比较不同组别或场所的某个数量。规范:条宽相等;无自然顺序时按大小排序;标签标题清晰完整,尽量不用单独的图例;不用网格线、背景底纹或图案填充条;不必在条上标数值——图形靠视觉传达,精确数值应放表格。水平条更易标注。
  • 饼图(pie chart) :可显示整体中各部分,但几乎总不如条形图——饼图中相邻扇形大小难以分辨。若使用:扇形不超过 5 个、直接标注、无自然顺序时从 12 点钟起顺时针由大到小排列、避免并排比较两个饼图。
  • 堆叠条形图(stacked bar graph) :很少能好好传达数据——下层条段长短变化时上层条段起点不同,难以比较;改用表格、线图或分组条形图更好。
  • 三维图(3D graph) :透视会扭曲条高、难以比较,不推荐。
  • 小多图(small multiples) :课件展示了 11 名志愿者品尝 8 种蝌蚪的味觉评分研究(Wassersug 1971),同一格式的小图并列可容纳大量信息。
  • 线图(line graph) :最适合展示随时间(或沿某序列)的变化。规范:尽可能直接在线旁标注而非用图例;若用图例,图例顺序与图中线条顺序一致;一张图不要放太多线;一般无需在线上叠画数据点;要有足够点数(4 个以上)才能显示模式;避免分层线图。
饼图 vs 条形图
饼图 vs 条形图
课件第 35 页:同一"呼吸道症状时戴口罩频率"数据(CHP 2005,918/2102)的饼图。"none of the time"与"some of the time"两个扇形肉眼难分大小,说明饼图比较类别不如条形图。

6. 位置度量(measures of location)

连续变量的摘要常由"一个位置度量 + 一个离散度量"构成;分类变量则用各类别比例即可。位置度量也称集中趋势度量(measures of central tendency),指示数据的"典型值":
  • 均数(mean,average) :所有观察值之和除以样本量 n。吸烟组 21 个出生体重之和除以 21 得 3.09 kg。
  • 中位数(median) :将排序后的观察值分成相等两半的数值。n 为奇数时取正中那个(如 n=21 取第 11 个,本例 3.05 kg);n 为偶数时取中间两个的平均。
  • 众数(mode) :出现频次最高的值(注意:不是数值最大的值),本例为 3.02 kg。中位数与众数都可从茎叶图直接读出。
分组数据 (grouped data)情形:100 名学生考试成绩按分数段给出频数,均数用组中值加权:x̄ = Σxᵢfᵢ / Σfᵢ = 63;众数组与中位数组均为 61–70 段,故 mode = median = 65.5(该组中值)。
对称与偏态分布 :对称分布中 mean = median = mode;右偏(right-skewed)分布中 mode < median < mean。
极端值的影响 :4, 4, 8, 14, 15 与 4, 4, 8, 14, 150 的中位数都是 8,但均数分别为 9 与 36——均数受极端值影响,中位数不受。结论:数据含极端值时应选择中位数作代表 。
线性变换性质 (对 mean、median、mode 均成立):每个观察值加常数 c,度量也加 c;每个观察值乘常数 a,度量也乘 a。
茎叶图
茎叶图
课件第 51 页:42 名婴儿出生体重(kg)的茎叶图(stem-and-leaf plot),26|5 = 2.65 kg。茎为前两位、叶为末位,既保留原始数据又显示分布形状,中位数与众数可直接数出。

7. 顺序统计量与分位数

将样本从小到大排序后:最小值(第 1 顺序统计量)、最大值(第 n 顺序统计量)。按等分划分:百分位数(percentiles/centiles)分 100 份、十分位数(deciles)分 10 份、五分位数(quintiles)分 5 份、四分位数(quartiles)分 4 份、三分位数(tertiles)分 3 份;中位数即分 2 份。注意四分位数实际有 5 个 :最小值(0 百分位)、Q1(P25)、Q2(中位数)、Q3(P75)、最大值(P100)。

8. 离散度量(measures of spread)

  • 极差(range) :最大值 − 最小值。
  • 四分位距(inter-quartile range, IQR) :Q3 − Q1,是以中位数为中心的离散度量。
  • 平均绝对偏差(mean absolute deviation) :各观察值离均差绝对值的平均,实践中很少使用。
  • 方差(variance)与标准差(standard deviation, SD) :以数据 4, 4, 8, 14, 15(mean = 9)为例——离均差 (X − μ) 为 −5, −5, −1, 5, 6,其和恒为 0;绝对值平均 4.4;离均差平方 25, 25, 1, 25, 36 的平均为 22.4,即方差;开方得 SD = √22.4 ≈ 4.7。SD 是最常用的变异性统计量。
方差性质 :加常数 c 方差不变(平移不改变离散程度);乘常数 a 方差乘 a²(例:×2 后 22.4 → 89.6 = 2² × 22.4)。
箱线图(box-and-whisker plot) 画法:箱体表示 IQR(Q1 到 Q3);箱内加一条中线标中位数;超过 Q1 − 1.5×IQR 或 Q3 + 1.5×IQR 的点标记为离群值(outlier,以圆点表示);须(whisker)从箱体延伸至非离群的最小/最大值。它一次展示五个分位数。课件两例:吸烟/非吸烟母亲婴儿出生体重(非吸烟组中位数略高、IQR 相近;录音补充:吸烟组 mean = 3.1 kg, SD = 0.26 kg,非吸烟组 mean = 3.2 kg, SD = 0.32 kg);以及败血症患者基线 APACHE 评分(ibuprofen 与 placebo 两组,placebo 组可见离群值)。
直方图与 bin 宽度
直方图与 bin 宽度
课件第 54 页:直方图(histogram),每条面积代表该区间内观察数。分箱(bins)宽度改变会改变直方图外观,同一数据在不同 bin 宽下形状不同。
对称与右偏分布
对称与右偏分布
课件第 61 页:对称分布中 mean = median = mode 三者重合;右偏(asymmetric/right-skewed)分布中 mode < median < mean,三者位置关系可用于判断偏态方向。
箱线图五数
箱线图五数
课件第 69 页:吸烟与非吸烟母亲婴儿出生体重的箱线图,一次展示最小值、Q1、中位数、Q3、最大值五个分位数;箱体为 IQR,须延伸至非离群极值。

9. 标准分数(z-score)

当两个结局的测量尺度不同时(课件例:1 cm 的身高差异在 1 岁与 10 岁年龄段意义不同),需要标准化度量。z 分数定义为:
z = (X − μ) / σ ,其中 X 为观察值,μ 为总体均数,σ 为总体标准差。
z 表示该观察值高于(正)或低于(负)均数多少个标准差,例如 z = −1.5 表示低于均数 1.5 个标准差。应用实例为儿童生长曲线(growth charts,基于 WHO 生长标准以 z 分数刻画身高/体重)。

10. 数据清洗(data cleaning)

数据异常的来源:数据缺失或过剩(原始记录丢失、问卷空项)、不一致与离群值(错栏录入、录入错误)。数据清洗是检测(detecting)、诊断(diagnosing)与编辑(editing) 问题数据的过程,可视为三阶段(Van den Broek 等,PLoS Medicine):
  1. 筛查(screening) :预设正常范围、分布形状与变量间关系的期望,再用探索性分析(表格、图形)对照观察数据。错误的离群值(erroneous outliers)用画得好的图形容易发现;错误的"内点"(erroneous inliers,数值看似正常但实为错误)则需借助变量间关系排查。
  1. 诊断(diagnosis) :查明不一致的原因——是录入错误(erroneous)、真实的极端值(true extreme),还是先验预期本身不对(true normal);可借助重复测量、相关变量,或回查原始病历/问卷。
  1. 处理(treatment) :记录所有改动——删除、更正或保留不动;不可能的取值绝不能原样保留 ;并评估改动对后续分析的影响。
数据清洗三阶段
数据清洗三阶段
课件第 84 页:数据清洗三阶段流程图(Van den Broek 等)——数据收集后依次经过筛查(screening)、诊断(diagnosis)、处理(treatment)再进入分析。
直方图发现 0 值编码
直方图发现 0 值编码
课件第 86 页:婴儿出生体重直方图左侧暴露出多个 0 值——"0"被用作缺失数据编码;只算均数(2.93 kg)发现不了这一错误,说明图形筛查的必要性。
散点图发现离群值
散点图发现离群值
课件第 87 页:青少年身高按年龄与性别作图,一名 12 岁左右的男性身高明显偏离同龄分布——该离群值无法从一维摘要中发现,需借助变量间关系。

11. 结尾案例与延伸

课件以三个描述性统计的经典案例收尾:John Graunt 统计 1632 年伦敦死因构成(早期人口统计与统计学家);Florence Nightingale 用极区图总结克里米亚战争中士兵死因;以及 GapMinder(http://www.gapminder.org)展示描述统计的传播力。

五、课前思考 / 自测

以下题目取自课件 session1_practice questions.pdf(附建议答案),课前可自测:
  1. 数据集 9, 46, 49, 15, 42, 40, 6, 39, 41, 43, 35 的极差(range)是多少?(建议答案:D,43。极差 = 最大 49 − 最小 6)
  1. 同一数据集的中位数是多少?(建议答案:C,40。排序后 11 个值取第 6 个)
  1. 判断三个陈述:I. 标准差是方差的平方根;II. 所有取值相同时方差为 0;III. 方差不受最小值和最大值影响。哪些正确?(建议答案:B,仅 I 和 II——方差恰恰受极端值影响)
  1. 判断三个陈述:I. IQR 大于极差;II. 所有取值相同时 IQR 为 0;III. IQR 受最小值和最大值影响。哪些正确?(建议答案:E,仅 II——IQR 只依赖 Q1 与 Q3,不受两端极端值影响)
  1. 概念题:为什么病例对照研究中的吸烟–肺癌表应按列(而非按行)计算百分比?(依据课件第 18 页:研究按病例/对照两组招募,需比较的是两组内的吸烟构成)

六、课堂要点补充(据 2026-09-05 课堂录音)

  • 课程定位 :老师开场强调本课面向无统计基础、甚至"讨厌统计"的同学;描述统计 → 探索性分析 → 推断分析是递进链条,缺一不可。
  • 修约时机 :反复强调所有中间计算完成后再统一修约,中途修约是学生最常见错误。
  • 变量判断问答链 :有无顺序?→ 间距是否相等?→ 零是否绝对零点?课堂举例血压(blood pressure)属比率变量,因为血压为 0 有实际意义。
  • 列百分比的理由 :病例对照研究按病例/对照招募,比较两组内部构成须用列百分比;并强调由该表只能得出关联描述,不能下因果结论。
  • 直方图分箱经验 :先算极差(最大 − 最小),通常分约 9–11 个柱;bin 宽从 0.1 kg 改为 0.2、0.3 kg 时形状明显变化(课堂用出生体重数据演示)。
  • 众数易错点 :众数是出现次数最多的值,不是数值最大的值。
  • 离群值处理演示 :用学生问卷数据示范清洗流程——发现异常 → 回查(筛查→诊断→处理)→ 再分析;实例包括身高英尺/英寸单位混淆、体重为 0(缺失编码)、12 岁男生身高离群。
  • 行政信息 :答疑时间需先发邮件预约并说明要问的问题;考试计算器型号可发给 TA 确认是否允许;课堂上段的问卷与手宽数据将在后续课程用作分析素材。

七、参考材料

  • 主课件 :Materials/session1handout.pdf(Session 1 讲义,96 页;Print3/Print6 为同一讲义的打印排版版本)
  • 概念补充 :Materials/Session-1 Concept note.pdf(概念便记,含各图形对应的 R 函数:barplot()、pie()、stem()、hist()、boxplot()、quantile()、skewness() 等)
  • 练习题 :Materials/session1_practice questions.pdf(10 道 MCQ 及建议答案)
  • 课堂录音转写 :Recordings/MSPH7901-0905.txt
  • 课件内推荐延伸阅读:Altman & Bland, Presentation of numerical data, BMJ 1996;312:572;Altman & Bland, Quartiles, quintiles, centiles, and other quantiles, BMJ 1994;309:996;Van den Broek et al., Data cleaning: detecting, diagnosing, and editing data abnormalities, PLoS Medicine 2005;2:e267
上一篇
PAED7902 Lecture 1 · 精准医学导论(Introduction to Precision Medicine)
下一篇
MSBS7102 Lecture 1 · 假设检验导论(Fisher 精确检验与置换检验)
Loading...