第 14 章 统计与数学建模
本章把抽样方法、统计图表、样本数字特征、百分位数、线性回归、独立性检验和数学建模合并在一起。统计的基本思想是“用样本估计总体”,数学建模的基本过程是“实际问题—数学模型—实际检验”。
14.1 抽样方法
14.1.1 总体、个体、样本
- 总体:研究对象的全体。
- 个体:总体中的每一个研究对象。
- 样本:从总体中抽取的一部分个体。
- 样本容量:样本中个体的数目。
- 用样本估计总体:通过样本的数字特征估计总体的数字特征。
14.1.2 简单随机抽样
设一个总体含有 $N$ 个个体,从中逐个不放回地抽取 $n$ 个个体作为样本($n\le N$),如果每次抽取时总体内的各个个体被抽到的机会都相等,那么这种抽样方法叫简单随机抽样。
- 常用方法:抽签法、随机数法。
- 特点:每个个体被抽到的概率相等;不放回抽样。
- 适用条件:总体容量较小,个体之间差异不明显。
- 每个个体被抽到的概率为 $\frac nN$。
14.1.3 分层抽样
一般地,在抽样时,将总体分成互不交叉的层,然后按照一定的比例,从各层独立地抽取一定数量的个体,将各层取出的个体合在一起作为样本,这种抽样方法叫分层抽样。
- 分层抽样要求各层之间有明显差异,层内个体差异较小。
- 各层抽取的个体数按各层个体数在总体中所占的比例分配:
$$ \frac{n_i}{N_i}=\frac nN $$
其中 $N_i$ 是第 $i$ 层的个体数,$n_i$ 是第 $i$ 层抽取的个体数。
- 分层抽样能保证样本结构与总体结构一致,样本代表性较好。
14.1.4 系统抽样(等距抽样)
- 将总体中的个体编号,按固定的间隔抽取个体。
- 步骤:
- 将总体中的 $N$ 个个体编号;
- 确定分段间隔 $k=\frac Nn$(当 $\frac Nn$ 不是整数时,先剔除若干个个体);
- 在第一段中用简单随机抽样确定第一个个体编号;
- 按固定间隔 $k$ 依次抽取,得到样本。
- 系统抽样适用于总体容量较大、个体排列无明显周期性的情况。
- 每个个体被抽到的概率相等。
14.1.5 三种抽样方法的比较
| 方法 | 特点 | 适用条件 |
|---|---|---|
| 简单随机抽样 | 逐个抽取,每个个体等可能 | 总体容量较小 |
| 分层抽样 | 按比例分层抽取 | 层间差异明显 |
| 系统抽样 | 按固定间隔抽取 | 总体容量较大 |
- 三种抽样方法都是等概率抽样。
- 实际抽样时,可以根据总体特点组合使用多种方法。
14.2 统计图表
14.2.1 频率分布表与频率分布直方图
- 频率分布表:把数据分组,统计各组的频数,计算各组的频率。
- 频率分布直方图:
- 横轴表示数据分组,纵轴表示 $\frac{\text{频率}}{\text{组距}}$;
- 每个小矩形的面积等于该组的频率;
- 所有小矩形的面积之和等于 $1$。
- 组距:每个组的区间长度。
- 频率:该组频数与样本容量的比值。
- 频率分布折线图:把频率分布直方图中各小矩形上端中点依次连接起来得到的折线图。
- 总体密度曲线:样本容量越大、组距越小,频率分布折线图越接近一条光滑曲线,这条曲线叫总体密度曲线。
14.2.2 频率分布直方图中的数字特征
- 众数:最高小矩形底边中点的横坐标。
- 中位数:使直方图中左右两侧面积各为 $0.5$ 的横坐标。
- 平均数:每个小矩形底边中点的横坐标与该矩形面积的乘积之和,即各组的组中值按频率加权平均。
14.2.3 其他统计图表
- 条形图:用条形的高度表示数量,便于比较各类别的数量。
- 折线图:用折线连接各数据点,便于观察数据的变化趋势。
- 扇形图:用扇形的面积表示各部分占总体的百分比。
- 茎叶图:保留原始数据,便于观察数据的分布和比较两组数据。
- 箱线图(拓展):用最小值、下四分位数、中位数、上四分位数、最大值描述数据分布。
14.2.4 样本频率分布估计总体分布
- 样本频率分布直方图可以近似估计总体的频率分布。
- 样本容量越大,频率分布越接近总体分布。
- 频率分布直方图不能直接给出原始数据,只能给出分组后的分布情况。
14.3 样本数字特征
14.3.1 平均数
- 算术平均数:
$$ \bar{x}=\frac{x_1+x_2+\cdots+x_n}{n} $$
- 加权平均数:若数据 $x_1,x_2,\ldots,x_n$ 的权分别为 $w_1,w_2,\ldots,w_n$,则加权平均数为:
$$ \bar{x}=\frac{x_1w_1+x_2w_2+\cdots+x_nw_n}{w_1+w_2+\cdots+w_n} $$
- 平均数反映数据的集中趋势。
14.3.2 中位数
- 把数据按从小到大排列:
- 当数据个数为奇数时,中位数是最中间的那个数;
- 当数据个数为偶数时,中位数是中间两个数的平均数。
- 中位数不受极端值的影响,比平均数稳健。
14.3.3 众数
- 一组数据中出现次数最多的数叫众数。
- 众数可能不唯一,也可能不存在。
- 众数反映数据中出现最频繁的取值。
14.3.4 极差、方差与标准差
- 极差:最大值与最小值的差,$R=x_{\max}-x_{\min}$。
- 方差:
$$ s^2=\frac1n\sum_{i=1}^{n}(x_i-\bar{x})^2 $$
- 标准差:$s=\sqrt{s^2}$。
- 方差和标准差反映数据的离散程度;方差越大,数据越分散。
- 方差的计算公式也可以写成:
$$ s^2=\frac1n\sum_{i=1}^{n}x_i^2-\bar{x}^2 $$
14.3.5 数字特征的性质
- 若数据 $x_i$ 的平均数为 $\bar{x}$,方差为 $s^2$:
- 数据 $x_i+b$ 的平均数为 $\bar{x}+b$,方差仍为 $s^2$;
- 数据 $ax_i$ 的平均数为 $a\bar{x}$,方差为 $a^2s^2$;
- 数据 $ax_i+b$ 的平均数为 $a\bar{x}+b$,方差为 $a^2s^2$。
- 平均数、中位数、众数反映集中趋势;方差、标准差、极差反映离散程度。
14.3.6 百分位数
一组数据的第 $p$ 百分位数是这样一个值:它使得这组数据中至少有 $p%$ 的数据小于或等于这个值,且至少有 $(100-p)%$ 的数据大于或等于这个值。
- 计算步骤:
- 把数据按从小到大排列;
- 计算 $i=n\times p%$;
- 若 $i$ 不是整数,取第 $[i]+1$ 项作为第 $p$ 百分位数;
- 若 $i$ 是整数,取第 $i$ 项与第 $i+1$ 项的平均数作为第 $p$ 百分位数。
- 四分位数:
- 第 $25$ 百分位数叫下四分位数 $Q_1$;
- 第 $50$ 百分位数叫中位数 $Q_2$;
- 第 $75$ 百分位数叫上四分位数 $Q_3$。
- 百分位数常用于描述数据的相对位置。
- 当 $p=100$ 时,第 $100$ 百分位数就是最大值;当 $p=0$ 时,第 $0$ 百分位数就是最小值。
14.4 线性回归分析
14.4.1 相关关系
- 函数关系:两个变量之间有确定的对应关系。
- 相关关系:两个变量之间有一定的联系,但不能用确定的函数关系表示。
- 正相关:一个变量增大时,另一个变量也倾向于增大。
- 负相关:一个变量增大时,另一个变量倾向于减小。
- 散点图可以直观地判断两个变量是否具有相关关系。
14.4.2 回归直线
- 如果散点图中的点大致分布在一条直线附近,可以用一条直线近似描述两个变量之间的关系,这条直线叫回归直线。
- 回归直线方程:
$$ \hat{y}=\hat{b}x+\hat{a} $$
- 用最小二乘法估计参数:
$$ \hat{b}=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2} =\frac{\sum_{i=1}^{n}x_iy_i-n\bar{x}\bar{y}}{\sum_{i=1}^{n}x_i^2-n\bar{x}^2} $$
$$ \hat{a}=\bar{y}-\hat{b}\bar{x} $$
- 回归直线必过样本中心点 $(\bar{x},\bar{y})$。
- 回归方程中的 $\hat{y}$ 是预测值,不是实际值。
14.4.3 相关系数
样本相关系数:
$$ r=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i-\bar{x})^2}\sqrt{\sum_{i=1}^{n}(y_i-\bar{y})^2}} $$
- $-1\le r\le1$。
- $r>0$ 表示正相关,$r<0$ 表示负相关。
- $|r|$ 越接近 $1$,线性相关程度越强;$|r|$ 越接近 $0$,线性相关程度越弱。
- $r=1$ 或 $r=-1$ 时,所有点都在一条直线上。
- 相关关系不等于因果关系。
14.4.4 残差与拟合效果
- 残差:实际值与预测值的差,$e_i=y_i-\hat{y}_i$。
- 残差平方和越小,拟合效果越好。
- 决定系数:
$$ R^2=1-\frac{\sum_{i=1}^{n}(y_i-\hat{y}i)^2}{\sum{i=1}^{n}(y_i-\bar{y})^2} $$
- $0\le R^2\le1$,$R^2$ 越接近 $1$,模型拟合效果越好。
- 残差图可以帮助判断模型是否合适。
14.4.5 回归分析的应用
- 用回归方程进行预测时,要注意自变量的取值范围。
- 在样本数据范围内进行预测叫内插,比较可靠。
- 超出样本数据范围进行预测叫外推,可靠性较低。
- 回归分析只能说明变量之间的统计关系,不能说明因果关系。
14.5 独立性检验
14.5.1 列联表
- 两个分类变量的频数表叫列联表。
- $2\times2$ 列联表的一般形式:
| $B_1$ | $B_2$ | 合计 | |
|---|---|---|---|
| $A_1$ | $a$ | $b$ | $a+b$ |
| $A_2$ | $c$ | $d$ | $c+d$ |
| 合计 | $a+c$ | $b+d$ | $n=a+b+c+d$ |
14.5.2 独立性检验的步骤
- 提出零假设 $H_0$:两个分类变量相互独立(没有关联)。
- 计算卡方统计量:
$$ \chi^2=\frac{n(ad-bc)^2}{(a+b)(c+d)(a+c)(b+d)} $$
- 查临界值表,比较 $\chi^2$ 与临界值。
- 作出统计判断。
14.5.3 临界值
| $\chi^2$ 临界值 | 犯错误概率 $\alpha$ | 判断 |
|---|---|---|
| $2.706$ | $0.10$ | 有 $90%$ 的把握认为两个变量有关 |
| $3.841$ | $0.05$ | 有 $95%$ 的把握认为两个变量有关 |
| $6.635$ | $0.01$ | 有 $99%$ 的把握认为两个变量有关 |
| $10.828$ | $0.001$ | 有 $99.9%$ 的把握认为两个变量有关 |
- 当 $\chi^2\ge3.841$ 时,在犯错误概率不超过 $0.05$ 的前提下,认为两个变量有关。
- 当 $\chi^2<3.841$ 时,没有充分证据认为两个变量有关;但不能说明两个变量一定无关。
- 独立性检验的结果是统计推断,不是绝对结论。
- 独立性检验不能说明因果关系。
14.6 数学建模
14.6.1 数学建模的含义
数学建模是对实际问题进行抽象、简化,用数学语言描述问题,建立数学模型,求解模型,并用结果解释和检验实际问题的过程。
14.6.2 数学建模的步骤
- 提出问题:明确要解决的实际问题。
- 合理假设:对实际问题作简化假设。
- 建立模型:用数学符号、公式、图形描述问题。
- 求解模型:用数学方法求解。
- 检验结果:把结果与实际情况比较,检验模型是否合理。
- 改进模型:根据检验结果修正假设或模型。
- 应用成果:用模型解决实际问题或作出决策。
14.6.3 常见数学模型
- 函数模型:
- 一次函数模型:匀速增长或线性关系;
- 二次函数模型:面积、利润、抛物线轨迹;
- 指数函数模型:人口增长、复利、放射性衰变;
- 对数函数模型:增长速度逐渐变慢;
- 分段函数模型:不同区间有不同规律。
- 数列模型:等差数列、等比数列、递推数列。
- 概率统计模型:抽样调查、回归分析、独立性检验、决策。
- 几何模型:长度、面积、体积、路径。
- 优化模型:利润最大、成本最小、用料最省。
14.6.4 函数模型的增长差异
- 一次函数匀速增长。
- 指数函数 $y=a^x$($a>1$)增长越来越快,最终会超过一次函数、幂函数。
- 对数函数 $y=\log_ax$($a>1$)增长越来越慢。
- 幂函数 $y=x^n$($n>0$)的增长速度与 $n$ 有关。
- 选择模型时,要结合散点图的形状和实际背景。
14.6.5 建模报告的常见结构
- 摘要:简要说明问题、方法、结论。
- 问题重述:说明实际问题的背景和要求。
- 模型假设:列出简化假设及其依据。
- 符号说明:说明所用符号的含义。
- 模型建立:写出数学关系式。
- 模型求解:给出求解过程和结果。
- 模型检验:分析结果的合理性。
- 模型评价:说明模型的优点、缺点和改进方向。
14.7 统计综合
- 抽样方法的选择:总体较小用简单随机抽样,层间差异明显用分层抽样,总体较大用系统抽样。
- 统计图表:直方图看分布,折线图看趋势,条形图比数量,扇形图看比例。
- 数字特征:平均数、中位数、众数看集中趋势;方差、标准差看离散程度。
- 回归分析:先画散点图,再求回归方程,最后用 $R^2$ 和残差判断拟合效果。
- 独立性检验:列联表、卡方统计量、临界值、统计结论。
- 统计结论具有随机性,不能把样本结论绝对化。
练习
-
某校高一年级有 $600$ 人,高二年级有 $400$ 人,高三年级有 $300$ 人。用分层抽样从中抽取 $130$ 人,求各年级应抽取的人数。
-
从 $1000$ 人中用系统抽样抽取 $50$ 人,分段间隔是多少?若第一组抽到编号 $8$,求第 $5$ 个被抽到的编号。
-
某频率分布直方图中,某组的频率为 $0.2$,组距为 $10$。求该组的 $\frac{\text{频率}}{\text{组距}}$;若样本容量为 $100$,求该组的频数。
-
求数据 $2,3,3,5,7$ 的平均数、中位数和众数。
-
求数据 $1,2,3,4,5$ 的平均数、方差和标准差。
-
已知一组数据的平均数为 $10$,方差为 $4$。求数据 $2x-1$ 的平均数和方差。
-
已知变量 $x,y$ 的样本中心为 $(2,5)$,回归直线的斜率为 $1.5$。求回归直线方程,并预测 $x=4$ 时 $y$ 的值。
-
已知两个变量的样本相关系数 $r=0.9$。说明这两个变量的相关程度。
-
某独立性检验中,计算得到 $\chi^2=4.5$。在犯错误概率不超过 $0.05$ 的前提下,可以得出什么结论?
-
求数据 $1,2,3,4,5,6,7,8,9,10$ 的第 $75$ 百分位数。
-
某公司前几年的利润增长较快,后来增长逐渐变慢。从一次函数、指数函数、对数函数中选择一个较合适的模型,并说明理由。
-
设计一个测量学校教学楼高度的方案,说明所用的数学知识和主要步骤。
检测题
-
判断下面各题,并说明理由。 (1)简单随机抽样中,每个个体被抽到的概率相等。 (2)分层抽样中各层抽取的个体数必须相同。 (3)回归直线一定经过样本中心点 $(\bar{x},\bar{y})$。 (4)两个变量相关,就说明它们之间有因果关系。
-
某单位有老年人 $120$ 人、中年人 $80$ 人、青年人 $60$ 人。用分层抽样抽取 $26$ 人,求各层应抽取的人数。
-
某频率分布直方图中,某组的频率为 $0.3$,组距为 $5$。求该组的 $\frac{\text{频率}}{\text{组距}}$;若样本容量为 $200$,求该组的频数。
-
求数据 $3,4,4,6,8$ 的平均数、中位数、众数和方差。
-
已知一组数据的平均数为 $5$,方差为 $9$。求数据 $-2x+3$ 的平均数和方差。
-
已知变量 $x,y$ 的对应数据为:
| $x$ | $1$ | $2$ | $3$ | $4$ |
|---|---|---|---|---|
| $y$ | $2$ | $3$ | $5$ | $6$ |
求回归直线方程,并预测 $x=5$ 时 $y$ 的值。
-
某回归模型的决定系数 $R^2=0.95$。说明该模型的拟合效果。
-
下面是小明的解题过程,请判断是否正确,并说明理由。 已知回归方程为 $\hat{y}=2x+1$,当 $x=10$ 时,$\hat{y}=21$,所以 $x=10$ 时的实际值一定为 $21$。
-
写出满足下列条件的一个统计问题各一个。 (1)适合用分层抽样的问题。 (2)适合用系统抽样的问题。 (3)适合用独立性检验的问题。
-
某校随机调查了 $100$ 名学生,其中男生 $50$ 人、女生 $50$ 人。男生中喜欢数学的有 $30$ 人,女生中喜欢数学的有 $20$ 人。 (1)列出 $2\times2$ 列联表。 (2)计算 $\chi^2$。 (3)在犯错误概率不超过 $0.05$ 的前提下,能否认为性别与是否喜欢数学有关?
参考答案与提示
- 总人数 $600+400+300=1300$,抽样比为 $\frac{130}{1300}=\frac1{10}$。高一抽取 $60$ 人,高二抽取 $40$ 人,高三抽取 $30$ 人。
- 分段间隔为 $\frac{1000}{50}=20$;第 $5$ 个编号为 $8+4\times20=88$。
- $\frac{\text{频率}}{\text{组距}}=\frac{0.2}{10}=0.02$;频数为 $100\times0.2=20$。
- 平均数 $\frac{2+3+3+5+7}{5}=4$;中位数为 $3$;众数为 $3$。
- 平均数 $\frac{1+2+3+4+5}{5}=3$;方差 $\frac{(1-3)^2+(2-3)^2+(3-3)^2+(4-3)^2+(5-3)^2}{5}=\frac{4+1+0+1+4}{5}=2$;标准差 $\sqrt2$。
- 平均数 $2\times10-1=19$;方差 $2^2\times4=16$。
- 回归直线方程 $\hat{y}=1.5x+\hat{a}$,由 $\hat{a}=5-1.5\times2=2$,得 $\hat{y}=1.5x+2$。当 $x=4$ 时,$\hat{y}=1.5\times4+2=8$。
- $r=0.9$ 表示正相关程度较强,两个变量有较强的线性相关关系。
- 因为 $4.5>3.841$,所以在犯错误概率不超过 $0.05$ 的前提下,认为两个变量有关。
- $n=10$,$i=10\times75%=7.5$ 不是整数,取第 $8$ 项,所以第 $75$ 百分位数为 $8$。
- 选择对数函数模型较合适。因为利润增长逐渐变慢,而对数函数的增长速度越来越慢,符合这一变化趋势。
- 方案示例:在晴天,用测角仪测量教学楼顶部和底部的仰角、俯角,测量观测点到教学楼底部的水平距离,利用直角三角形的正切关系计算教学楼高度;也可以利用相似三角形,用一根已知长度的标杆和影长比例测量。主要步骤:测量数据、建立直角三角形或相似三角形模型、计算高度、检验结果。
检测题参考答案
- (1)正确,简单随机抽样是等概率抽样;(2)错误,分层抽样按各层在总体中的比例抽取,各层人数一般不相同;(3)正确,回归直线必过样本中心点;(4)错误,相关关系不等于因果关系。
- 总人数 $120+80+60=260$,抽样比为 $\frac{26}{260}=\frac1{10}$。老年人抽取 $12$ 人,中年人抽取 $8$ 人,青年人抽取 $6$ 人。
- $\frac{\text{频率}}{\text{组距}}=\frac{0.3}{5}=0.06$;频数为 $200\times0.3=60$。
- 平均数 $\frac{3+4+4+6+8}{5}=5$;中位数为 $4$;众数为 $4$;方差 $\frac{(3-5)^2+(4-5)^2+(4-5)^2+(6-5)^2+(8-5)^2}{5}=\frac{4+1+1+1+9}{5}=3.2$。
- 平均数 $-2\times5+3=-7$;方差 $(-2)^2\times9=36$。
- $\bar{x}=2.5$,$\bar{y}=4$。$\sum(x_i-\bar{x})(y_i-\bar{y})=(-1.5)(-2)+(-0.5)(-1)+(0.5)(1)+(1.5)(2)=7$,$\sum(x_i-\bar{x})^2=2.25+0.25+0.25+2.25=5$。所以 $\hat{b}=\frac75=1.4$,$\hat{a}=4-1.4\times2.5=0.5$,回归方程为 $\hat{y}=1.4x+0.5$。当 $x=5$ 时,$\hat{y}=1.4\times5+0.5=7.5$。
- $R^2=0.95$ 表示模型能解释约 $95%$ 的因变量变化,拟合效果较好。
- 不正确。回归方程给出的是预测值,不是实际值;$x=10$ 时的实际值可能不等于 $21$,还可能受到随机误差的影响。
- 示例:(1)按年级或性别分层调查学生的身高;(2)从编号连续的 $1000$ 名学生中每隔一定编号抽取一人;(3)调查性别与是否喜欢某项运动是否有关。
- (1)列联表:
| 喜欢数学 | 不喜欢数学 | 合计 | |
|---|---|---|---|
| 男生 | $30$ | $20$ | $50$ |
| 女生 | $20$ | $30$ | $50$ |
| 合计 | $50$ | $50$ | $100$ |
(2)$\chi^2=\frac{100\times(30\times30-20\times20)^2}{50\times50\times50\times50}=\frac{100\times(900-400)^2}{6250000}=\frac{100\times250000}{6250000}=4$。
(3)因为 $4>3.841$,所以在犯错误概率不超过 $0.05$ 的前提下,可以认为性别与是否喜欢数学有关。