概率论第七章-数理统计

数理统计是对随机现象统计规律归纳的研究，它与概率论在研究方法上有明显的差异。具体而言，我们在概率论中总是假设一个随机变量的分布已知，而在现实里，我们可能很难知道一个随机事件服从的分布，或者知道了对应的分布，但不确定其中参数的取值。在这些场景中，我们需要用到数理统计的知识和方法。也就是说，进入了从理论到实际应用的阶段

比如说服装厂为了确定各种尺码的生产比例，调查人们身长的分布，从成年男性中随机抽取100人，得到他们的身长数据

1、通过身长数据推断男性成人身长$X$的概率密度——有数据，不知道分布

2、若已知$X$服从正态分布$N(\mu ,{\sigma }^2)$，要估计参数$\mu ,\sigma$的值 ——有数据有分布，不知道参数——参数统计

• 数理统计的内容大致分为两类：
• 研究如何有效地收集随机数据
• 研究如何有效地分析已获得的随机数据

---

总体与样本

总体

• 研究对象的全体称为总体（通常具体指研究对象的某项数量指标），总体中每一个成员称为个体
• $e.g.$研究某市小学生的身高和体重，那么该市全体小学生的身高和体重就是总体，每个小学生的身高和体重就是个体
• 如果一个总体包含的个体有限，那么就称为有限总体；反之，称为无限总体
• 数理统计中，我们用随机变量$X$或分布函数$F(x)$描述一个总体（或者说，该总体的某种特征或数量指标；因为我们真正关心的并不是总体本身，而是其某一数字特征）

样本

• 为了对总体$X$进行研究，通常从总体中随机抽取一些个体，这些个体称为样本，这种随机抽得样本的过程称为随机抽样或简称为抽样。样本中个体的数量称为样本容量

• 假设对总体进行了$n$次观测，得到一组数据$(x_1,x_2,...,x_n)$，称为样本观测值或样本值，统计学的工作就是利用样本值来对总体分布中的未知成分进行推断。比如研究一个物体的长度时，进行了$n$次观测获得了一组容量为$n$的样本值，那么就要通过这$n$个值来对物体长度进行合理的估计

• 样本值具有二重性

  • 一次抽样获得的样本值$(x_1,x_2,...,x_n)$是一组完全确定的数值
  • 受各种随机因素的影响，不同抽样中获得的样本值可能会发生变化
  • 所以我们将样本看作一组随机变量$(X_1,X_2,...,X_n)$，具体某次观测时，获得其数值为$(x_1,x_2,...,x_n)$
  • 样本$(X_1,X_2,...X_n)$的所有可能取值的全体称为样本空间，记为$\Omega$，一个样本值就是其中的一个样本点

• 为了使样本能很好地反映总体的特征，对随机抽样提出如下两个要求：

  • 代表性：样本能够代表总体，也就是要样本的每个分量$X_i$和总体$X$具有相同分布
  • 独立性：样本的所有分量$X_i$相互独立
  • 满足上述两个要求的样本称为简单随机样本，也简称为样本

• 设总体的分布函数为$F(x)$，则

  • 样本$(X_1,X_2,...,X_n)$的分布函数为
  $$F(x_1,x_2,...,x_n)=\prod _{i=1}^{n}F(x_i)$$
  • 若总体是连续型随机变量，其概率密度函数为$p(x)$，则样本$(X_1,X_2,...,X_n)$的密度函数为
  $$p(x_1,x_2,...,x_n)=\prod _{i=1}^{n}p(x_i)$$

统计量与抽样分布

在获得样本之后，就要对总体的未知成分进行推断，这需要对样本进行加工整理，从中提取有用信息。而统计量是对样本中信息的提取和抽象，从数学角度来说，统计量是样本的函数。

统计量

• 定义：若样本的函数$f(X_1,X_2,...X_n)$不含任何未知参数，则称其为一个统计量，称$f(x_1,x_2,...,x_n)$为统计量的一个观测值
• 统计量中不含任何未知量，也就是说一旦有了样本，就可以计算出统计量。
• 有定义可知，统计量是一个随机变量，完全由样本确定

常用统计量

设$({\xi }_1,{\xi }_2,...{\xi }_n)$为总体$X$中抽取的一个样本

• 样本均值 $\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{\xi }_i$ .

• 样本方差 $S^2=\frac{1}{n}{\sum }_{i=1}^n({\xi }_i-\bar{X}{)}^2=\frac{1}{n}({\sum }_{i=1}^n{\xi }_i^2-n{\bar{X}}^2)$

• 修正样本方差： $S^{\ast 2}=\frac{1}{n-1}{\sum }_{i=1}^n({\xi }_i-\overline{\xi }{)}^2$

• 样本极差： $\max ({\xi }_i)-min({\xi }_i)$

• 样本标准差 $S=\sqrt{S^2}=\sqrt{\frac{1}{n}{\sum }_{i=1}^n({\xi }_i-\bar{X}{)}^2}$

• 样本$k$阶原点矩$A_k=\frac{1}{n}{\sum }_{i=1}^n{\xi }_i^k$

• 样本 $k$ 阶中心矩 $B_k=\frac{1}{n}{\sum }_{i=1}^n({\xi }_i-\bar{X}{)}^k$

• 经验分布函数 : 用$S(x)$表示样本${\xi }_1,...,{\xi }_n$中不大于$x$的随机变量个数，定义经验分布函数为$F_n(x)=\frac{1}{n}S(x)$

• 上面提到，样本具有二重性，则统计量作为样本的函数 同样具有二重性。

  • 具体观察时，统计量是具体的观测值
  • 脱离具体观测时，统计量可以被看作随机变量

• 统计量的分布称为抽样分布。通常确定一个统计量的精确分布非常困难，只有在正态总体的情况下有比较好的结论

正态总体

首先将介绍数理统计学中的三大分布： ${\chi }^2分布、t分布和F分布$ ，以及对正态分布进行补充。

${\chi }^2$ 分布

• 设随机变量 $X_1,X_2,...X_n$ 独立同分布且每个 $X_i～N(0,1)$ ，则称随机变量 ${\chi }^2={\sum }_{i=1}^n{X}_i^2$ 服从自由度为$n$的${\chi }^2$分布，记为${\chi }^2～{\chi }^2(n)$.

这里的自由度是指和式中独立随机变量的个数，可以证明${\chi }^2(n)$的分布密度为

$$p(x)=\{\begin{array}{ll}\frac{1}{2^{\frac{n}{2}}\tau (\frac{n}{2})}{x}^{\frac{n}{2}-1}{e}^{-\frac{x}{2}},& x>0,\\ 0,& x\le 0,\end{array}$$

上侧分位数

上侧分位数

分位点

上$\alpha$分位点的定义：随机变量$X$，对给定的数$\alpha$，满足$P(X>{\lambda }_{\alpha })=\alpha$的实数${\lambda }_{\alpha }$为$X$的上$\alpha$分位点$({\lambda }_{\alpha }>0)$

而当$X\sim {\chi }^2(n)$时，${\lambda }_{\alpha }$记为${\chi }_{\alpha }^2(n)$，也就是上图中阴影部分的横坐标左边界

$P(X>{\lambda }_{\alpha })=\alpha$也就是上图中阴影部分面积为$\alpha$

性质

• 分布可加性 若$X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$，且$X,Y$独立，则$X+Y\sim {\chi }^2(n_1+n_2)$
• 期望与方差 若$X\sim {\chi }^2(n)$，则$E(X)=n,D(X)=2n$
• 大样本分位数当 $n$ 足够大 ( $n>45$ ) 时，有 ${\chi }_{\alpha }^2(n)\approx n+u_{\alpha }\sqrt{2n}$ ,其中 $\varphi (u_{\alpha })=1-\alpha$

$t$ 分布

• 构造$X～N(0,1),Y～{\chi }^2(n))$，且$X$与$Y$相互独立，则称随机变量

$$T=\frac{X}{\sqrt{Y/n}}$$

服从自由度为$n$的$t$分布，记为$T～t(n)$.

• $t(n)$概率密度为

$$p(x)=\frac{\tau (\frac{n+1}{2})}{\sqrt{n\pi }\tau (\frac{n}{2})}(1+\frac{x^2}{n}{)}^{-\frac{n+1}{2}}$$

• 基本性质

  • $p(x)$关于纵轴对称
  • $p(x)$的极限为$N(0,1)$的密度函数，即 ${\lim }_{n\to \infty }p(x)=\varphi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}},-\infty <x<+\infty$
  • $t$分布的上$\alpha$分位点记为$t_{\alpha }(n)$
  
  
  上侧分位数与上侧分位表

可以发现，$t_{1-\alpha }(n)=-t_{\alpha }(n)$

$F$ 分布

• 构造 $X\sim {\chi }^2(n_1),Y\sim {\chi }^2(n_2)$ ，且 $X、Y$ 相互独立，则称随机变量

$$F=\frac{X/n_1}{Y/n_2}$$

服从自由度为$(n_1,n_2)$的$F$分布，记为$F～F(n_1,n_2)$，其中$n_1$称为第一自由度，$n_2$称为第二自由度。

• 概率密度

$$p(x)=\{\begin{array}{ll}\frac{\tau (\frac{n_1+n_2}{2})}{\tau (\frac{n_1}{2})\tau (\frac{n_2}{2})}(\frac{n_1}{n_2}{)}^{\frac{n_1}{2}}{x}^{\frac{n_1}{2}-1}(1+\frac{n_1}{n_2}x{)}^{-\frac{n_1+n_2}{2}},& x>0\\ 0,& x⩽0\end{array}$$

• 分位点

• $F$分布的上$\alpha$分位点记为$F_{\alpha }(n_1,n_2)$

F 分布的图像以及上侧分位数

• 性质：$F_{1-\alpha }(n_1,n_2)=\frac{1}{F_{\alpha }(n_2,n_1)}$ 证明： 若$F\sim F(n_1,n_2)$则$\frac{1}{F}\sim F(n_2,n_1)$ 那么$P(F>F_{1-\alpha }(n_1,n_2))=1-\alpha ,P(\frac{1}{F}>F_{\alpha }(n_2,n_1))=\alpha$ 有$P(\frac{1}{F}<\frac{1}{F_{1-\alpha }(n_1,n_2)})=1-\alpha$ 故$P(\frac{1}{F}>\frac{1}{F_{1-\alpha }(n_1,n_2)})=\alpha$

正态分布总体的抽样定理

$$\begin{array}{c}f\left(x\right)=\frac{1}{\sqrt{2\pi }}{e}^{\frac{-x^2}{2}},x\in R\\ \text{上侧分位数}{u}_{\alpha }(0<\alpha <1)\text{满足}\\ P\{\xi >u_{\alpha }\}={\int }_{u_{\alpha }}^{+\infty }f(x)dx=\alpha \end{array}$$

对于标准正态分布有： $\varphi (u_{\alpha })=1-\alpha$

样本均值和样本方差的分布

如果总体服从正态分布 $N(\mu ,{\sigma }^2)$ ，那么 $n$ 个样本 ${\xi }_1,{\xi }_2,\cdots ,{\xi }_n$ 的样本均值 $\bar{\xi }$ 和样本方差 $S^2$ 服从以下条件：

1. 独立性： $\bar{\xi }$ 和 $S^2$ 相互独立
2. 标准化样本分布： $\frac{\bar{\xi }-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$
3. 样本方差服从： $\frac{n{S}^2}{{\sigma }^2}\sim {\chi }^2(n-1)$
4. 样本方差和样本均值服从：

$\frac{\bar{\xi }-\mu }{S/\sqrt{n-1}}\sim t(n-1)$

样本均值之差和样本方差之比的分布

如果另一个独立的正态总体 $\eta \sim N({\mu }_2,{\sigma }_2^2)$ 的样本均值和样本方差为： $\bar{\eta },S_2^2$ 那么有：

1. 标准化修正样本方差之比： $F=\frac{S_1^{\ast 2}/{\sigma }_1^2}{S_2^{\ast 2}/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$
2. 两者正态总体的方差相同 ${\sigma }_1^2={\sigma }_2^2$ 时： $\begin{array}{rl}T=& \frac{(\bar{\xi }-\bar{\eta })-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)\\ & S_w=\sqrt{\frac{n_1{S}_1^2+n_2{S}_2^2}{n_1+n_2-2}}\end{array}$