概率论第六章-极限定理

随机变量序列的收敛性

极限理论

1. 为什么大量随机变量服从正态分布
2. 频率的稳定性如何取刻画？
3. 如何用计算机模拟研究对象，如何判定该模拟正确性？

考虑一个抛硬币所生成的随机变量序列：

${\xi }_n$为第 $n$次正面出现的次数 则 ${\xi }_n\sim B(1,\frac{1}{2})$, $\{{\xi }_n\}$ 独立同分布的随机变量序列

数列极限 $\to$函数极限

数列：一列数

随机变量序列：一列随机变量

如何定义随机变量序列的收敛性呢？

利用分布函数的收敛性定义随机变量序列的收敛性，因为一个随机变量由一个分布函数唯一确定，因此随机变量的收敛可以近似看成分布函数的收敛性？

问题在于要求这个分布函数服从什么样的收敛性？

1. 逐点收敛
2. 一致收敛
3. 几乎处处收敛
4. 几乎一致收敛
5. 依测度收敛
6. 按积分收敛

逐点收敛的问题

逐点收敛的问题

考察一个随机变量序列 $\{{\xi }_n\}$

$$P({\xi }_n=\frac{1}{n})=1$$

考察其分布函数，发现其不是逐点收敛的，在 $0$处不收敛

分布函数的弱收敛（依分布收敛）

分布函数的弱收敛

对于分布函数列 $\{F_n(x)\}$ ,若存在一个非降函数 $F(x)$ ,使得 ${\lim }_{n\to \infty }{F}_n(x)=F(x)$ 在 $F(x)$ 的每一连续点上都成立，称其为弱收敛，记为 $F_n(x)\stackrel{W}{⟶}F(x).$

注： 弱收敛的函数不一定是分布函数

连续性定理

连续性定理由正极限定理和逆极限定理组成。

正极限定理

正极限定理

分布函数列弱收敛 $\Rightarrow$ 特征函数在 $\mathbb{R}$ 上内闭一致收敛。即 $F_n(x)\stackrel{W}{⟶}F(x)\to \{{\phi }_n(t)\}\to \phi (t)$ 一致成立

逆极限定理

逆极限定理

特征函数列收敛于 $\phi (t)$ 且 $\phi (t)$ 在零处连续 $\Rightarrow$ 分布函数列 $\{F_n(x)\}$ 弱收敛于某一分布函数 $F(x)$ ，且 $\phi (t)$ 是 $F(x)$ 的特征函数。即： $\{{\phi }_n(t)\}⟶\phi (t)\underset{\text{在t=0处连续}}{⟹}{F}_n(x)\to F(x)$

例题： $n$ 个泊松分布的和

多个独立同分布的泊松分布的和

随机变量序列的收敛

依分布收敛

若一列随机变量序列的分布函数列弱收敛到某一随机变量的分布函数，则称该随机变量序列依分布收敛于该随机变量。记为 ${\xi }_n\stackrel{W}{⟶}\xi ,asn\to \infty$

例题：一个两点分布的随机变量序列

一个两点分布的随机变量序列

$P({\xi }_n=0)=1-\frac{1}{n},P({\xi }_n=n)=\frac{1}{n}$则取随机变量 $\xi$, $P(\xi =0)=1$, 则有随机变量序列 ${\xi }_n$依分布收敛到 $\xi$

依概率收敛

依概率收敛

考察点列收敛的定义，我们有对于任意的 $\epsilon >0$ ,都有存在 $N>0$ ,使得对于任意的 $n>N$ ,都有 $|a_n-a|<\epsilon$ 即在无穷远处，点列集中地分布在极限点 $a$ 附近，即

1. $|a_n-a|<\epsilon$ 一定成立
2. $|a_n-a|\ge \epsilon$ 一定不成立

从而我们可以类似地去定义随机变量序列的收敛 $P(|{\xi }_n-\xi |<\epsilon )=1$ 对于给定的 $n$ 不一定是成立的，但是我们有 ${\lim }_{n\to \infty }P(|{\xi }_n-\xi |<ϵ)=1$ 若对于任意的 $\epsilon >0$ ,都有 ${\lim }_{n\to \infty }P(|{\xi }_n-\xi |\ge \epsilon )=0$ 或者 ${\lim }_{n\to \infty }P(|{\xi }_n-\xi |<\epsilon )=1$ 可以保证其偏差比较大的概率很小，其偏差比较小的概率很大，我们称随机变量序列 $\{{\xi }_n\}$ 依概率收敛于 $\xi$ ,记为： ${\lim }_{n\to \infty }{\xi }_n=\xi (P)\text{或}{\xi }_n\stackrel{P}{⟶}\xi$

几乎处处收敛(以概率1收敛)

以概率 1 收敛

如果存在一个随机变量 $\xi$ ，使得对于随机变量序列 $\{{\xi }_n\}$ 有： $P({\lim }_{n\to \infty }{\xi }_n=\xi )=1$, $P\{\omega :{\lim }_{n\to \infty }{\xi }_n(\omega )=\xi (\omega )\}=1$ 那么我们称随机变量序列 $\{{\xi }_n\}$ 以概率 1 收敛于 $\xi$ ，记为：

$$\underset{n\to \infty }{\lim }{\xi }_n=\xi (a.s)\text{或}{\xi }_n\stackrel{a.s.}{⟶}\xi$$

三种收敛性的关系

三种收敛性强弱的关系于大数定律

以概率1收敛 $⋙$ 依概率收敛 $⋙$ 依分布收敛， 强大数定律 $\hookleftarrow$ 弱大数定律 $\hookleftarrow$ 中心极限定理， 逆均不为真 随机变量序列收敛到常数的情况下，依分布收敛与依概率收敛等价

其他收敛性

按积分收敛

大数定律

弱大数定律（基于依概率收敛定义）

弱大数定律

如果一个随机变量序列 $\{{\xi }_k\}$ 的数学期望 $\{E({\xi }_k)\}$ 存在，若 $\forall \epsilon >0,s.t.$ :

$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum _{k=1}^n{\xi }_k-E(\frac{1}{n}\sum _{k=1}^n{\xi }_k)|<\epsilon \}=1$$

称随机变量序列 $\{{\xi }_k\}$ 服从大数定律。

• 含义： $\{{\xi }_k\}$ 前 $n$ 项的算术平均紧密地聚集在其数学期望附近。

针对不同的分布和条件，有如下的大数定律：

$$\left[\begin{array}{ccc}切比雪夫不等式& ⟶& 马尔科夫大数定律\\ \downarrow & \swarrow & \\ 切比雪夫大数定律& & 辛钦大数定律\\ \downarrow & \searrow & \downarrow \\ 泊松大数定律& & 独立同分布大数定律\\ \downarrow & \swarrow & \\ 伯努利大数定律& ⟶& 小概率事件原理\end{array}\right]$$

• 伯努利大数定律：重复独立实验中的两点分布的大数定律
• 独立同分布大数定律：伯努利大数定律的推广，不要求两点分布，只需要独立同分布，且数学期望和方差存在即可。
• 辛钦大数定律：独立同分布大数定律的推广，只需要数学期望存在即可。
• 切比雪夫大数定律：独立同分布大数定律的推广，不要求同分布，只要求每个独立分布的期望和方差存在。
• 马尔科夫大数定律： 切比雪夫大数定律的推广。以上大数定律都要求随机变量序列的独立性，而马尔科夫大数定律只需要： $\frac{1}{n^2}D\left({\sum }_{k=1}^n{\xi }_k\right)\to 0$ 即可有大数定律成立。

弱大数定律主要依据于依概率收敛定义，所需要的证明工具一般为切比雪夫不等式：

切比雪夫不等式

切比雪夫不等式

若随机变量 $\xi$ 的方差存在，则 $\forall \epsilon >0$ 有

$$P\{|\xi -E(\xi )|\ge \epsilon \}\le \frac{D(\xi )}{{\epsilon }^2}$$

伯努利大数定律

伯努利大数定律

设进行 $n$ 次独立重复试验，每次试验中事件 $A$ 发生的概率为 $p$ ，记 $f_n$ 为 $n$ 次试验中事件 $A$ 发生的频率，则 $f_n\stackrel{P}{⟶}P,即{\lim }_{n\to \infty }P\{|f_n(A)-P(A)|<ϵ\}=1$ 这表明当试验次数很大时，事件发生的频率将紧密地聚集在其概率附近。

• 证明: 设 ${\xi }_i=\{\begin{array}{ll}1,& 第i次试验中事件A发生\\ 0,& 第i次试验中事件A不发生\end{array}$ 则 $E({\xi }_i)=p,D({\xi }_i)=p(1-p)$ ，那么就转化成了切比雪夫大数定律，有 $f_n=\frac{1}{n}{\sum }_{k=1}^n{\xi }_k\stackrel{P}{⟶}P$

依概率收敛

独立同分布大数定律

独立同分布大数定律

若 $\{{\xi }_i,i=1,2,...\}$ 为独立同分布随机变量序列，且 $E({\xi }_i)=\mu <\infty ,D({\xi }_i)={\sigma }^2$ ，则

$\frac{1}{n}{\sum }_{i=1}^n{\xi }_i\stackrel{P}{⟶}\mu (n\to \infty )$

• 独立同分布大数定律给出了频率稳定性的严格数学定义，即大量独立随机观测的平均值依概率收敛于分布的期望值。

伯努利大数定律是独立同分布大数定律的特例

辛钦大数定律

辛钦大数定律是独立同分布大数定律的推广，这里不同于独立同分布大数定律需要数学期望和方差都存在，辛钦大数定律只需要数学期望存在即可。

辛钦大数定律

若 $\{{\xi }_k,k=1,2,...\}$ 为独立同分布随机变量序列，且 $E({\xi }_k)=\mu <\infty ,k=1,2,...$ ，则 $\{{\xi }_k\}$ 服从大数定律：

$Y_n=\frac{1}{n}{\sum }_{k=1}^n{\xi }_k\stackrel{P}{⟶}\mu (n\to \infty )$

切比雪夫大数定律

切比雪夫大数定律

设 $\{{\xi }_k,k=1,2,...\}$ 为独立的随机变量序列，且 $E({\xi }_k)={\mu }_k,D({\xi }_k)={\sigma }_k^2⩽C<\infty$ 则

$Y_n=\frac{1}{n}{\sum }_{k=1}^n{\xi }_k-\frac{1}{n}{\sum }_{k=1}^n{\mu }_k\stackrel{P}{⟶}0$ 含义：多个独立，期望存在，方差一致有界的随机变量的算术平均会紧密地聚集在其期望附近。

• 证明：由切比雪夫不等式 $P(|Y_n-E(Y_n)|⩾\epsilon )⩽\frac{D(Y_n)}{{\epsilon }^2}$ 即 $P(|Y_n-E(Y_n)|<\epsilon )⩾1-\frac{D(Y_n)}{{\epsilon }^2}$ 这里

$$\begin{array}{r}E(Y_n)=\frac{1}{n}\sum _{k=1}^{n}E({\xi }_k)=\frac{1}{n}\sum _{k=1}^n{\mu }_k\\ D(Y_n)=\frac{1}{n^2}\sum _{k=1}^{n}D({\xi }_k)=\frac{{\sum }_{k=1}^n{\sigma }_k^2}{n^2}\end{array}$$

代回上式： $$\begin{gathered} P(|Y_n-\mu |<\epsilon )⩾1-\frac{C}{n^2{\epsilon }^2},所以 \\ {\lim }_{n\to +\infty }P(|Y_n-\mu |<\epsilon )=1 \end{gathered}$$

马尔科夫大数定律

以上大数定律均要求随机变量序列的独立性，此条件不是大数定律必须的。

马尔科夫大数定律

对于随机变量序列 $\{{\xi }_k\}$ ，如果 $\frac{1}{n^2}D\left({\sum }_{k=1}^n{\xi }_k\right)\to 0$ 那么 $\{{\xi }_k\}$ 服从大数定律。

强大数定律 (基于以概率 1 收敛定义)

强大数定律是基于几乎处处收敛性的定律

强大数定律

如果随机变量序列 $\{{\xi }_k\}$ 的数学期望都存在，若 $\frac{1}{n}{\sum }_{k=1}^n{\xi }_k-E[\frac{1}{n}{\sum }_{k=1}^n{\xi }_k]\stackrel{a.s.}{⟶}0$ 那么称 $\{{\xi }_k\}$ 服从强大数定律

弗雷尔大数定律

弗雷尔大数定律

独立同分布（两点分布）的随机变量序列 $\{{\xi }_k\}$ 服从强大数定律。

柯尔莫哥洛夫判别法

该判别法是对于马尔科夫大数定律的推广。

柯尔莫哥洛夫判别法

若相互独立的随机变量序列 $\{{\xi }_k\}$ 有： $\sum _{k=1}^{\infty }\frac{D({\xi }_k)}{k^2}<\infty$ 则 $\{{\xi }_k\}$ 服从强大数定律。

柯尔莫哥洛夫定理

该定理是在判别法的基础上结合了辛钦大数定律中抛弃对方差的要求。

柯尔莫哥洛夫定理

若相互独立的随机变量序列 $\{{\xi }_k\}$ 的数学期望 $E(|{\xi }_k|)<\infty$ ，那么 $\{{\xi }_k\}$ 服从强大数定律。

中心极限定理

依分布收敛的意思是，当 $n$ 很大的时候， ${\xi }_n$ 的分布函数 $F_n(x)$ 收敛于 $F(x)$ ，也就是分布函数的收敛性，这是一种比较弱的收敛性，只能保证分布一致，无法保证概率密度对应一致。也就是二者之间可能不存在联系。（比如说抛硬币和袋子里一个白球一个黑球来摸，两者的分布相同，但是八竿子打不着的关系）

现令 $Y_n={\sum }_{k=1}^n{\xi }_k$ ，若 $Y_n$ 的标准化随机变量 $\text{ce}{Y}_n^{\ast }->[w]\xi \sim N(0,1)$ ，则称 $\{{\xi }_n\}$ 满足中心极限定理

$$Y_n^{\ast }=\frac{Y_n-E(Y_n)}{\sqrt{D(Y_n)}}=\begin{array}{c}\frac{\sum _{k=1}^n{\xi }_k-E(\sum _{k=1}^n{\xi }_k)}{\sqrt{D(\sum _{k=1}^n{\xi }_k)}}\end{array}$$

下面是几个常用的中心极限定理

独立同分布中心极限定理（林德伯格一列维定理）

独立同分布中心极限定理

设 $\{{\xi }_n\}$ 为独立同分布随机变量序列，若 $E({\xi }_k)=\mu <\infty ,D({\xi }_k)={\sigma }^2>0,k=1,2,...$ ，则 $\{{\xi }_n\}$ 满足中心极限定理

根据上述定理，当$n$充分大时

$$\underset{n\to \infty }{\lim }P\{\frac{\sum _{i=1}^n{\xi }_i-n\mu }{\sqrt{n}\sigma }\le x\}=\Phi (x)$$

其中 $\Phi (x)$ 是标准正态分布的分布函数

$$\Phi (x)=P(X⩽x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$$

或者： ${\sum }_{k=1}^n{\xi }_k\sim N\left({\sum }_{k=1}^{n}E({\xi }_k),{\sum }_{k=1}^{n}D({\xi }_k)\right)$

棣莫佛一拉普拉斯定理

棣莫佛一拉普拉斯定理

设相互独立，具有相同两点分布的随机变量序列 $\{{\xi }_n\}\sim B(n,p)$ ，则

$\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\text{ce}->[w]\xi \sim N(0,1)$

即：n 很大的二项分布可近似看成正态分布。 一般要求 $np⩾5,np(1-p)⩾5$

林德伯格定理

林德伯格定理

设独立随机变量序列 $\{{\xi }_k\}$ 满足林德伯格条件：对任意的 $\epsilon >0$ .有: $\underset{n\to \infty }{\lim }\frac{1}{B_n^2}\sum _{k=1}^n{\int }_{(|x-a_k|>\epsilon B_n)}(x-{\mu }_k{)}^{2}d{F}_k(x)=\text{0}$ 其中 $F_k(x)$ 是 ${\xi }_k$ 的分布函数， ${\mu }_k=E({\xi }_k),{\sigma }^2=D({\xi }_k),B_n^2=\sum _{k=1}^n{\sigma }_k^2$ , 那么 $\{{\xi }_k\}$ 服从中心极限定理。

推论：李雅普洛夫定理

设独立随机变量序列 $\{{\xi }_k\}$ ，若存在 $\delta >0$ ，使得： $\underset{n\to \infty }{\lim }\frac{1}{{\mathbf{B}}_n^{2+\delta }}\sum _{k=1}^n\mathbf{E}{\left|{\xi }_k-{\mu }_k\right|}^{2+\delta }=0$ 那么 $\{{\xi }_k\}$ 服从中心极限定理。

中心极限定理的应用

概率估计

将一枚均匀硬币连续抛 $n$ 次, 试用中心极定理来估计 $n$ , 使下式成立. $P\left\{\left|f_{\mathbf{n}}(A)-P(A)\right|<0.01\right\}\ge 0.99$ 其中 $A=\{$ 出现正面 $\}$ $P(A)=1/2$ , 令

$$X_i=\{\begin{array}{cc}1,& \text{ 第 }i\text{ 次出现正面; }\\ 0,& \text{ 否则, }\end{array}(i=1,2,\cdots n)$$

则随机变量序列 $\left\{X_i\right\},i=1,2,\dots$ 是相互独立且同分布的. 而且有 $E\left(X_i\right)=\frac{1}{2},D\left(X_i\right)=\frac{1}{4},i=1,2,\cdots$ 所以随机变量序列 $\left\{X_i\right\}$ , 满足独立同分布中心极限定理. 有 $f_n(A)=\frac{1}{n}{\sum }_{i=1}^n{X}_i$,由题意可得 $\begin{array}{rl}0.99& \le P\left\{\left|f_n(A)-P(A)\right|<0.01\right\}\\ & =P\left\{\frac{1}{2}-0.01<\frac{1}{n}\sum _{i=1}^n{X}_i<\frac{1}{2}+0.01\right\}\\ & =P\left\{\frac{n}{2}-0.01n<\sum _{i=1}^n{X}_i<\frac{n}{2}+0.01n\right\}\\ & =P\left\{-\frac{0.01n}{1/2\sqrt{n}}<\frac{\sum _{i=1}^n{X}_i-\frac{n}{2}}{1/2\sqrt{n}}<\frac{0.01n}{1/2\sqrt{n}}\right\}\end{array}$ 因为 $\frac{{\sum }_{i=1}^n{X}_i-\frac{n}{2}}{1/2\sqrt{n}}$ 近似服从 $N(0,1)$ 分布, 所以 $\begin{array}{rl}& 0.99\le P\left\{-\frac{0.01n}{1/2\sqrt{n}}<\frac{{\sum }_{i=1}^n{X}_i-\frac{n}{2}}{1/2\sqrt{n}}<\frac{0.01n}{1/2\sqrt{n}}\right\}\\ & \approx 2\Phi (0.02\sqrt{n})-1\\ & \Rightarrow \Phi (0.02\sqrt{n})\ge 0.995\Rightarrow 0.02\sqrt{n}\ge 2.58\end{array}$ 解得 $n\ge 16641$ (次) (对比切比雪夫不等式所得结果 $250000$ 次? )

售报亭

售报亭

抽查产品

产品抽查