概率论第四章-随机变量的数字特征

4.1 数学期望、方差、矩

数学期望

常见的数学期望类型： - 离散型：设其分布律为： $P\{\xi =x_i\}=p_i$, 那么:$E(\xi )=\sum _{i=1}^{+\infty }{x}_i{p}_i$ 称为 $\xi$ 的数学期望或者均值。它是所有可能取值对取值概率的加权平均值 - 连续型：已知概率密度为 $f(x)$， 若 ${\int }_{-\infty }^{+\infty }|x|f(x)\mathrm{d}x<+\infty$, 称 :$E(\xi )={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x$ 为 $\xi$ 的数学期望 - 一般随机变量的数学期望：随机变量 $\xi$ 的分布函数为 $F(x)$, 若 ${\int }_{-\infty }^{+\infty }|x|dF(x)<+\infty$, 则 $E(\xi )={\int }_{-\infty }^{+\infty }x\mathrm{d}F(x)$

一维随机变量的数学期望

$\xi \sim P(\lambda )$, 则 $\mathbf{E}(\xi )=\lambda$ ； $\xi \sim B(n,p)$, 则 $E(\xi )=np$; $\xi \sim U(a,b)$, 则 $E(\xi )=(b+a)/2$ $\xi \sim N\left(\mu ,{\sigma }^2\right)$, 则 $E(\xi )=\mu$; 指数分布： $E(\xi )={\lambda }^{-1}$ $\xi \sim \Gamma (\alpha ,\beta )$, $E(\xi )=\frac{\alpha }{\beta }$ 对数正态分布： $E(\xi )=10^{\mu +\frac{{\omega }^2}{2}\cdot \ln 10}$

• 卡方分布：$E(X)=n$.
• $t$分布：$E(X)=0(n>1)$.
• $F$分布：$E(X)=n/(n-2)(n>2)$.

一维随机变量函数的数学期望

设 $F_{\xi }(x)$ 是随机变量 $\xi$ 的分布函数, $g(x)$ 在 $R$ 上连续, 若

$${\int }_{-\infty }^{+\infty }g(x)\mid d{F}_{\xi }(x)<\infty$$

则 $\eta =g(\xi )$ 的数学期望存在, 且

$$E(\eta )=E[g(\xi )]={\int }_{-\infty }^{+\infty }g(x)d{F}_{\xi }(x)$$

若 $\xi$ 是连续型随机变量, 则

$$E(g(\xi ))={\int }_{-\infty }^{+\infty }g(x)F^{\prime }(x)dx={\int }_{-\infty }^{+\infty }g(x)f(x)dx$$

若 $\xi$ 是离散型随机变量, 则

$$E(g(\xi ))=\sum _{i=1}^{\infty }g\left(x_i\right)P\left\{\xi =x_i\right\}$$

$E[a\xi +b]=aE(\xi )+b,E(b)=b$

期望的性质

• 性质：
• 若干个随机变量之和的期望等于各变量的期望值和，即 $E(X_1+X_2+...+X_n)=E(X_1)+E(X_2)+...+E(X_n).$
• 若干个独立随机变量之积的期望等于各变量的期望之积，即

$$E(X_1{X}_2...X_n)=E(X_1)E(X_2)...E(X_n).$$

• 设随机变量 $X$ 为离散型，有分布 $P(X=a_i)=p_i(i=1,2,...)$ ；或者为连续型，有概率密度函数 $f(x)$ .则

$$\begin{gathered} E(g(x))=\sum _{i}g(a_i)p_i(当\sum _i|g(a_i)|p_i<\infty 时) \\ 或 \\ E(g(x))={\int }_{-\infty }^{\infty }g(x)f(x)dx(当{\int }_{-\infty }^{\infty }|g(x)|f(x)dx<\infty 时) \end{gathered}$$

• 若 $c$ 为常数，则 $E(cX)=cE(X)$ .

多维随机变量的数学期望

• 离散型：

$$\begin{array}{rl}E(\xi )& =\sum _{i=1}^{+\infty }{x}_{i}P\{\xi =x_i\}\\ & =\sum _{i=1}^{+\infty }{x}_i\sum _{j=1}^{+\infty }P\{\xi =x_i,\eta =y_j\}=\sum _{i=1}^{+\infty }\sum _{j=1}^{+\infty }{x}_i{p}_j\end{array}$$

• 连续型:

$$\begin{array}{rl}E(\xi )& ={\int }_{-\infty }^{+\infty }x{f}_{\xi }(x)dx\\ & ={\int }_{-\infty }^{+\infty }x{\int }_{-\infty }^{+\infty }f(x,y)dydx={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)dxdy\end{array}$$

• 一般型：

$$\begin{array}{rl}E(\xi )& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xdF(x,y)\\ dF(x,y)& =F(x,y)-F(x-\Delta x,y)F(x,y-\Delta y)+F(x-\Delta x,y-\Delta y)\\ & =P\{x-\Delta x<\xi \le x,y-\Delta y<\eta \le y\}\end{array}$$

• 多维随机变量函数：

$$E(g(\xi ,\eta ))={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)dF(x,y)$$

• 柯西-施瓦兹不等式

$$\{E[\xi \eta ]{\}}^2\le E[{\xi }^2]\cdot E[{\eta }^2]$$

多维随机变量数学期望的性质

设 n 维随机变量 $\left({\xi }_1,{\xi }_2,\dots ,{\xi }_n\right)$ 的数学期望 $E\left({\xi }_i\right)$ 都存在, 则

1. 线性性质：对任意常数 $c_i(i=1,2,\dots ,n)$ 有

$$E\left(\sum _{i=1}^n{c}_i{\xi }_i\right)=\sum _{i=1}^n{c}_{i}E\left({\xi }_i\right)$$

2. 若 ${\xi }_1,{\xi }_2,\dots ,{\xi }_n$ 相互独立, 则

$$E\left(\prod _{i=1}^n{\xi }_i\right)=\prod _{i=1}^{n}E\left({\xi }_i\right)$$

3. 设 n 维随机变量 $\left({\xi }_1,{\xi }_2,\dots ,{\xi }_n\right)$ 的方差 $D\left({\xi }_i\right)$ 都存在, 则

$$D\left(\sum _{i=1}^n{\xi }_i\right)=\sum _{i=1}^{n}D\left({\xi }_i\right)+2\sum _{i,j=1}^{n}E\left\{\left[{\xi }_i-E\left({\xi }_i\right)\right]\left[{\xi }_j-E\left({\xi }_j\right)\right]\right\}$$

方差

方差刻画了随机变量取值偏离数学期望的程度。

• 方差：随机变量 $\xi$ 的分布函数为 $F(x)$, 称：$D(\xi )=E[\xi -E(\xi {)}^2]={\int }_{-\infty }^{+\infty }[x-E(\xi ){]}^2\mathrm{d}F(x)$ 为 $\xi$ 的方差，而 $\sigma (\xi )=\sqrt{D(\xi )}$ 为 $\xi$ 的标准差或均方差。

• 离散型的方差： 离散型随机变量的分布律为 $P\{\xi =x_i\}=p_i$, 那么方差有：$D(\xi )=\sum _{i=1}^{+\infty }[x_i-E(\xi ){]}^2{p}_i$

• 连续型的方差： 对应概率密度为 $f(X)$, 那么有 $D(\xi )={\int }_{-\infty }^{+\infty }[x-E(\xi ){]}^2{f}_{\xi }(x)\mathrm{d}x$ 方差的性质

1. ： 如果 $E({\xi }^2)$ 存在，那么有： $D(\xi )=E({\xi }^2)-[E(\xi ){]}^2$
2. $D(a\xi +b)=a^{2}D(\xi ),D(b)=0$
3. 独立随机变量和的方差等于各变量方差和，即 $Var(X_1+...+X_n)=Var(X_1)+...+Var(X_n)$ .

一些分布的期望和方差

1. $\xi \sim P(\lambda )$, 则 $E(\xi )=\lambda ,D(\xi )=\lambda$;
2. $\xi \sim B(n,p)$, 则 $E(\xi )=np;D(\xi )=np(1-p)$
3. $\xi \sim N\left(\mu ,{\sigma }^2\right)$ , 则 $E(\xi )=\mu$ ; $D(\xi )={\sigma }^2$
4. 几何分布： $E(\xi )=\frac{1}{p};D(\xi )=\frac{1-p}{p^2}$
5. 均匀分布 $E(\xi )=(b+a)/2,D(\xi )=(b-a{)}^2/12$
6. 指数分布 $E(\xi )=\sqrt{D(\xi )}=\frac{1}{\lambda }$
7. ${\chi }^2$ 分布： $Var(X)=2n$ .
8. $t$ 分布： $Var(X)=n_2/(n_2-2)$ .
9. $F$ 分布： $Var(X)=2n^2(m+n-2)/[m(n-2{)}^2(n-4)](n>4)$ .

矩

• 定义：设$X$为随机变量，$c$为常数，$k$为正整数。则量$E[(X-c{)}^k]$称为$X$关于$c$点的$k$阶矩。特别地，有两种重要的情况：

(1) $c=0$ .这时$a_k=E(X^k)$称为$X$的$k$阶原点矩。

(2)$c=E(X)$.这时${\mu }_k=E[(X-EX{)}^k]$称为$X$的$k$阶中心矩。

一阶原点矩就是期望，一阶中心距${\mu }_1=0$，二阶中心距${\mu }_2$就是$X$的方差$Var(X)$.

• 两种重要应用：
• 偏度系数：${\beta }_1={\mu }_3/{\mu }_2^{3/2}$.衡量概率分布函数$f(x)$是否关于均值对称。如果$\beta >0$，则称分布为正偏或右偏；如果$\beta <0$，则称分布为负偏或左偏；如果$\beta =0$，则对称。（注：${\mu }_2^{3/2}$为标准差的三次方，可将${\mu }_3$缩放到一次因次）
• 峰度系数：${\beta }_2={\mu }_4/{\mu }_2^2$.衡量概率分布函数$f(x)$在均值附近的陡峭程度。若$X$有正态分布$N(\mu ,{\sigma }^2)$，则${\beta }_2=3$.(注：${\mu }_2^2$为标准差的四次方，将${\mu }_4$缩放到一次因次。为了迁就正态分布，也常定义${\mu }_4/{\mu }_2^2-3$为峰度系数，以使正态分布的峰度系数为0)

协方差与相关系数

协方差（Covariance）

• 定义：称 $E[(X-EX)(Y-EY)]$ 为 $X$ ， $Y$ 的协方差，并记为 $Cov(X,Y)$ .
• 性质：
  • $Cov(X,Y)$与$X,Y$的次序无关，即$Cov(X,Y)=Cov(Y,X)$.
  • $Cov(c_{1}X+c_2,c_{3}Y+c_4)=c_1{c}_{3}Cov(X,Y)$ .
  • $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
  • $Cov(X,Y)=E(XY)-E(X)E(Y)$ .
  • 对任意常数 $c$ ， $Cov(X,c)=0$
  • 若 $X,Y$ 独立，则 $Cov(X,Y)=0$ .反过来 $Cov(X,Y)=0$ 并不能推出独立
  • $[Cov(X,Y){]}^2\le {\sigma }_1^2{\sigma }_2^2$.等号当且仅当$X,Y$之间有严格线性关系（$Y=a+bX$）时成立。

注：协方差的结果受随机变量量纲影响。

• 那么我们之前方差性质可以写成：

$$D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-EX)(Y-EY)]=D(X)+D(Y)\pm 2\mathrm{cov}(X,Y)$$

• 此外，将协方差的公式展开得：

$$\begin{array}{rl}\mathrm{cov}(X,Y)& =E[(X-EX)(Y-EY)]=E(XY-XEY-YEX+EXEY)\\ & =E(XY)-E(XEY)-E(YEX)+EX\cdot EY\\ & =E(XY)-EX\cdot EY\end{array}$$

相关系数（Correlation coefficient）

• 定义称$Cov(X,Y)/({\sigma }_1{\sigma }_2)$为$X,Y$的相关系数，并记为$Corr(X,Y)$.
• 性质：
  • 若$X,Y$独立，则$Corr(X,Y)=0$.
  • $-1\le Corr(X,Y)\le 1$，或$|Corr(X,Y)\le 1|$，等号当且仅当$X$和$Y$有严格线性关系时达到。当$Corr(X,Y)=0$时，推出$X,Y$不线性相关。

注：相关系数常称为“线性相关系数”，实际上相关系数并不是刻画了$X,Y$之间消除量纲后“一般”关系的程度，而只是“线性关系的程度”。即使$X$与$Y$有某种严格的函数关系但非线性关系，$|Corr(X,Y)|$不仅不必为1，还可以为0.

条件数学期望与条件方差

本节讨论随机变量在给定另外一个随机变量之下的条件期望，可以将这个条件期望看成依赖于另一个随机变量的函数，因而是随机变量，那么就有相应的期望、方差、甚至分布等。

条件数学期望

• 定义：随机变量 $Y$ 的条件期望就是它在给定的某种附加条件下的数学期望。 $E(Y|x)={\int }_{-\infty }^{\infty }yf(y|x)dy$ .它反映了随着 $X$ 取值 $x$ 的变化 $Y$ 的平均变化的情况如何。在统计上，常把条件期望 $E(Y|x)$ 作为 $x$ 的函数，称为 $Y$ 对 $X$ 的回归函数。
• 性质：
  • $E(\xi )={\int }_{-\infty }^{\infty }E(\xi |\eta )f_{\eta }(y)dy$ .
  • 全数学期望公式： $E(\xi )=E[E(\xi |\eta )]$ .
    • 离散型： $E(\xi )={\sum }_{k=1}^{\infty }E(\xi |\eta =y_k)P(\eta =y_k)$
    • 连续型： $E(\xi )={\int }_{-\infty }^{+\infty }E(\xi |\eta =y)f_{\eta }(y)dy$
  • 如果 $\xi ,\eta$ 相互独立，那么 $E(\xi |\eta )=E(\xi )$
  • $E[g(\eta )\xi |\eta ]=g(\eta )E[\xi |\eta ]$
  • $E[g(\eta )\cdot \xi ]=E[g(\eta )\cdot E(\xi |\eta )]$
  • $E(c|\eta )=c,wherec=constant$
  • $E[g(\eta )]=E\{[g(\eta )|\eta ]\}$
  • $E[a\xi +b\eta |\zeta ]=aE(\xi |\zeta )+bE(\eta |\zeta )$

全期望公式：

条件方差

$$D(\xi |\eta =y)=E([\xi -E(\xi |\eta =y){]}^2|\eta =y)$$

为 $\eta =y$ 条件下，随机变量 $\xi$ 的条件方差。

多维正态分布的随机变量

如何判断多维随机变量是否服从正态分布可能是个棘手的问题，但是幸运的是，我们能利用正态随机变量的线性变换不变性得到判断正态分布的充要条件：

$（{\xi }_1,{\xi }_2,\dots ,{\xi }_n)$ 服从 $n$ 维正态分布的充要条件是它的任意一个非零线性组合服从一维正态分布。

如果将线性组合当作线性变换，那么可以得到矩阵形式的表述：

正态随机变量的线性变换不变性：设 $X=({\xi }_1,{\xi }_2,\cdots ,{\xi }_n{)}^{\top }$ 服从 $n$ 维正态分布 $N(M,\Sigma )$ , $C={\left(c_j\right)}_{m\times n}$ 是任意矩阵, 则 $Y=CX$ 服从 $m$ 维正态分布 $N\left(CM,C\Sigma C^{\top }\right)$ .

一维及二维正态随机变量的已知结论

1. 正态随机变量的线性函数服从正态分布
   1. $a\xi +b\sim N(a\mu +b,a^2{\sigma }^2)$
2. 正态分布的可加性：
   1. 若 $\xi \sim N(m_1,{\sigma }_1^2),\eta \sim N(m_2,{\sigma }_2^2)$ 相互独立，那么 $\xi +\eta \sim N(m_1+m_2,{\sigma }_1^2+{\sigma }_2^2)$
3. 若 $(\xi ,\eta )\sim N(m_1,{\sigma }_1^2;m_2,{\sigma }_2^2;r)$ 存在，那么有：
   1. 每个分量服从对应参数的正态分布
   2. 相关系数 $Cov(\xi ,\eta )=b_{12}=r{\sigma }_1{\sigma }_2,Cor{r}_{\xi \eta }=r$
   3. $(\xi ,\eta )$ 相互独立的充分必要条件是 $r=0$ ，即 $\xi$ 与 $\eta$ 相互独立 $\iff$ $\xi$ 与 $\eta$ 不相关。
4. 多维正态分布的边缘分布依旧是正态分布