概率论第五章-特征函数

一维特征函数的定义及性质

分布可以决定数字特征，但是数字特征无法决定分布，而特征函数可以唯一决定变量的分布

频谱分析，将定义域为时间的一个函数转换为以频率为自变量的函数。将傅里叶变换应用于分布函数之上。

由傅里叶变换定义一种特殊的数学期望，并且能够证明，这个数学期望一定是存在的，即任何一个随机变量都唯一地对应着一个特征函数。

FS变换之后，处理某些问题会变得容易，如

1. 特征函数求随机变量的矩
   • 用分布函数是积分运算，用特征函数是求导运算
2. 特征函数求随机变量的中心矩

特征函数的定义

特征函数

复随机变量 $Z=X+jY$,其数学期望定义为 $E(Z)=E(X)+jE(Y)$

特别地，考察函数型随机变量 ${\text{e}}^{jt\xi }$的数学期望 $E({\text{e}}^{jt\xi })={\int }_{-\infty }^{+\infty }{\text{e}}^{jt\xi }\text{d}{F}_{\xi }(x)=E(\cos (t\xi ))+jE(\sin (t\xi ))={\int }_{-\infty }^{+\infty }\cos (t\xi )\text{d}{F}_{\xi }(x)+j{\int }_{-\infty }^{+\infty }\sin (t\xi )\text{d}{F}_{\xi }(x)$ 定义上述的含参变量积分为该随机变量的特征函数 ${\phi }_{\xi }(t)={\int }_{-\infty }^{+\infty }{\text{e}}^{jt\xi }\text{d}{F}_{\xi }(x)$

常见分布的特征函数

对分布函数做 FS 变换，得到特征函数

常见分布的特征函数

• 单点分布： $\phi (t)=E(e^{jtc})=e^{jtc},t\in \mathbb{R}.$
• 两点分布： $\begin{array}{rl}\phi \left(t\right)& =e^{j\cdot 0}(1-p)+e^{j\cdot 1}p\\ & =1-p+p{e}^{it}=q+p{e}^{it},t\in \mathbb{R}.\end{array}$
• 二项分布： $\phi (t)=(q+p{e}^{jt}{)}^n,t\in \mathbb{R}$
• 泊松分布： $\phi (t)=e^{\lambda (e^{it}-1)},t\in \mathbb{R}$
• 指数分布： $\phi (t)={\left(1-\frac{jt}{\lambda }\right)}^{-1},t\in \mathbb{R}$
• 均匀分布： $\phi (t)=\frac{\sin at}{at},t\in \mathbb{R}$
• 正态分布： $\phi (t)=e^{j\mu t-\frac{1}{2}{\sigma }^2{t}^2},t\in \mathbb{R}$

特征函数的性质

特征函数性质

1. 极值 $|\phi (t)|\le |\phi (0)|=1$

2. 共轭对称性 $\overline{\phi (t)}=\phi (-t)$

3. 指数线性 ${\phi }_{a\xi +b}(t)={\text{e}}^{jbt}{\phi }_{\xi }(at)$

4. 特征函数一致连续

5. 特征函数为非负定的函数

注：上述的 $\phi (0)=1$,一致连续，非负定是本质性的。

Banach-辛钦定理

Banach-辛钦定理

函数 $\phi (t)$ 为特征函数的充要条件是在 $\mathbb{R}$ 上一致连续，非负定，且 $\phi (0)=1$

特征函数与矩的关系

若随机变量 $\xi$的 $n$阶矩存在，则 $\xi$的特征函数 $\phi (t)$的特征函数的 $k,k=1,2,\cdots ,n$阶导数 ${\phi }^{(k)}(t)$存在，且 $E({\xi }^k)=j^{-k}{\phi }^{(k)}(0),(k\le n)$ 但这只是充分条件，不是必要条件，其逆不真

使用特征函数计算数学期望和方差

随机变量 $\xi$ 的概率密度为： $f(x)=\{\begin{array}{ll}\frac{1}{2}\cos x,& -\frac{\pi }{2}\le x\le \frac{\pi }{2};\\ 0,& \text{其它}\end{array}$ 求 $E(\xi )$ 和 $D(\xi )$ . $\begin{array}{rl}\phi \left(t\right)& ={\int }_{-\pi /2}^{\pi /2}{e}^{jtx}\frac{1}{2}\cos xdx\\ & =2{\int }_0^{\frac{\pi }{2}}\frac{1}{2}\cos tx\cos xdx\\ & =\frac{1}{2}{\int }_0^{\pi }\left[\cos (t+1)x+\cos (t-1)x\right]dx\\ & =\frac{1}{2}\{\frac{1}{t+1}\sin [(t+1)\frac{\pi }{2}]+\frac{1}{t-1}[\sin (t-1)\frac{\pi }{2}]\},t\in R.\end{array}$ 故 $E(\xi )=j^{-1}{\phi }^{\prime }(0)=0$ 由于 ${\phi }^{\prime }(0)=0,{\phi }^{\prime \prime }(0)=2-\frac{1}{4}{\pi }^2.$ $D(\xi )=E({\xi }^2)=j^{-2}{\phi }^{\prime \prime }(0)=-\left(2-\frac{1}{4}{\pi }^2\right)=\frac{1}{4}{\pi }^2-2.$

正态分布的中心距

中心距

正态分布的 $k$阶矩为 $E[(\xi -\mu {)}^k]=\{\begin{array}{l}0,k为奇数\\ 1\cdot 3\cdot 3\cdots (k-1){\sigma }^k,k为偶数\end{array}$

反演公式与唯一性定理

特征函数如何唯一确定分布函数

反演公式

反演公式

随机变量 $\xi$的

1. 分布函数 $F_{\xi }(x)$

2. 特征函数 ${\phi }_{\xi }(t)$ 满足反演变换，

3. 对于连续点 $x_1,x_2$有

$$F_{\xi }(x_2)-F_{\xi }(x_1)={\int }_{-\infty }^{+\infty }\frac{{\text{e}}^{jt{x}_1}-{\text{e}}^{jt{x}_2}}{jt}{\phi }_{\xi }(t)\text{d}t$$

2. 对于不连续点，也有 $F(x)=\frac{F(x-0)+F(x)}{2}$ ，由 $F(x_2)-F(x_1)$ 满足反演公式。

离散型和连续型的反演公式

• 连续型： $\begin{array}{rl}{F}^{\prime }\left(x\right)=f\left(x\right)& =\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }{e}^{-jtx}\phi (t)dt\\ \phi \left(t\right)& ={\int }_{-\infty }^{+\infty }{e}^{jtx}f(x)dx;\end{array}$
• 离散型： $\begin{array}{c}\phi (t)=\sum _{k=-\infty }^{\infty }{p}_k{e}^{jkt},t\in R.\\ p_k=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }{e}^{-jtk}\phi (t)dt\end{array}$

由反演公式可以知道，可以由特征函数计算概率，那么能否由特征函数唯一确定分布函数？

唯一性定理

唯一性定理

两个随机变量的分布函数相等的充要条件是其特征函数相等

反演公式，有概率密度函数为

$$f_{\xi }(x)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }{\text{e}}^{-jtx}{\phi }_{\xi }(t)\text{d}t$$

对称地有

$${\phi }_{\xi }(t)={\int }_{-\infty }^{+\infty }{\text{e}}^{jtx}{f}_{\xi }(x)\text{d}x$$

利用特征函数求概率密度

利用特征函数求概率密度

利用特征函数求概率密度

多维随机变量的特征函数

多维随机变量的 FS 变换

多维随机变量的特征函数

$\phi (t_1,\cdots ,t_n)=E[e^{j(t_1{\xi }_1+\cdots t_n{\xi }_n)}]$

进一步地，利用函数型随机变量的期望公式，我们有 $\phi (t_1,\cdots ,t_n)={\int }_{{\mathbb{R}}^n}{\text{e}}^{j(t_1{x}_1+\cdots t_n{x}_n)}\text{d}F(x_1,\cdots ,x_n)$

二维随机变量特征函数的计算公式

二维随机变量特征函数的计算公式

1. 离散型随机变量 $\phi (t_1,t_2)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{e}^{j(t_{1}x+t_{2}y)}f(x,y)dxdy$
2. 连续型随机变量 $\phi (t_1,t_2)={\sum }_r{\sum }_s{e}^{j(t_1{x}_r+t_2{y}_s)}{p}_{r,s}$

多维随机变量特征函数的性质

1. 最值
2. 共轭对称
3. 实平面上一致连续
4. 边缘分布

$n$维正态的特征函数

$\phi (t)=\exp \{j{M}^{T}t-\frac{1}{2}{t}^T\Sigma t\}$

其中，$M$是均值向量，$\Sigma$是协方差矩阵

注：特征函数可以给出退化形式的正态分布

随机变量的线性变换的特征函数

特征函数的线性变换

$({\xi }_1,{\xi }_2)$,考察 $(a_1{\xi }_1+b_1,a_2{\xi }_2+b_2)$的特征函数 $\mathbb{E}{\text{e}}^{j(t_1{a}_1{\xi }_1+t_1{b}_1,t_2{a}_2{\xi }_2+t_2{b}_2)}={\text{e}}^{j(t_1{b}_1+t_2{b}_2)}\phi (a_1{t}_1,a_2{t}_2)$ 考察 $a{\xi }_1+b{\xi }_2+c$的特征函数 $\mathbb{E}{\text{e}}^{jt(a{\xi }_1+b{\xi }_2+c)}={\text{e}}^{jtc}\phi (at,bt)$ 注：特征函数将线性运算变换成乘积运算

例题：利用特征函数求和变量的分布

特征函数求和变量的分布

特征函数求和变量的分布

特征函数与矩的关系

多维随机变量的特征函数与矩

如果 $E({\xi }_1^{k_1}{\xi }_2^{k_2})$ 存在，则 $E({\xi }_1^{k_1}{\xi }_2^{k_2})=j^{-(k_1+k_2)}{\left[\frac{{\partial }^{k_1+k_2}\phi (t_1,t_2)}{\partial t_1^{k_1}\partial t_2^{k_2}}\right]}_{t_1=t_2=0}$ 注：特征函数的各阶偏导数就对应了各阶矩

反演公式

反演公式

$\begin{array}{rl}& P\{a_1<{\xi }_1\le b_1,a_2<{\xi }_2\le b_2\}\\ & =\frac{1}{(2\pi {)}^2}{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }\frac{e^{-j{t}_1{a}_1}-e^{-j{t}_1{b}_1}}{j{t}_1}\cdot \frac{e^{-j{t}_2{a}_2}-e^{-j{t}_1{b}_2}}{j{t}_2}\phi (t_1,t_2)\text{d}{t}_1\text{d}{t}_2\end{array}$ 要求 $({\xi }_1,{\xi }_2)$ 落在矩形 $a_1<{\xi }_1\le b_1,a_2<{\xi }_2\le b_2$ 边界上的概率为 0.

唯一性定理

唯一性定理

特征函数与联合分布一一对应，唯一确定

随机变量相互独立在特征函数下的充要条件

随机变量相互独立在特征函数下的充要条件

$\phi (t_1,\cdots ,t_n)={\prod }_{k=1}^n{\phi }_{{\xi }_k}(t_k)$

注：相互独立情况下，联合分布函数等于边缘分布函数的乘积，从而可以推出该公式成立

在公式成立的情况下，利用反演公式，可以证明联合分布函数等于边缘分布函数的乘积。

相互独立条件下和变量的特征函数

$\eta ={\xi }_1+\cdots +{\xi }_n$

$${\phi }_{\eta }(t)=\phi (t_1,\cdots ,t_n)=\prod _{i=1}^n{\phi }_{{\xi }_i}(t)$$

独立同分布的随机变量的特征函数

$\eta ={\xi }_1+\cdots +{\xi }_n$

$${\phi }_{\eta }(t)=\phi (t_1,\cdots ,t_n)=\prod _{i=1}^n{\phi }_{{\xi }_i}(t)=[\phi (t){]}^n$$

利用特征函数证明一些分布的可加性

1. 二项分布
2. 泊松分布
3. 负二项分布
4. 正态分布
5. $\Gamma$分布

泊松分布的可加性

设 $X_1$ 和 $X_2$ 是两个独立的泊松分布随机变量，其参数分别为 ${\lambda }_1$ 和 ${\lambda }_2$ 。我们需要证明 $X_1+X_2$ 也是泊松分布，其参数为 ${\lambda }_1+{\lambda }_2$ 。 $X_1+X_2$ 的特征函数为：$\begin{array}{rl}{\varphi }_{X_1+X_2}(t)& =E[e^{it(X_1+X_2)}]\\ & =E[e^{it{X}_1}{e}^{it{X}_2}]\\ & =E[e^{it{X}_1}]E[e^{it{X}_2}]\\ & ={\varphi }_{X_1}(t){\varphi }_{X_2}(t)\end{array}$根据泊松分布的定义，其概率质量函数为：$P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$其特征函数为：$\begin{array}{rl}{\varphi }_X(t)& =E[e^{itX}]\\ & =\sum _{k=0}^{\infty }{e}^{itk}\frac{{\lambda }^k{e}^{-\lambda }}{k!}\\ & =e^{-\lambda }\sum _{k=0}^{\infty }\frac{(\lambda e^{it}{)}^k}{k!}\\ & =e^{-\lambda }{e}^{\lambda e^{it}}\\ & =e^{\lambda (e^{it}-1)}\end{array}$因此，我们有：$\begin{array}{rl}{\varphi }_{X_1+X_2}(t)& ={\varphi }_{X_1}(t){\varphi }_{X_2}(t)\\ & =e^{{\lambda }_1(e^{it}-1)}{e}^{{\lambda }_2(e^{it}-1)}\\ & =e^{({\lambda }_1+{\lambda }_2)(e^{it}-1)}\end{array}$这说明 $X_1+X_2$ 的特征函数等于泊松分布的特征函数，因此 $X_1+X_2$ 也是泊松分布。其参数为 ${\lambda }_1+{\lambda }_2$ .

两点分布与均匀分布的和分布为均匀分布

$\xi \sim B(1,\frac{1}{2})$,$\eta \sim U(0,1)$,则有 $\xi +\eta \sim U(0,2)$利用特征函数容易得到${\phi }_{\xi }(t)=\frac{1}{2}(1+{\text{e}}^{jt})$ ${\phi }_{\eta }(t)={\int }_0^1{\text{e}}^{jtx}\text{d}x=\frac{{\text{e}}^{jt}-1}{jt}$ 从而有${\phi }_{\xi +\eta }(t)={\phi }_{\xi }(t){\phi }_{\eta }(t)=\frac{{\text{e}}^{2jt}-1}{2jt}$

多维正态分布的相关结论

多为正态分布的任一子向量也服从正态分布。即联合正态，则边缘正态 多维正态分布下，随机变量相互独立等价于两两不相关，即协方差矩阵为对角矩阵 正态随机变量的线性变换不变性：若多维随机变量 $\xi =({\xi }_1,{\xi }_2,\cdots ,{\xi }_n{)}^{\top }$ 服从多维正态分布 $N(M,\Sigma )$ ，设 $C=(c_{ij}{)}_{m\times n}$ 是任意矩阵，那么 $\eta =C\xi$ 服从 $m$ 维正态分布 $N(CM,C\Sigma ,C^{\top })$ $({\xi }_1,{\xi }_2,\cdots ,{\xi }_n)$ 服从 $n$ 维正态分布的充要条件是它的任一个非零线性组合 $\sum _{i=1}^n{l}_i{\xi }_i$ 服从一维正态分布.