信息论基础-研讨二-连续信道的纠错编码码率区域

研讨2 连续信道的纠错编码码率区域

---

在n次扩展无记忆连续信源中，令随机变量$\xi =-logf(x_1,x_2\dots x_n)$,其中$f(x_1,x_2\dots x_n)$,是该连续信源的概率密度函数。我们知道，该随机变量是满足独立同分布的随机变量。那么根据强大数定律的条件，我们有

$$|\frac{1}{n}\sum _{i=1}^n{\xi }_i-E(\xi )|\to 0a.e.$$

即对任意的 $ϵ>0$ ，总存在一个 N，当 n>N 时，都有 $|-\frac{1}{n}logf(x_1{x}_2\dots x_n)-\int (x_1{x}_2\dots x_n)logf(x_1,x_2\dots x_n)|\le ϵa.e.$ 其中， $\int (x_1,x_2\dots x_n)logf(x_1,x_2\dots x_n)$ 刚好等于该连续信源的差熵 $H_c(x)$ 。那么我们对上式的绝对值符号打开，并通过计算可以得到：

$$2^{-n(H_c(x)+ϵ)}\le f(x_1,x_2\dots x_n)\le 2^{-n(H_c(x)-ϵ)}$$

---

令 $A_{ϵ}^n(X_1\dots X_n)$ 为典型序列集，则

$$\begin{array}{rl}1& =\int f(x_1,x_2\dots x_n)\\ & \ge {\int }_{A_{ϵ}^n(X_1\dots X_n)}f(x_1,x_2\dots x_n)\\ & \ge {\int }_{A_{ϵ}^n(X_1\dots X_n)}{2}^{-n(H_c(x)+ϵ)}\\ & =m(A_{ϵ}^n(X_1\dots X_n))2^{-n(H_c(x)+ϵ)}\end{array}$$

我们得到$m(A_{ϵ}^n(X_1\dots X_n))\le 2^{n(H_c(x)+ϵ)}$

$$\begin{gathered} 1-ϵ<{\int }_{A_{ϵ}^n(X_1\dots X_n)}f(x_1,x_2\dots x_n) \\ \le {\int }_{A_{ϵ}^n(X_1\dots X_n)}{2}^{-n(H_c(x)-ϵ)} \\ =m(A_{ϵ}^n(X_1\dots X_n))2^{-n(H_c(x)-ϵ)} \end{gathered}$$ $$m(A_{ϵ}^n(X_1\dots X_n))>(1-ϵ)2^{n(H_c(x)-ϵ)}$$

最后，我们得到了信源的典型序列集的测度的范围：

$$(1-ϵ)2^{n(H_c(x)-ϵ)}<m(A_{ϵ}^n(X_1\dots X_n))\le 2^{n(H_c(x)+ϵ)}$$

---

类似的，对于信宿和联合典型序列集，我们有

$$\begin{gathered} (1-ϵ)2^{n(H_c(y)-ϵ)}<m(A_{ϵ}^n(Y_1\dots Y_n))\le 2^{n(H_c(y)+ϵ)} \\ (1-ϵ)2^{n(H_c(x,y)-ϵ)}<m(A_{ϵ}^n(X_1\dots X_n,Y_1\dots Y_n))\le 2^{n(H_c(x,y)+ϵ)} \end{gathered}$$

当 n 足够大，从 n 次扩展连续信道对应信源的典型序列集中编码，选取 $2^{nR}$ 个码字作为许用码，其余为禁用码

$$c_{i_1}{c}_{i_2}\dots c_{i_n}\in A_{ϵ}^n(X_1\dots X_n)$$

从 n 次扩展连续信道对应信宿的典型序列集中译码

$$r_{j_1}{r}_{j_2}\dots r_{j_n}\in A_{ϵ}^n(Y_1\dots Y_n)$$

---

发生译码错误的两类情况

$$\begin{gathered} c_{i_1}{c}_{i_2}\dots c_{i_n},r_{j_1}{r}_{j_2}\dots r_{j_n}\notin A_{ϵ}^n(X_1\dots X_n,Y_1\dots Y_n) \\ {c}_{i_1}{c}_{i_2}\dots c_{i_n},r_{j_1}{r}_{j_2}\dots r_{j_n}\in A_{ϵ}^n(X_1\dots X_n,Y_1\dots Y_n) \end{gathered}$$

但 $c_{i_1}{c}_{i_2}\dots c_{i_n}\text{与}{r}_{j_1}{r}_{j_2}\dots r_{j_n}$ 不构成对应

对于译码错误概率 $P_e$ ,则有

$$\begin{array}{rl}{P}_e& ⩽ϵ+\sum _{i=2}^{2^{nR}}{\int }_{A_{ϵ}^n(X_1\dots X_n,Y_1\dots Y_n)}f(x_1,x_2\dots x_n)f(y_1,y_2\dots y_n)\\ & ⩽ϵ+\sum _{i=2}^{2^{nR}}{\int }_{A_{ϵ}^n(X_1\dots X_n,Y_1\dots Y_n)}{2}^{-n(H_c(x)-ϵ)}{2}^{-n(H_c(y)-ϵ)}\\ & ⩽ϵ+\sum _{i=2}^{2^{nR}}{2}^{n(H_c(x,y)+ϵ)}{2}^{-n(H_c(x)-ϵ)}{2}^{-n(H_c(y)-ϵ)}\\ & =ϵ+(2^{nR}-1)2^{-n(C_1-3ϵ)}\\ & ⩽ϵ+2^{n(R-C_1+3ϵ)}\end{array}$$

只要 $R\le C_1-3ϵ$ ,就有 $P_e<ϵ$

n 次扩展连续信道的信道容量率为 $C_1$ ，进行纠错编码

对任意给定的ε>0，只要码率 $R\le C_1$ ，

当n足够大，译码错误概率 $P_e<ϵ$。