信息论作业-3-1

Q

习题 3-1 7.1, 7.11

7.1 一个四元对称信源 $\left(\begin{array}{c}X\\ P(X)\end{array}\right)=\left\{\begin{array}{cccc}0& 1& 2& 3\\ 1/4& 1/4& 1/4& 1/4\end{array}\right\}$ , 接收符号 $Y=\{0,1,2,3\}$ , 其失真矩阵为 $\mathbf{D}=\left[\begin{array}{llll}0& 1& 1& 1\\ 1& 0& 1& 1\\ 1& 1& 0& 1\\ 1& 1& 1& 0\end{array}\right]$ 。求 $D_{\max }$ 和 $D_{\mathrm{mim}}$ 以及信源的 $R(D)$ 函数, 并画出 $R(D)$ 的曲线 (取 4 至 5 个点)。

7.11 设信源 $\left(\begin{array}{c}X\\ P(X)\end{array}\right)=\left\{\begin{array}{cc}{a}_1& a_2\\ p& 1-p\end{array}\right\}(p<1/2)$ , 其失真度为汉明失真度, 试问当允许平均失真度 $D=\frac{1}{2}p$ 时, 每一信源符号平均最少需要由几个二进制数据符号表示?

---

7.1

失真矩阵为汉明失真矩阵, 它的最大允许失真度：

$D_{\max }={min}_{p(b_j)}{\sum }_{j=1}^{m}p(b_j){\sum }_{i=1}^{n}p(a_i)d(a_i,b_j)=1-\frac{1}{N}=\frac{3}{4}$
最小允许失真度：$D_{\min }=\sum _{i=1}^{N}P(x_i){\min }_{j}d(x_i,y_j)=0$
对四元对称等概率信源: $R(D)=\ln n+\frac{D}{\alpha }\ln \frac{\frac{D}{\alpha }}{\left(n-1\right)}+\left(1-\frac{D}{\alpha }\right)\ln \left(1-\frac{D}{\alpha }\right)$

$$R(D)=\{\begin{array}{ll}\ln 4+D\ln \frac{D}{3}+(1-D)\ln (1-D)& 0\le D\le \frac{3}{4}\\ 0& D>\frac{3}{4}\end{array}$$

于是求得:

D	0	1/8	1/4	1/2	3/4
R (d)	1/3863	0.8722	0.5493	0.1438	0

$R(D)$ 图像为:

R (D)的图像

---

7.11

失真率函数 ( $\alpha =1$ )

$R(D)=\{\begin{array}{ll}H(p)-H(D)& 0\le D\le p\le \frac{1}{2}\\ 0& else\end{array}$
当 $D=\frac{p}{2}$ 时

$\begin{array}{rl}R\left(D=\frac{p}{2}\right)& =H(p)-H\left(\frac{p}{2}\right)\\ & =-[p\ln p+(1-p)\ln (1-p)]+[\frac{p}{2}\ln \frac{p}{2}+\left(1-\frac{p}{2}\right)\ln (1-\frac{p}{2})]\end{array}$

$H(X)\ge -{\log }_{2}R(D=P/2)$

因此，每个信源符号平均最少需要由 $\lceil -{\log }_{2}R(D=P/2)\rceil$ 个二进制数据符号表示，其中 $\lceil x\rceil$ 表示不小于 $x$ 的最小整数。