信道与信道容量⚓︎
信道容量、信道速率⚓︎
对于一个信道\(Y=f(X)\)，其信道容量定义为：
\[
C=\max _{p(a_i)}I(X;Y)=\max _{p(a_i)}H(Y)-H(Y\mid X)=\max _{p(a_i)}H(X)-H(X\mid Y).
\]
也就是说，信道容量是输入的概率分布能够使得输入输出互信息最大时的互信息。
如果传送一个符号的时间为\(T\)，则信道传输速率可以描述为：
\[
C_T=\dfrac{C}{T}.
\]
对于同样的信道，不同的信源对信道的利用效率不同。定义信道的绝对冗余度：
\[
C-I(X;Y),
\]
而相对冗余度：
\[
1-\dfrac{I(X;Y)}{C}.
\]
对于给定的转移概率矩阵，其互信息：
\[
I(X;Y)=H(X)-H(Y\mid X)=\sum_i p(a_i)\log \dfrac{1}{p(a_i)}-\sum_i p(X=a_i)H(Y\mid x=a_i).
\]
求信道容量也就是求使得上述值最大的\(X\)的分布。
无干扰信道⚓︎
如果信道的输入矢量\(\boldsymbol{X}\)与信道的输出矢量\(\boldsymbol{Y}\)有着明确的函数对应关系，则该信道是无干扰的。数学模型表达为：
\[
p(\boldsymbol{Y}\mid \boldsymbol{X})=\begin{cases}
1,\quad \boldsymbol{Y}=f(\boldsymbol{X})\\
0.\quad \boldsymbol{Y}\neq f(\boldsymbol{X})
\end{cases}
\]
离散无记忆信道一般用转移矩阵来描述，即
\[
\boldsymbol{P}=\begin{bmatrix}
p_{11}&p_{12}&\cdots&p_{1Q}\\
p_{21}&p_{22}&\cdots&p_{2Q}\\
\vdots&\vdots&\ddots&\vdots\\
p_{Q1}&p_{Q2}&\cdots&p_{QQ}\\
\end{bmatrix}
\]
它表示一个输入符号\(X\)通过信道传输后得到的输出符号\(Y\)的概率分布。
高斯信道⚓︎
高斯信道是连续符号信道。对于连续的输入\(X\)，其输出\(Y=X+n\)，其中\(n\sim N(0,\sigma ^2)\)。
噪声的熵⚓︎
高斯信道的噪声\(n\)的分布律\(p_n(n)\)满足高斯分布。根据已有结论，可知其微分熵：
\[
h_n(n)=\dfrac{1}{2}\log (2\pi \mathrm{e}\sigma ^2).
\]
高斯信道信道容量⚓︎
根据信道容量的定义：
\[
C=\max _{p(x)}I(X;Y)=\max _{p(x)}(H(Y)-H(Y\mid X)).
\]
由于条件熵\(H(Y\mid X)\)（又称噪声熵）就是高斯分布的熵\(\dfrac{1}{2}\log (2\pi \mathrm{e}\sigma ^2)\)，于是高斯信道的信道容量取决于\(\displaystyle\max_{p(x)}H(Y)\).
功率受限时，当\(Y\sim N(0,p)\)时互信息最大，此时信道容量：
\[
C=\dfrac{1}{2}\log (2\pi \mathrm{e}p)-\dfrac{1}{2}\log (2\pi \mathrm{e}\sigma ^2)=\dfrac{1}{2}\log \dfrac{p}{\sigma ^2}.
\]
由于\(Y\)与\(n\)相互独立，并且\(X=Y-n\)，于是\(X\sim N(0,\sigma ^2-p)\)，于是记\(s=\sigma ^2-p\)，得到：
\[
C=\dfrac{1}{2}\log (1+\dfrac{s}{\sigma ^2})
\]
最后更新:
March 12, 2023
创建日期: March 12, 2023
创建日期: March 12, 2023