信息率失真函数⚓︎

编码效率⚓︎

编码效率，又称码率，是衡量编码方案的指标之一。若对于长度位\(k\)的序列，需要\(n\)位码长对其进行编码，则该编码方案的码率为：

失真度⚓︎

对于给定的衡量指标\(d(x,\hat{x})\)，若存在常数\(D\)使得：

则称\(D\)为该编码方案的失真度。

常用的衡量指标包括均方差指标：

和汉明距离：

率失真函数⚓︎

定义⚓︎

对于给定的失真度\(D\)，其中各种编码方案中的最小码率与\(D\)的选取存在函数关系，这个函数称为率失真函数，记作\(R(D)\)。

率失真函数的性质⚓︎

单调非增性：设有一编码方案的失真度为\(D_1\)，码率为\(R(D_1)\)。若取失真度\(D_2 > D_1\)，则显然该编码方案也满足新的失真度要求。根据定义：\(R(D_2)\)是满足失真度要求的最小码率，因此必然有：\(R(D_2)\leqslant R(D_1)\).于是有单调不增性。

下凸函数：设有一编码方案，失真度为\(D_1\)，码率为\(R(D_1)\)；另一编码方案，失真度为\(D_2\)，码率为\(R(D_2)\).现在对上述两方案时分(time sharing)，在\(P_1\)时间内使用方案\(1\)，\(P_2\)时间内使用编码方案\(2\).则新的编码方案的失真度\(P_1D_1+P_2D_2\)，码率为\(P_1R(D_1)+P_2R(D_2)\).所以根据率失真函数的定义：有\(R(P_1D_1+P_2D_2)\leqslant P_1R(D_1)+P_2R(D_2)\).

率失真函数是连续函数。根据单调非增性和下凸函数性质，可以容易推断出率失真函数一定是连续函数。

率失真函数的计算⚓︎

率失真函数的表达式定义为：

并且需要满足：

也就是说，求解率失真函数，关键在于寻找一种后验概率分布\(p(\hat{x}\mid x)\)使得互信息最小；并且最小的互信息就是最小码率。

常见信源分布的率失真函数⚓︎

高斯信源的率失真⚓︎

信源\(X\)随机变量服从\(X\sim N(0,\sigma ^2)\)的高斯分布。选取失真度量函数\(d(x,\hat{x})=(x-\hat{x})^2\).

关于上述推断做一些解释：计算\(h(X-\hat{X})\)时，当其为正态分布时熵最大，因此转化为求取\(D(X-\hat{X})\).由于\(D(X-\hat{X})=E[(X-\hat{X})^2]-[E(X-\hat{X})]^2\)，故而有\(D(X-\hat{X})\leqslant E[(X-\hat{X})^2]\leqslant D.\)

可以验证，该极小值是取得到的，故而\(R(D)=\dfrac{1}{2}\log \dfrac{\sigma ^2}{D}\).

Bernoulli分布的率失真函数⚓︎

设信源随机变量\(X\)服从\(X\sim B(p)\)的Bernoulli分布，定义\(d(x,\hat{x})=x\oplus \hat{x}\).

根据\(E[d(x,\hat{x})]=D\)可以知道\(d(x,\hat{x})\)取1的概率为\(p(1)=D.\)于是：

其中，\(H_b(\tau)=-\tau \log \tau -(1-\tau )\log (1-\tau)\).

评论