信息论与编码第二章

概率论基础

无条件概率、条件概率、联合概率的性质和关系：

$p(x_i,y_j)=p(x_i)p(y_j|x_i)=p(y_j)p(x_i | y_j)$

当X与Y相互独立时：

$p(x_i,y_j)=p(x_i)p(y_j) \\ p(y_j|x_i) =p(y_j) \\ p(x_i | y_j) = p(x_i)$

条件概率用联合概率求和的方式表示：

$p(x_i|y_j)= \cfrac{p(x_i,y_j)}{\displaystyle\sum_{i=1}^{n} p(x_i,y_j)} \\ p(y_j|x_i)= \cfrac{p(x_i,y_j)}{\displaystyle\sum_{j=1}^{m} p(x_i,y_j)}$

这就说明了一个公式： $p(y=j)= \displaystyle\sum_{i} p(x_i,y=j)$

离散信源概率空间

$\left[\begin{array}{l} X \\ P \end{array}\right]=\left[\begin{array}{cccc} x_{1} & x_{2} & \cdots & x_{n} \\ p\left(x_{1}\right) & p\left(x_{2}\right) & \cdots & p\left(x_{n}\right) \end{array}\right]$

样本空间：某事物各种可能出现的不同状态
先验概率 $p(x_i)$ ：选择符号 $x_i$ 作为消息的概率

自信息量

定义具有概率为 $p(x_i)$ 的符号 $x_i$ 的自信息量为：

$I(x_i)=-\log_2 p(x_i)$

常用的对数底数为2，单位为比特（bit）；若取自然对数，单位为奈特（nat）；若以10为对数底数，单位为笛特（det）

$I(x_i)$ 的两个含义：

当事件 $x_i$ 发生以前,表示事件 $x_i$ 发生的 不确定性
当事件 $x_i$ 发生以后,表示事件 $x_i$ 所含有的 信息量

随机事件的 不确定度 在数量上等于它的 自信息量 ,两者的单位相同，但含义却不相同。

$I(x_i)$ 的特性：

非负性： $I(x_i)\geqslant 0$
$p(x_i)=1,I(x_i)=0$
$p(x_i)=0,I(x_i)=\infty$
$I(x_i)$ 是先验概率 $p(x_i)$ 的单调递减函数：若 $p(x_1)<p(x_2)$ ，则 $I(x_1)>I(x_2)$
可加性：若有两个符号 $x_i,y_j$ 同时出现，可用联合概率 $p(x_i,y_j)$ 来表示，这时的自信息量为 $I(x_i,y_j)=-\log p(x_i,y_j)$ 。当 $x_i$ 和 $y_j$ 相互独立时，有 $p(x_iy_j)=p(x_i)p(y_j)$ ，则有 $I(x_i,y_j)=I(x_i)+I(y_j)$ 。

如果两个符号出现不是独立的，二是有相互联系的，这时可用条件概率 $p(x_i|y_j)$ 来表示，即在符号 $y_j$ 出现的条件下，符号 $x_i$ 出现的概率。则它的条件自信息量定义为：

$I(x_i|y_j) = -\log p(x_i | y_j)$

上式表示在给定 $y_j$ 的条件下，符号 $x_i$ 出现时收信者得到的信息量。又因为 $p(x_i,y_j)=p(x_i | y_j)p(y_j)$ ，则有 $I(x_i,y_j)=I(x_i | y_j)+I(y_j)$ ，即符号 $x_i,y_j$ 同时出现的信息量等于 $y_j$ 出现的信息量加上 $y_j$ 出现后再出现 $x_i$ 的信息量。（ $I(x_i,y_j)$ 称为联合自信息量， $I(x_i|y_j)$ 称为条件自信息量）

离散信源熵

离散信源熵又称为平均不确定度或平均信息量，它的定义是信源中各个符号不确定度的数学期望：

$H(X)=\sum_i p(x_i)I(x_i) =- \sum_i p(x_i) \log p(x_i)$

单位为bit/符号或bit/符号序列

特殊的，如果样本空间为 $N$ ，而且都是等概率事件，那么该信源熵为 $H(X)=\log N$ ，并且等概的信源熵最大

条件熵

在给定的 $y_j$ 条件下， $x_i$ 的条件自信息量为 $I(x_i|y_j)$ ， $X$ 集合的条件熵为：

$H(X|y_j)=\sum_i p(x_i|y_j) I(x_i|y_j)$

进一步地在给定 $Y$ 的条件下， $X$ 集合的条件熵定义为：

$\begin{aligned} H(X|Y)&=\sum_j p(y_j)H(X|y_j) \\ &= \sum_{ij} p(y_j)p(x_i|y_j)I(x_i|y_j) \\ &= \sum_{ij} p(x_i,y_j)I(x_i|y_j) \end{aligned}$

联合熵

联合熵是联合符号集合 $\left( X,Y \right)$ 上的每个元素对 $\left( x_i,y_j \right)$ 的自信息量的概率加权统计平均值

$H(X,Y)=\sum_{ij}p(x_i,y_j)I(x_i,y_j)$

联合熵与熵和条件熵之间的关系：

$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

「真诚赞赏，手留余香」

本文作者：2bW
本文链接：https://2bwant2b.github.io/2021/04/05/%E5%8D%9A%E5%AE%A2/%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/%E4%BF%A1%E6%81%AF%E8%AE%BA%E4%B8%8E%E7%BC%96%E7%A0%81-%E7%AC%AC%E4%BA%8C%E7%AB%A0/
版权声明：本博客所有文章除特别声明外，均默认采用许可协议。