本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。
文章目录
- 联合熵
- 条件熵
联合熵
联合集 XY 上, 对联合自信息 I(xy)I(x y)I(xy) 的平均值称为联合熵:
H(XY)=Ep(xy)[I(x⇌y)]=−∑x∑yp(xy)logp(xy)\begin{array}{l} H(X Y)=\underset{p(x y)}{E}[I(x \rightleftharpoons y)] \\ =-\sum_{x} \sum_{y} p(x y) \log p(x y) \end{array} H(XY)=p(xy)E[I(x⇌y)]=−∑x∑yp(xy)logp(xy)
当有n个随机变量 X=(X1,X2,…,Xn)X=\left(X_{1}, X_{2}, \ldots, X_{n}\right)X=(X1,X2,…,Xn) , 有
H(X)=−∑X1,X2,…,Xnp(x1,x2,…,xn)logp(x1,x2,…,xn)H(\mathbf{X})=-\sum_{X_{1}, X_{2}, \ldots, X_{n}} p\left(x_{1}, x_{2}, \ldots, x_{n}\right) \log p\left(x_{1}, x_{2}, \ldots, x_{n}\right) H(X)=−X1,X2,…,Xn∑p(x1,x2,…,xn)logp(x1,x2,…,xn)
信息熵与热熵的关系
信息熵的概念是借助于热熵的概念而产生的。
-
信息熵与热熵含义相似
-
信息熵与热熵的区别:
- 信息熵的不增原理
- 热熵不减原理
-
热熵的减少等于信息熵的增加。
条件熵
联合集 XY\mathbf{X Y}XY 上, 条件自信息I(y/x)I(y / x)I(y/x)的平均值定义为条件熵：
H(Y/X)=Ep(xy)[I(y/x)]=−∑x∑yp(xy)logp(y/x)=∑xp(x)[−∑yp(y/x)logp(y/x)]=∑xp(x)H(Y/x)\begin{array}{l} H(Y / X)=\underset{p(x y)}{E}[I(y / x)]=-\sum_{x} \sum_{y} p(x y) \log p(y / x) \\ =\sum_{x} p(x)\left[-\sum_{y} p(y / x) \log p(y / x)\right]=\sum_{x} p(x) H(Y / x) \end{array} H(Y/X)=p(xy)E[I(y/x)]=−∑x∑yp(xy)logp(y/x)=∑xp(x)[−∑yp(y/x)logp(y/x)]=∑xp(x)H(Y/x)
推广：
H(Xn∣X1,…,Xn−1)=−∑X1,X2,…,Xnp(x1,x2,…,xn)logp(xn∣x1,…,xn−1)\begin{array}{l} H\left(X_{n} \mid X_{1}, \ldots, X_{n-1}\right) =-\sum_{X_{1}, X_{2}, \ldots, X_{n}} p\left(x_{1}, x_{2}, \ldots, x_{n}\right) \log p\left(x_{n} \mid x_{1}, \ldots, x_{n-1}\right) \end{array} H(Xn∣X1,…,Xn−1)=−∑X1,X2,…,Xnp(x1,x2,…,xn)logp(xn∣x1,…,xn−1)
注意：当有n个随机变量 X=(X1,X2,…,Xn)X=\left(X_{1}, X_{2}, \ldots, X_{n}\right)X=(X1,X2,…,Xn) 。
H(X,Y)=H(Y)+H(X∣Y)=H(X)+H(Y∣X)H(X)=H(X1)+H(X2∣X1)+…+H(Xn∣X1,X2,…,Xn−1)\begin{array}{l} H(X, Y)=H(Y)+H(X \mid Y)=H(X)+H(Y \mid X) \\ H(\mathbf{X}) =H\left(X_{1}\right)+H\left(X_{2} \mid X_{1}\right)+\ldots+H\left(X_{n} \mid X_{1}, X_{2}, \ldots, X_{n-1}\right) \end{array} H(X,Y)=H(Y)+H(X∣Y)=H(X)+H(Y∣X)H(X)=H(X1)+H(X2∣X1)+…+H(Xn∣X1,X2,…,Xn−1)
注意： H(X∣Y)\mathbf{H}(\mathbf{X} \mid \mathbf{Y})H(X∣Y) 表示已知变量 Y\mathbf{Y}Y 后, 对变量 X\mathbf{X}X 尚存在的平均不确定性（存在疑义）。
已知信源 X=[ABC1/31/31/3]X=\left[\begin{array}{ccc}A & B & C \\ 1 / 3 & 1 / 3 & 1 / 3\end{array}\right]X=[A1/3B1/3C1/3] 和 Y=[DEF1/103/53/10]Y=\left[\begin{array}{ccc}D & E & F \\ 1 / 10 & 3 / 5 & 3 / 10\end{array}\right]Y=[D1/10E3/5F3/10] ,请快速两个信源的信息熵的关系。
答：H(X) > H(Y)。其实不用计算，由上面可知一个简单的结论，等概率时信息熵最大。
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.
