信息论-离散信道及其容量笔记

1.    信道容量是信息能够可靠传输的最大传输速率。信道容量定义为信道输入与输出平均互信息的最大值。信道容量仅于信道特性，信道转移概率有关，与信道输入无关。但是信道输入概率必须与信道容量进行匹配才能达到容量。

2.    单符号离散信道

一个平稳离散无记忆信道的容量C定义为输入与输出平均互信息I(X;Y）的最大值，即

C=max I(X;Y）

  C为信道传输最大信息速率能力的度量

3.    无损信道：每一个输入符号对应多个输出符号。C=logr。r为输入符号集的大小。

确定信道：每一个输出符号对应多个输入符号。C=logs。s为输出符号集的大小。

无损确定信道：每一个输入对应一个输出。 C= logs=logr;

4.    对称信道：信道转移概率矩阵按输出可以分为若干子集，每个子集都具以下特征：每一行是其他行的置换，每一列是其他列的置换，则信道成为准对称信道。

5.    转移概率矩阵可分为多个子集的对称信道称为准对称或弱对称信道。只有一个子集的信道称为强对称信道。

6.    对于离散对称信道，当输入等概率时达到信道容量，且信道容量为

C=H(Y)-H(p11,p12,……p1s).

7.    关于信道容量的注释：

1达到信道容量时的输入概率分布不唯一。

2达到容量时的输出概率严格为正。

3对应于信道容量的输出概率时唯一的。可以证明，如果两个输入概率达到同样容量，那么都对应着相同的输出分布。