第三章-信道与信道容量（二）

接上一节第三章-信道与信道容量（一）

3.2离散单个符号信道及其容量

一．对称DMC信道例子

1.      DMC信道的信道容量C计算

对称信道转移概率矩阵中，每行元素都相同

1)        信道输入符号等概率分布p(ai)=1/n

2)        信道是对称的

3)        输入符号也是等概率分布的

4)        此时，H(Y)取得最大值

5)        对称DMC信道的容量为

其中，m为输出符号集中符号的个数

二．均匀信道（强对称信道）

信道输入符号和输出符号个数相同，且信道矩阵为：

信道中总的错误概率为p，对称地平均分配给r-1个输出符号，r为输入符号的个数

各行之和为1，而且各列之和也为1。而一般信道各列之和不一定等于1

三．准对称DMC信道的C

如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道。

对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量

四．一般DMC信道的C

1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法

I(ai;Y) = C        对于所有满足p(ai ) > 0条件的I

I(ai;Y)  C        对于所有满足p(ai ) = 0条件的I

当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外

五．信道的组合

组合方式

待发送的消息比较多时，可能要用两个或更多个信道并行地传送，Shannon[1956]称这种信道为积信道

有时消息会依次地通过几个信道传送，如无线中继信道，称其为级连信道

有时将两个以上信道联合起来，这类信道Shannon[1956]称之为和信道。

定理1：独立并行信道的容量为各分信道容量之和，即C = C1 + C2

定理2：信道1和信道2的和信道的容量C满足2 ^C= 2 ^C₁ + 2^C₂

串联信道的C

按照定义：

  C(1,2)=maxI(X;Y)

  C(1,2,3)=maxI(X;Z)

级联（串联）信道的模型

信道1和2都是离散无记忆信道

级联信道中的平均互信息满足以下关系

第一个等号成立的条件是：输出随机变量Z仅依赖于随机变量Y，与前面的X无关

第二个等号成立的条件是：输出随机变量Z仅依赖于随机变量X，与前面的Y无关 

独立并联信道

序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL)

定理1：信道是无记忆的

平均互信息I(X;Y)小于或等于单个随机变量I(Xi;Yj)的互信息之和

定理2：信源是无记忆的

平均互信息I(X;Y)大于或等于单个随机变量I(Xi;Yj)的互信息之和

六．离散序列信道的容量

信道无记忆

信源无记忆：输入矢量X的各个分量相互独立

七．扩展信道的信道容量

如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道。

八．连续信道及其容量

连续单符号加性信道

信道的输入输出：取值连续的一维随机变量

加入信道的噪声：均值为0，方差为2 的加性高斯噪声，概率密度函数记为

信道容量

九．连续单符号加性信道

要想获得最大值，Hc(Y)应该最大。根据限平均功率最大熵定理，Y正态分布时熵最大

          pY(y)＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以pX(x)＝N(0,S)

C＝1/2log(1+SNR)

信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值

若是加性的，可以求出信道容量的上下界

十．噪声为非高斯型

实际中的噪声通常非高斯型，若只考虑加性噪声，不考虑乘性噪声。加性噪声均值为0，平均功率为σ2的非高斯噪声信道，信道容量有上下界

物理含义：

1）若输入信号X的分布能使x+n=y呈高斯分布，则Hc(Y)达到最大值，信道容量达到上限值

不等式的右边，是噪声熵考虑的最坏情况，即噪声为加性高斯噪声时，信道容量最小。

同样平均功率受限的情况下，非高斯噪声信道的容量大于高斯信道的容量。

十一．      多维无记忆加性连续信道

信道输入随机序列X＝X1X2…XL，输出随机序列Y＝Y1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL 是均值为零的高斯噪声。

连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道。

当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量。

 

十二．      限时限频限功率加性高斯白噪声信道

限时限频的条件下可转化成多维连续信道，将输入随机过程x(t)、输出随机过程y(t)转化成L维随机序列x=(x1,x2,….,xL)和y=(y1,y2,….,yL)

波形信道的平均互信息为

限频(W)高斯白噪声过程可分解L＝2WtB维统计独立的随机序列

香农公式的结论

带宽W一定时，信噪比SNR与信道容量Ct成对数关系

当输入信号功率PS一定，增加信道带宽，可以增加容量

Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的

 

 

 

 

本章小结

1.        信道的描述

2.        信道容量的定义

3.        几种特殊信道的信道容量

a)        无噪无损信道

b)        无噪有损信道

c)        有噪无损信道

d)        二元对称信道

e)        对称DMC信道

f)         准对称DMC信道

g)        独立无记忆信道

h)        独立并联信道

i)          限时限频限功率AWGN信道