《離散信道的信道容量.ppt》由會員分享,可在線閱讀,更多相關《離散信道的信道容量.ppt(33頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、1,第五章 離散信道的信道容量,第五章 離散信道的信道容量,內(nèi)容提要: 信道對于信息率的容納并不是無限制的,它不僅與物理信道本身的特性有關,還與信道輸入信號的統(tǒng)計特性有關,它有一個極限值,即信道容量,信道容量是有關信道的一個很重要的物理量。這一章研究信道,研究在信道中傳輸?shù)拿總€符號所攜帶的信息量,并定義信道容量。,3,本章重點: 1.信道容量的定義; 2.平均互信息量達到信道容量的充要條件; 3.幾種特殊離散信道信道容量的計算。,5.1 信道容量的定義,信息傳輸率是衡量通信質(zhì)量的一個重要指標,由定理2.1知:對于固定信道,總存在某種輸入概率分布q(x),使I(X; Y)達到最大值,定義這個最
2、大值為信道容量,記為C。 (比特/碼符號) (5-2) 使I(X; Y)達到信道容量的分布q (x)為最佳分布。,5.2 離散無記憶信道容量的計算,定理5.1 如果信道是離散無記憶(DMC)的,則CN NC, 其中C是同一信道傳輸單符號時的信道容量。,下面一條定理給出了一維信道和N維信道的信道容量之間的關系。,若信道離散無記憶,則根據(jù)定理2.4有:,若 (1) 輸入的N個符號統(tǒng)計獨立,即信源離散無記憶,根據(jù)定理2.3有:,(2)對每個i,輸入分布q (xi) 可使I (Xi; Yi) 達到信道容量C,則: = = NC CN NC
3、 (5-5),綜合式(5-4)和(5-5),在信源和信道都離散無記憶的情況下,有CN = NC,即定理中等號成立,這時N長序列的傳輸問題可歸結(jié)為單符號傳輸問題。,5.2.1 達到信道容量的充要條件,定理5.2 使平均互信息量I(X; Y)達到信道容量C的充要條件是信道輸入概率分布 ,簡記為q (X) = q (x1), q (x2), , q (xM)滿足: (5-6),介紹幾種無噪信道,對于無噪信道,信道的輸入X和輸出Y之間有著確定的關系,一般有三類:無損信道、確定信道和
4、無損確定信道。,【例5.2】 無損信道 無損信道的輸入符號集元素個數(shù)小于輸出符號集的元素個數(shù),信道的一個輸入對應多個互不交叉的輸出,如圖5-2所示,信道輸入符號集X =x1, x2, x3,輸出符號集Y =y1, y2, y3, y4, y5 , y6,其信道轉(zhuǎn)移概率矩陣記為 ,計算該信道的信道容量。,圖5-2 無損信道,2. 根據(jù)定義計算信道容量C 從上式可看出,求信道容量C的問題轉(zhuǎn)化為尋找某種分布q (x) 使信源熵H(X)達到最大,由極大離散熵定理知道,在信源消息等概分布時 ,熵值達到最大,即有,1. 先考察平均互信息量I(X; Y)= H(X)-H(XY),在無噪信
5、道條件下,H(XY)= 0,則平均互信息量I(X; Y)= H(X),3. 根據(jù)平均互信息量I(X; Y)達到信道容量的充要條件式(5-6)對C進行驗證: 先根據(jù)計算出(yj), j =1,2,3,4,5,6,再計算出:,5.2.2 幾類特殊的信道,定義5.1 如果信道轉(zhuǎn)移概率矩陣P中,每一行元素都是另一行相同元素的不同排列,則稱該信道關于行(輸入)對稱。,定義5.2 如果信道轉(zhuǎn)移概率矩陣P中,每一列元素都是另一列相同元素的不同排列,則稱該信道關于列(輸出)對稱。,定義5.3 如果信道轉(zhuǎn)移概率矩陣P可按輸出符號集Y分成幾個子集(子矩陣),而每一子集關于行、列都對稱,稱此信道為準對稱信道。,1.
6、 準對稱信道,【例5.6】 信道輸入符號集X = x1, x2,輸出符號集Y = y1, y2, y3, y4,給定信道 轉(zhuǎn)移概率矩陣 ,求該信道的信道容量C。,這是一個準對稱信道,根據(jù)定理5.3,當X等概分布, 時,信道容量 平均互信息量 I(X; Y)= H(Y)-H(YX) (5-7),定理5.3 實現(xiàn)DMC準對稱信道的信道容量的分布為等概分布。,由 ,先算出 (5-8),將式(5-8)和 代入式(5-7),可算得信道容量
7、 = 0.0325 (比特/符號),【例5.8】 信道輸入符號集X = x1, x2 ,輸出符號集Y = y1, y2, y3,給定信道轉(zhuǎn)移概率矩陣 ,求信道容量C。,設使平均互信息量達到信道容量的信源分布為 q(x1) = ,q(x2) =1- 。 由 可算出,2. 信源只含兩個消息,平均互信息量 I(X; Y) = H(Y) H (YX) = -(1-q) log + (1-) log (1-) 根據(jù)定義,求C的問題就轉(zhuǎn)化為為何值時,I(X; Y ) 達到最大值。令 則信道容量 C = I (X; Y)a=0.5 = 1-q,計算信道容量C按下面步驟進
8、行: (1)先驗證信道轉(zhuǎn)移概率矩陣P =p(yjxi)是方陣,且矩陣P的行列式p(yjxi)0;,3.信道轉(zhuǎn)移概率矩陣為非奇異方陣,(2)計算出逆矩陣P-1= p-1 (yjxk);,(3)根據(jù)式(5-17),計算出;,,(4)根據(jù)式(5-18) ,計算出信道容量C;,,,,(5) 驗證是否滿足q(xi) 0, i =1, 2, , K。 l先由式(5-16) 計算出(yk) k =1, 2, , K l再由式(5-21) 計算,【例5.9】 給出信道轉(zhuǎn)移概率矩陣 ,求信道容量C。,(1)P矩陣的行列式 ,說明P是一個非奇異方陣。,,(2)P的逆矩陣,,(3)算出,(4)信道容量
9、 (奈特/碼符號),(5)下面驗證是否q (xi) 0,i =1, 2 先根據(jù) 算出 再算得,圖5-9 兩個信道,5.3 組合信道的容量,考慮有兩個信道。信道1 信道2:,5.3.1 獨立并行信道,在這種情況下,二個信道作為一個信道使用,傳送符號 ,接收符號 ,根據(jù)定理2.4,對于離散無記憶信道,下式成立 (5-22),對上面不等式兩邊取最大值,得 C C 1 + C2 (5-23),推廣到N個信道的并行組合,當N個信道并行獨立使用時,記Ck (k = 1, 2, , N )為第k個信道
10、的信道容量,C為組合信道的總?cè)萘?,則有 (5-24),等號成立的條件,都要求信源離散無記憶,即要求信道獨立使用且輸入獨立。,5.3.2 和信道,兩個信道輪流使用,使用概率分別為p1, p2,且p1+p2 = 1,記概率分布P =(p1, p2),和信道的平均互信息計算如下 I(P)= I(p1, p2) = p1I(X;Y)+ p 2 I(X /;Y /)+ H 2(P) 式中:H 2(P) = - p1 log p1 - p2 log p2。,根據(jù)定義,有 (5-26),求使式(5-26)取極大值的P 令
11、 ,對數(shù)以2為底,注意到p2 = 1- p1, 得 記 C1 - log p1 = C2 - log p2 = (為待定常數(shù)) (5-27),從式(5-27)中解出: (5-28),,將式(5-28)代入條件p1+p2 = 1,得 (5-29),式(5-28)中的p1, p2就是使平均互信息量I(p1, p2)達到最大的取值,將其代入式(5-26),得:,= (p1+p2)=,將式(5-29)代入式(5-30)得:,推廣到N個信道輪流使用的情況, 當N個信道以不同概率輪流使用時,記Ck (k = 1, 2, , N )為第k個信道的信道容量,C為組合信道
12、的總?cè)萘?,則有 (5-31),5.3.3 串行信道,將兩個信道級聯(lián),有X / = Y,如圖5-10所示 。,圖5-10 串行信道,串行信道的信道轉(zhuǎn)移概率 用矩陣表示為: (5-32),串行級聯(lián)信道的信道轉(zhuǎn)移概率趨向于兩個獨立信道轉(zhuǎn)移概率的均值。若將N個轉(zhuǎn)移概率相同的信道級聯(lián),當N 時,其總信道容量將趨于零。,信道1:P1 = p (yx) ,信道2:P2 = p (yx ) ,信道1和信道2是獨立的,信道2的輸出Z只與其輸入Y及信道轉(zhuǎn)移概率P2 = p (yx )有關,而與X無關。因此信道1和信道2串連就構(gòu)成了一個馬爾可夫鏈,對
13、于馬爾可夫鏈有如下定理:,數(shù)據(jù)處理定理:無論經(jīng)過何種數(shù)據(jù)處理,都不會使信息量增加。,定理5.4 若隨機變量X、Y、Z組成一個馬爾可夫鏈,如圖5-11所示,則有 I(X; Z) I(X; Y) (5-33) I(X; Z) I(Y; Z) (5-34),【例5.11】 兩個離散信道 , ,將它們串行連接使用,如圖 5-10,計算總信道容量C。,(1)先計算總信道的信道轉(zhuǎn)移概率矩陣,串聯(lián)信道的總信道矩陣P等于第一級信道的信道矩陣P1,從而概率滿足 p (yx) = p (zx) (對所有
14、的x,y,z) (5-36),對式(5-36)兩邊關于x求和,得 p (y) = p (z) (5-37) 利用式(5-37),由式(5-36)得,(2)計算信道容量C,在例5.11中,第一個信道是輸入只有兩個消息的情況,設最佳分布為 q (x1) = ,q (x2) = 1-,仿照例5.8可算出 = 0.4,則信道容量C = C1 = 0.32 (比特/符號)。,本章主要定義了信道容量及討論了信道容量的計算方法。討論并證明了使平均互信息量達到信道容量的充要條件,并給出如下幾種
15、情況下信道容量的計算方法 (1) 準對稱信道 (2) 信源只含兩個消息 (3) 信道轉(zhuǎn)移概率矩陣為可逆方陣 還討論了多個信道組合使用情況下,總信道容量的計算方法,討論了以下幾種情況: (1)N個信道獨立并行使用:記每個信道單獨使用時的信道容量為Ck ,k=1,2, , N,則總信道容量C滿足 ,當N個信道獨立輸入且獨立使用時等號成立。 (2)N個信道輪流使用:各信道使用概率為pk ,k =1,2, , N, 總信道容量為 ,每個信道的使用概率為,本 章 小 結(jié),(3)N個信道串聯(lián)使用:記各個信道的信道轉(zhuǎn)移概率矩陣為Pk ,k =1,2, , N,則總信道的信道轉(zhuǎn)移概率矩陣P等于各信道轉(zhuǎn)移概率矩陣相乘,即P = P1 P2 PN ,矩陣的乘法要滿足:左乘矩陣的列數(shù)應等于右乘矩陣的行數(shù),且矩陣相乘不滿足交換率。,