《《信道容量及其計算》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《信道容量及其計算》PPT課件.ppt（27頁珍藏版）》請在裝配圖網(wǎng)上搜索。
1、第四講,41 信道容量 42 信道容量的計算方法,信道容量及其計算,,1、常見的簡單DMC離散信道：,二元對稱信道 （DSC）：輸入符號X取值于0,1， 輸出符號取值于0,1，傳遞概率為,41 信道容量,,,二元刪除信道 （BEC）：輸入符號X取值于 0, 1， 輸出符號取值于 0, 2, 1，傳遞概率為,,,,,0,1,q,1-p,1-q,p,1,2,0,,刪除信道的必要性,2、 信道容量定義,信息傳輸率：信道中平均每個符號所能傳送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符號）,有時我們需要關(guān)心單位時間內(nèi)（一般為秒為單位）平均傳輸?shù)男畔⒘?，若平?/p>
2、傳輸一個符號需要 t 秒，則信道每秒平均傳輸?shù)男畔⒘繛椋ㄋ俾剩?I（X；Y）是輸入隨機變量的概率分布的上凸函數(shù)，所以對于固定的信道，總存在一種信源分布，使傳輸每個符號平均獲得的信息量最大，也就是說，每一個固定信道都有一個最大的信息傳輸率。 信道容量定義為信道中每個符號所能傳遞的最大信息量，也就是最大 I (X；Y)值。,此時輸入的概率分布稱為最佳輸入分布。,信道容量C與輸入信源的概率無關(guān)（C只對應(yīng)著一種信源概率分布，即最佳概率分布），它只是信道傳輸概率的函數(shù)（不同的轉(zhuǎn)移概率對應(yīng)不同的信道），只與信道的統(tǒng)計特性有關(guān)，所以信道容量是完全描述信道特性的參量。,信道容量表示了信道傳送信息的最大能力
3、，這個量在信息論研究中有重要意義。編碼定理將證明：傳送的信息量R必須小于信道容量C，否則傳送過程中將會造成信息損失；若R
4、,,,,,,,1/3,1/3,1/6,1/6,1/3,1/3,1/6,1/6,二元對稱信道的容量：,例：,,,,,0. 7,0. 1,0. 2,0. 2,0. 1,,,0. 7,對于對稱信道,由于信道是對稱的，上邊的條件熵與x無關(guān)，所以,對于對稱信道，輸入符號的概率分布為等概時，輸出符號也一定是等概的。,例：,( P 95例3. 5 ),輸出符號集個數(shù),,（2）、準對稱信道的容量,準對稱信道：信道矩陣（列）的子陣是對稱矩陣。,定理：達到準對稱離散信道信道容量的輸入分布為 等概分布。,r是輸入個數(shù)，n是不相交子集數(shù)，Nk是行之和，Mk是列之和,解：達到信道容量的輸入分布為等概分布。,此時輸出分
5、布為：,例：求二元對稱刪除信道的C。（例3.8中特例 ）,,,1-q,q,q,,,1-q,0,1,2,（與公式計算的結(jié)果相同）,此時平均互信息就是信道容量,此例題可作為后面：一般信道容量充分必要條件定理 的例子。該定理說明：只要信源每個符號對于輸出端 Y提供相同的互信息（概率為零的除外），則此時 平均互信息就是信道容量。,定理：一般離散信道的平均互信息 I(X;Y) 達到極大 值的充要條件是：輸入概率矢量 滿足 其中 是信道輸入x=k時，關(guān)于信道輸 出一個字母的平均互信息，即,（3）、一般DMC容量的計算,一般信道容量的計算方法 （拉格朗日乘子法）,定理1：
6、如果信道的輸入隨機序列為 通過信道傳輸，接收到的隨機序列為 若信道是無記憶的，即滿足 則,,（4）、擴展信道的信道容量,證明：設(shè)信道輸入輸出序列X和Y的一個取值為,因為信道是無記憶的：,另一方面,這里用到（全概率公式）,定理2：如果信道的輸入隨機序列為 通過信道傳輸，接收到的隨機序列為 若信源是無記憶的，即滿足 則,所以，如果信道和信源都是無記憶的，則,,（5）、信道的組合,并聯(lián)信道：兩個或更多個信道并行，同時分別傳送；,信道1 p(j|k),,,信道2 p(j|k),,,定理：獨立并行信道的容量為各分信道容量之和。,級聯(lián)信道：信道1的輸出作為信道2的輸入。,和信道：隨機選取信道1或信道2傳送，（并信道）。,定理：和信道的容量滿足下式,第四講 信道容量及其計算 結(jié) 束,
《信道容量及其計算》PPT課件.ppt
