信息論與編碼-第10、11講-第3章信道容量.ppt

《信息論與編碼-第10、11講-第3章信道容量.ppt》由會員分享，可在線閱讀，更多相關(guān)《信息論與編碼-第10、11講-第3章信道容量.ppt（55頁珍藏版）》請在裝配圖網(wǎng)上搜索。

2020 1 22 1 3信道容量 信道的功能 以信號形式傳輸和存儲信息 信道傳輸信息的速率 與物理信道本身的特性 載荷信息的信號形式和信源輸出信號的統(tǒng)計特性有關(guān) 信道容量研究內(nèi)容 在什么條件下 通過信道的信息量最大 3 1信道的數(shù)學(xué)模型和分類3 2單符號離散信道的信道容量3 3多符號離散信道3 4多用戶信道3 5連續(xù)信道3 6信道編碼定理 2020 1 22 2 引言 什么是信道 信道是傳送信息的載體 信號所通過的通道 信息是抽象的 信道則是具體的 比如 二人對話 二人間的空氣就是信道 打電話 電話線就是信道 看電視 聽收音機 收 發(fā)間的空間就是信道 信道的作用在信息系統(tǒng)中信道主要用于傳輸與存儲信息 而在通信系統(tǒng)中則主要用于傳輸 研究信道的目的在通信系統(tǒng)中研究信道 主要是為了描述 度量 分析不同類型信道 計算其容量 即極限傳輸能力 并分析其特性 2020 1 22 3 3 1信道的數(shù)學(xué)模型和分類 1 一般信道的數(shù)學(xué)模型 2 信道的分類 3 實際的信道 2020 1 22 4 1 一般信道的數(shù)學(xué)模型 信道的輸入輸出關(guān)系 一般信道的數(shù)學(xué)模型 2020 1 22 5 信道的輸入輸出關(guān)系 信號在信道中傳輸會引入噪聲或干擾 它使信號通過信道后產(chǎn)生錯誤和失真 信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系 而是統(tǒng)計依賴關(guān)系 知道了信道的輸入信號 輸出信號以及它們之間的依賴關(guān)系 信道的全部特性就確定了 一般來說 輸入和輸出信號都是廣義的時間連續(xù)的隨機信號 可用隨機過程來描述 2020 1 22 6 一般信道的數(shù)學(xué)模型 信道的一般數(shù)學(xué)模型如圖3 1 1所示數(shù)學(xué)模型的數(shù)學(xué)符號表示 XP Y X Y 實際信道帶寬總是有限的 所以輸入和輸出信號總可以分解成隨機序列來研究 隨機序列中每個隨機變量的取值可以是可數(shù)的離散值 也可以是不可數(shù)的連續(xù)值 2020 1 22 7 2 信道的分類 根據(jù)輸入輸出隨機信號的特點分類 根據(jù)輸入輸出隨機變量個數(shù)的多少分類 根據(jù)輸入輸出個數(shù)分類 根據(jù)信道上有無干擾分類 根據(jù)信道有無記憶特性分類 2020 1 22 8 根據(jù)輸入輸出隨機信號的特點分類 離散信道 輸入 輸出隨機變量都取離散值 連續(xù)信道 輸入 輸出隨機變量都取連續(xù)值 半離散 半連續(xù)信道 輸入變量取離散值而輸出變量取連續(xù)值 或反之 2020 1 22 9 根據(jù)輸入輸出隨機變量個數(shù)的多少分類 單符號信道 輸入和輸出端都只用一個隨機變量來表示 多符號信道 輸入和輸出端用隨機變量序列 隨機矢量來表示 2020 1 22 10 根據(jù)輸入輸出個數(shù)分類 單用戶信道 只有一個輸入和一個輸出的信道 多用戶信道 有多個輸入和多個輸出的信道 2020 1 22 11 根據(jù)信道上有無干擾分類 有干擾信道 存在干擾或噪聲或兩者都有的信道 實際信道一般都是有干擾信道 無干擾信道 不存在干擾或噪聲 或干擾和噪聲可忽略不計的信道 計算機和外存設(shè)備之間的信道可看作是無干擾信道 2020 1 22 12 根據(jù)信道有無記憶特性分類 無記憶信道 輸出僅與當前輸入有關(guān) 而與過去輸入無關(guān)的信道 有記憶信道 信道輸出不僅與當前輸入有關(guān) 還與過去輸入和 或 過去輸出有關(guān) 2020 1 22 13 3 實際的信道 實際信道的帶寬總是有限的 所以輸入和輸出信號總可以分解成隨機序列來研究 一個實際信道可同時具有多種屬性 最簡單的信道是單符號離散信道 2020 1 22 14 3 2單符號離散信道的信道容量 3 2 1信道容量定義3 2 2幾種特殊離散信道的信道容量3 2 3離散信道容量的一般計算方法 2020 1 22 15 3 2 1信道容量定義 1 單符號離散信道的數(shù)學(xué)模型 2 信息傳輸率 3 信道容量 4 結(jié)論 2020 1 22 16 1 單符號離散信道的數(shù)學(xué)模型 信道模型 信道統(tǒng)計特性 2020 1 22 17 信道模型 設(shè)輸入X x1 x2 xi xn 輸出Y y1 y2 yj ym 其信道模型如圖3 2 1所示 2020 1 22 18 信道統(tǒng)計特性 信道統(tǒng)計特性描述 由信道轉(zhuǎn)移概率描述 信道轉(zhuǎn)移概率 信道傳遞概率 條件概率p yj xi 信道特性表示 用信道轉(zhuǎn)移概率矩陣 簡稱信道矩陣 反信道矩陣 由條件概率p xi yj 表示 2020 1 22 19 2 信道的信息傳輸率 如果信源熵為H X 希望在信道輸出端接收的信息量就是H X 由于干擾的存在 一般只能接收到I X Y 信道的信息傳輸率 就是平均互信息R I X Y 輸出端Y往往只能獲得關(guān)于輸入X的部分信息 這是由于平均互信息性質(zhì)決定的 I X Y H X I X Y 是信源無條件概率p xi 和信道轉(zhuǎn)移概率p yj xi 的二元函數(shù) 2020 1 22 20 3 信道容量 當信道特性p yj xi 固定后 I X Y 隨信源概率分布p xi 的變化而變化 調(diào)整p xi 在接收端就能獲得不同的信息量 由平均互信息的性質(zhì)已知 I X Y 是p xi 的上凸函數(shù) 因此總能找到一種概率分布p xi 即某一種信源 使信道所能傳送的信息率為最大 信道容量C 在信道中最大的信息傳輸速率 單位是比特 信道符號 單位時間的信道容量Ct 若信道平均傳輸一個符號需要t秒鐘 則單位時間的信道容量為Ct實際是信道的最大信息傳輸速率 2020 1 22 21 4 結(jié)論 C和Ct都是求平均互信息I X Y 的條件極大值問題 當輸入信源概率分布p xi 調(diào)整好以后 C和Ct已與p xi 無關(guān) 而僅僅是信道轉(zhuǎn)移概率的函數(shù) 只與信道統(tǒng)計特性有關(guān) 信道容量是完全描述信道特性的參量 信道容量是信道能夠傳送的最大信息量 2020 1 22 22 3 2 2幾種特殊離散信道的信道容量 1 離散無噪信道的信道容量 2 強對稱離散信道的信道容量 3 對稱離散信道的信道容量 4 準對稱離散信道的信道容量 2020 1 22 23 1 離散無噪信道的信道容量 具有一一對應(yīng)關(guān)系的無噪信道 具有擴展性能的無噪信道 具有歸并性能的無噪信道 結(jié)論 2020 1 22 24 具有一一對應(yīng)關(guān)系的無噪信道 這種信道如圖3 2 2所示對應(yīng)的信道矩陣是 2020 1 22 25 因為信道矩陣中所有元素均是 1 或 0 X和Y有確定的對應(yīng)關(guān)系 已知X后Y沒有不確定性 噪聲熵H Y X 0 反之 收到Y(jié)后 X也不存在不確定性 信道疑義度H X Y 0 故有I X Y H X H Y 當信源呈等概率分布時 具有一一對應(yīng)確定關(guān)系的無噪信道達到信道容量 2020 1 22 26 具有擴展性能的無噪信道 此信道的舉例如圖3 2 3所示 n m 輸入X的符號集個數(shù)小于輸出Y的符號集個數(shù) 其信道矩陣如下 2020 1 22 27 雖然信道矩陣中的元素不全是 1 或 0 但由于每列中只有一個非零元素 已知Y后 X不再有任何不確定度 信道疑義度H X Y 0 I X Y H X H X Y H X 例如 輸出端收到y(tǒng)2后可以確定輸入端發(fā)送的是x1 收到y(tǒng)7后可以確定輸入端發(fā)送的是x3 等等 信道容量為與一一對應(yīng)信道不同的是 此時輸入端符號熵小于輸出端符號熵 H X H Y 2020 1 22 28 具有歸并性能的無噪信道 這種信道如圖3 2 4所示 n m 輸入X的符號集個數(shù)大于輸出Y的符號集個數(shù) 其信道矩陣如下 2020 1 22 29 信道矩陣中的元素非 0 即 1 每行僅有一個非零元素 但每列的非零元素個數(shù)大于1 已知某一個xi后 對應(yīng)的yj完全確定 信道噪聲熵H Y X 0 但是收到某一個yj后 對應(yīng)的xi不完全確定 信道疑義度H X Y 0 信道容量為這種信道輸入端符號熵大于輸出端符號熵 H X H Y 注意 在求信道容量時 調(diào)整的始終是輸入端的概率分布p xi 盡管信道容量式子中平均互信息I X Y 等于輸出端符號熵H Y 但是在求極大值時調(diào)整的仍然是輸入端的概率分布p xi 而不能用輸出端的概率分布p yj 來代替 2020 1 22 30 舉例 圖3 2 4的信道容量是log23 1 585 比特 信道符號 求要達到這一信道容量對應(yīng)的信源概率分布 由信道矩陣得p y1 p x1 1 p x2 1p y2 p x3 1 p x4 1p y3 p x5 1只要p y1 p y2 p y3 1 3 H Y 達到最大值 即達到信道容量C 此時使p y1 p y2 p y3 1 3 的信源概率分布 p xi i 1 2 3 4 5存在 但不是惟一的 這種信道的輸入符號熵大于輸出符號熵 即H X H Y 2020 1 22 31 結(jié)論 無噪信道的信道容量C只決定于信道的輸入符號數(shù)n 或輸出符號數(shù)m 與信源無關(guān) 2020 1 22 32 2 強對稱離散信道的信道容量 什么是強對稱離散信道 強對稱信道矩陣特點 強對稱離散信道的信道容量 輸入是什么概率分布時達到信道容量 二進制均勻信道 2020 1 22 33 什么是強對稱離散信道 單符號離散信道的X和Y取值均由n個不同符號組成 即X x1 x2 xi xn Y y1 y2 yj yn 信道矩陣為這種信道稱為強對稱 均勻信道 這類信道中 總的錯誤概率是p 對稱平均地分配給 n 1 個輸出符號 信道矩陣中每行之和等于1 每列之和也等于1 一般信道矩陣中 每列之和不一定等于1 2020 1 22 34 強對稱信道矩陣特點 強對稱信道矩陣 它的每一行和每一列都是同一集合各個元素的不同排列 由平均互信息定義 Hni的意義 是固定X xi時對Y求和 相當于在信道矩陣中選定了某一行 對該行上各列元素的自信息求加權(quán)和 由于信道的對稱性 每一行都是同一集合的不同排列 所以當xi不同時 Hni只是求和順序不同 求和結(jié)果完全一樣 所以Hni與X無關(guān) 是一個常數(shù) 2020 1 22 35 強對稱離散信道的信道容量 因此如何達到信道容量 求一種輸入分布使H Y 取最大值 現(xiàn)已知輸出符號集Y共有n個符號 則H Y log2n 根據(jù)最大離散熵定理 只有當p yj 1 n 即輸出端呈等概率分布時 H Y 才達到最大值log2n 要獲得這一最大值 可通過公式尋找相應(yīng)的輸入概率分布 一般情況下不一定存在一種輸入符號的概率 使輸出符號達到等概率分布 但強對稱離散信道存在 2020 1 22 36 輸入是什么概率分布時達到信道容量 強對稱離散信道的輸入和輸出之間概率關(guān)系可用矩陣表示為信道矩陣中的每一行都是由同一集合中的諸元素的不同排列組成 所以保證了當輸入符號X是等概率分布 即p xi 1 n 時 輸出符號Y一定是等概率分布 這時H Y log2n 相應(yīng)的信道容量為 2020 1 22 37 結(jié)論 當信道輸入呈等概率分布時 強對稱離散信道能夠傳輸最大的平均信息量 即達到信道容量 這個信道容量只與信道的輸出符號數(shù)n和相應(yīng)信道矩陣中的任一行矢量有關(guān) 2020 1 22 38 二進制均勻信道 當n 2時的強對稱離散信道就是二進制均勻信道 二進制均勻信道的信道容量為 二進制均勻信道容量曲線如圖3 2 5所示 2020 1 22 39 3 對稱離散信道的信道容量 可排列性 對稱離散信道定義 對稱離散信道的信道容量 2020 1 22 40 可排列性 行可排列 一個矩陣的每一行都是同一集合Q q1 q2 qm 中諸元素的不同排列 列可排列 一個矩陣的每一列都是同一集合P p1 p2 pn 中諸元素的不同排列 矩陣可排列 具有可排列性 一個矩陣的行和列都是可排列的 2020 1 22 41 對稱離散信道定義 對稱離散信道 信道矩陣具有可排列性 行 列集合的特點當mn時 P是Q的子集 當m n時 Q和P兩個集合中 一個必定是另一個的子集 因為矩陣中的每一個元素既是行集合Q中的元素 又是列集合P中的元素 當m n時 Q和P中的所有元素重合 Q和P是同一集合 2020 1 22 42 舉例 2020 1 22 43 對稱離散信道的信道容量 平均互信息 2020 1 22 44 對稱離散信道的信道容量與強對稱的形式相同 只是這里m n 由于對稱信道的特點 X等概率分布時 Y也是等概率分布 從而使Y的熵達到最大值log2m 即信道容量 2020 1 22 45 4 準對稱離散信道的信道容量 準對稱離散信道定義 一個n行m列單符號離散信道矩陣 P 的行可排列 列不可排列 但是矩陣中的m列可分成S個不相交的子集 各子集分別有m1 m2 ms個元素 m1 m2 ms m 由n行mk k 1 2 s 列組成的子矩陣 P k具有可排列性 舉例兩個子矩陣均是可排列的 故信道 P 是準對稱信道 2020 1 22 46 可以證明 對于準對稱信道 信道輸入的最佳分布是等概率分布 而信道容量為 定理 準對稱離散信道的信道容量是在信道輸入為等概率分布時達到的 2020 1 22 47 兩個互不相交的子集 而每個子集都是對稱信道形式 對應(yīng)參數(shù)分別為 2020 1 22 48 N1 1 q N2 q M1 1 q M2 2q根據(jù)準對稱離散信道的信道容量計算公式求解 2020 1 22 49 圖3 4二元對稱純刪除信道 2020 1 22 50 解通過觀測可知 該信道是準對稱信道 可以分解為三個互不相交的子集 分別為 2020 1 22 51 2020 1 22 52 3 2 3離散信道容量的一般計算方法 當信道不具有對稱性時 信道容量不容易求出 從信道容量的定義知道 信道容量就是在信道給定條件下 即信道轉(zhuǎn)移矩陣一定條件下 從信道所有可能輸入概率分布中尋找一種最佳分布 使得信道輸入 輸出之間的平均互信息量最大 換句話說 使得信道的輸入概率分布與信道匹配 對于一般離散信道 首先假設(shè)信道的輸入概率分布 根據(jù)信道容量的定義和輸入概率分布的約束條件 直接求解極值問題即可得到最佳分布 然后根據(jù)最佳分布計算信道輸入 輸出之間的平均互信息量 從而得到信道容量 如果信道輸入 輸出符號數(shù)量較少 那么這種方法是可行的 例3 5信道轉(zhuǎn)移矩陣為 2020 1 22 53 求信道輸入最佳分布和信道容量C 解觀察信道轉(zhuǎn)移矩陣可知 該信道不是對稱的 信道的輸入 輸出符號數(shù)量都為2 假設(shè)信道輸入符號的概率分別為p和1 p 可以得到平均互信息量 根據(jù)假設(shè)的信道輸入的概率分布 求出信道輸出概率分布p yj p y1 0 9p 0 2 1 p 0 2 0 7p p y2 0 1p 0 8 1 p 0 8 0 7p 輸入 輸出之間的平均互信息量為 2020 1 22 54 將相關(guān)參數(shù)代入上述計算公式 得到 對I X Y 求導(dǎo) 得到最佳分布 2020 1 22 55 得到p 0 532 所以信道容量為C maxI X Y 0 415比特 符號從該例可以看出 即使是簡單的非對稱二元信道 其最佳分布的求解也十分復(fù)雜 不借用計算機很難求出最佳分布 所以一般離散信道的信道容量的求解通過計算機進行