信息傳輸與信道容量.ppt

《信息傳輸與信道容量.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《信息傳輸與信道容量.ppt（22頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

第三部分信息論,,下午11時(shí)37分,2,第三部分信息論,信息論的三個(gè)基本內(nèi)容：信息的度量；信息的信道容量；為利用信道容量傳輸信息所需要的編碼。相應(yīng)的基本結(jié)論為：如果一個(gè)信息源所發(fā)出的信息速率不超過信道容量，則盡管有噪聲存在，我們總可以找到一種編碼方法，使全部信息以任意小的差錯(cuò)頻度傳過信道。編碼過程有兩類：信源編碼和信道編碼。信源編碼——降低信息速率；信道編碼——等效無噪信道。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,3,第十章信息傳輸與信道容量,10.1離散信道的信息傳輸1.互信息與條件熵設(shè)有兩個(gè)符號(hào)組：已知聯(lián)合概率和條件概率：定義互信息：則平均互信息為：,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,4,第十四章信息傳輸與信道容量,即定義條件熵則有,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,5,第十四章信息傳輸與信道容量,容易證明：1）2）證明：2）因?yàn)?，所以因此?,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,6,第十四章信息傳輸與信道容量,在信號(hào)傳輸中，需要傳輸?shù)男盘?hào)為接收到的信號(hào)為通信中的最主要的問題就是利用接收到的信號(hào)來判斷傳輸?shù)男盘?hào)是什么。信息熵表明傳輸信號(hào)所具有的平均信息量；條件熵表明X相對(duì)于Y的平均信息量(或丟失的信息)；因此互信息量表明每個(gè)接受到的符號(hào)所獲得的平均信息量.,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,7,第十四章信息傳輸與信道容量,信息熵表明接收信號(hào)所具有的平均信息量；條件熵表明Y相對(duì)于X的平均信息量(或噪聲帶來的噪聲熵)；互信息量表明每個(gè)接受到的符號(hào)所獲得的平均信息量例二元對(duì)稱信道(BSC),,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,8,第十四章信息傳輸與信道容量,已知傳輸信號(hào)有傳輸過程中的錯(cuò)誤概率為,下面來計(jì)算互信息量.首先定義函數(shù)由題意知?jiǎng)t有,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,9,第十四章信息傳輸與信道容量,所以互信息量為,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,10,第十四章信息傳輸與信道容量,2.離散信道容量——表明每個(gè)接受到的符號(hào)所獲得的平均信息量若信源給定，源點(diǎn)、宿點(diǎn)字符組以及前向轉(zhuǎn)移概率都固定，則只與有關(guān)。為實(shí)現(xiàn)最大信息傳輸，信源必須滿足一定條件，可以通過信源編碼實(shí)現(xiàn)，令即每個(gè)符號(hào)所傳輸?shù)淖畲笮畔⒘浚Q之為信道容量。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,11,第十四章信息傳輸與信道容量,若為信道允許的最大符號(hào)速率，則代表信道傳輸?shù)淖畲笏俾?，它也可以用來描繪信道容量。山儂有噪聲信道基本定理如一信道有容量，信源信息速率，則總可以找到一種編碼系統(tǒng)（信道編碼與信源編碼），使信源輸出以任意小的差錯(cuò)頻度傳過信道；反之，如果，則無差錯(cuò)地傳輸信息是不可能的。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,12,第十四章信息傳輸與信道容量,14.2連續(xù)信道1.連續(xù)信息連續(xù)信號(hào)（隨機(jī)信號(hào)），各態(tài)歷經(jīng)，帶寬有限?？梢缘玫竭B續(xù)隨機(jī)變量其概率密度函數(shù)為。定義離散隨機(jī)變量則當(dāng)時(shí)，。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,13,第十四章信息傳輸與信道容量,利用離散情況信息熵的定義，可以得到的絕對(duì)信息熵：其中。稱為相對(duì)信息熵（信息熵），與離散情況不同的是，可以取正、負(fù)或零。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,14,第十四章信息傳輸與信道容量,問題：對(duì)于給定信源，如何選擇，可以使得達(dá)到最大？更一般地，此問題可以描繪成一個(gè)泛函問題：尋找，使得積分達(dá)到最大，其中受個(gè)約束條件限制：,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,15,第十四章信息傳輸與信道容量,根據(jù)變分學(xué)中的定理，當(dāng)滿足時(shí)，為最大（或最小）。至少有一個(gè)約束條件：例1（具有固定平均功率的信源熵）已知某信源有概率密度函數(shù)，且滿足其中為固定值。試給出到達(dá)最大熵的。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,16,第十四章信息傳輸與信道容量,解：此時(shí)有按照前面的結(jié)論，有所以帶入約束條件有,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,17,第十四章信息傳輸與信道容量,解得所以達(dá)到最大熵時(shí)，有此時(shí)最大熵為,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,18,第十四章信息傳輸與信道容量,2.連續(xù)信道容量傳輸信號(hào)，接收信號(hào)為則可以定義平均互信息量容易證明類似地，有通常，已知前向轉(zhuǎn)移概率密度函數(shù)，則所傳遞的最大信息為,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,19,第十四章信息傳輸與信道容量,若信道具有固定帶寬，則是帶寬為的帶限信號(hào)；因此可以由滿足奈奎斯特抽樣率的抽樣值完全確定，所以最大信息傳輸速率為如果給定一個(gè)連續(xù)傳輸信道為加性高斯白噪聲信道(AWGN)，滿足如下條件：1）信道可在帶寬范圍內(nèi)實(shí)現(xiàn)無畸變傳輸，任何傳輸損耗都將得到補(bǔ)償；2）信道把來自信源的輸入限制為具有固定平均功率的帶限信號(hào)；,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,20,第十四章信息傳輸與信道容量,3）宿點(diǎn)所收到的信號(hào)被均值為零，平均功率為的帶限加性高斯白噪聲所污染；4）信號(hào)與噪聲相互獨(dú)立，因而，以及對(duì)于此特殊信道，可以計(jì)算信道容量。1）計(jì)算噪聲熵：,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,21,第十四章信息傳輸與信道容量,所以有2）計(jì)算信道容量：又所以,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時(shí)37分,22,第十四章信息傳輸與信道容量,所以因此最大傳輸速率為這就是在哈特萊－山儂定理中給出的可靠信息傳輸?shù)纳舷?，即在滿足信息速率的條件下，無錯(cuò)誤的傳輸在理論上講是可能的。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,