《《信道與信道容量新》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《信道與信道容量新》PPT課件.ppt（49頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。
1、普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,1,主要內(nèi)容,信道分類與表示方法 信道容量的計(jì)算,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,2,第3章信道與信道容量,信道分類和表示參數(shù) 離散單個(gè)符號信道及其容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,3,3.1信道分類和表示參數(shù),信道分類 用戶數(shù)量：單用戶、多用戶 輸入端和輸出端關(guān)系：無反饋、有反饋 信道參數(shù)與時(shí)間的關(guān)系：固參、時(shí)變參 噪聲種類： 隨機(jī)差錯(cuò)、突發(fā)差錯(cuò) 輸入輸出特點(diǎn)：離散、連續(xù)、半離散半連續(xù)、 波形信道,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著
2、,4,3.1信道分類和表示參數(shù),信道參數(shù),普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,5,3.1信道分類和表示參數(shù),信道種類,1、無干擾（無噪聲）信道,,2、有干擾無記憶信道,信道的輸出信號Y與輸入信號X之間又確定的關(guān)系。,信道的輸出信號Y與輸入信號X之間沒有確定關(guān)系,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,6,3.1信道分類和表示參數(shù),1）二進(jìn)制對稱信道（BSC）,,由于這種信道的輸出比特僅與對應(yīng)時(shí)刻的一個(gè)輸入比特,有關(guān)，而與以前的輸入無關(guān)，所以這種信道是無記憶的,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,7,3.1信道分類和表示
3、參數(shù),2)離散無記憶信道,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,8,3.1信道分類和表示參數(shù),設(shè)計(jì)和分析離散信道編碼、解碼器的性能 DMC信道模型 分析性能的理論極限，則多用離散輸入、連續(xù)輸出,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,9,3.2離散單個(gè)符號信道及其容量,信息傳輸率 信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘慷x為信息傳輸速率 R=I(X;Y)=H(X)H(X/Y) 比特/符號 Rt=I(X;Y)/t 比特/秒,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,10,3.2離散單個(gè)符號信道及其容量,信道容量,比特/符
4、號（bits/symbol或bits/channel use）,對于某特定信道，若轉(zhuǎn)移概率,,已經(jīng)確定，則互信息就,是關(guān)于輸入符號分布函數(shù),,,型凸函數(shù),如果已知符號傳送周期是T秒，也可以“秒”為單位來計(jì)算,信道容量，此時(shí),,Bit/s、nat/s,注：對于特定的信道，信道容量是個(gè)定值，但在傳輸信息 時(shí)信道能否提供最大傳輸能力，則取決于輸入端的概率分布。,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,11,3.2離散單個(gè)符號信道及其容量,3.2.1無干擾離散信道的信道容量,X、Y一一對應(yīng) CmaxI(X;Y)log n,多個(gè)輸入變成一個(gè)輸出 CmaxI(X;Y)maxH(Y),
5、一個(gè)輸入對應(yīng)多個(gè)輸出 CmaxI(X;Y)maxH(X),普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,12,3.2離散單個(gè)符號信道及其容量,對稱DMC信道定義 輸入對稱 如果轉(zhuǎn)移概率矩陣P的每一行都是第一行的置換(包含同樣元素)，稱該矩陣是輸入對稱 輸出對稱 如果轉(zhuǎn)移概率矩陣P的每一列都是第一列的置換(包含同樣元素)，稱該矩陣是輸出對稱 對稱的DMC信道 如果輸入、輸出都對稱,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,13,3.2離散單個(gè)符號信道及其容量,對稱DMC信道例子,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,14,3.2離散單個(gè)
6、符號信道及其容量,輸入對稱,輸出對稱,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,15,3.2離散單個(gè)符號信道及其容量,對稱信道容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,16,3.2離散單個(gè)符號信道及其容量,Eg. 求信道容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,17,第六講,復(fù)習(xí) 離散單個(gè)符號的信道及其容量 信道的描述 對稱DMC信道及其信道容量的計(jì)算 本節(jié)內(nèi)容 準(zhǔn)對稱DMC信道 一般DMC信道 離散序列信道及其容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,18,3.2離散單個(gè)符號信道及其容量,Eg.
7、 求信道容量,信道輸入符號和輸出符號的個(gè)數(shù)相同，都為n，且正確的傳輸概率為1，錯(cuò)誤概率被對稱地均分給n-1個(gè)輸出符號，此信道稱為強(qiáng)對稱信道或均勻信道，是對稱離散信道的一個(gè)特例,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,19,3.2離散單個(gè)符號信道及其容量,二進(jìn)制對稱信道容量 C1H（）,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,20,3.2離散單個(gè)符號信道及其容量,串聯(lián)信道,C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W),普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,21,3.2離散單個(gè)符號信道及其容量,Eg.設(shè)有
8、兩個(gè)離散BSC信道串接，兩個(gè)BSC信道的轉(zhuǎn)移矩陣如下，求信道容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,22,3.2離散單個(gè)符號信道及其容量,信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2 (1-),普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,23,3.2離散單個(gè)符號信道及其容量,準(zhǔn)對稱DMC信道 如果轉(zhuǎn)移概率矩陣P是輸入對稱而輸出不對稱，即轉(zhuǎn)移概率矩陣P的每一行都包含同樣的元素而各列的元素可以不同，則稱該信道是準(zhǔn)對稱DMC信道,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,24,3.2離散單個(gè)符號信道及其容量,準(zhǔn)對稱DMC
9、信道容量 對于準(zhǔn)對稱DMC信道，當(dāng)輸入分布為等概分布時(shí)，互信息達(dá)到最大值，即為信道容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,25,3.2離散單個(gè)符號信道及其容量,Eg. 求信道容量,方法一： 信道的輸入符號有兩個(gè)，可設(shè)p(a1)，p(a2)1信道的輸出符號有三個(gè)，用b1、b2、b3表示,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,26,3.2離散單個(gè)符號信道及其容量,當(dāng)p(a1)p(a2)1/2時(shí)，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符號,方法二 將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的對稱的子集,
10、n為輸入符號集個(gè)數(shù)；p1，p2，ps是轉(zhuǎn)移概率矩陣P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k個(gè)子矩陣中行元素之和，Mk是第k個(gè)子矩陣中列元素之和，r是互不相交的子集個(gè)數(shù),普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,27,3.2離散單個(gè)符號信道及其容量,方法二,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,28,3.2離散單個(gè)符號信道及其容量,Eg. 求信道容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,29,3.2離散單個(gè)符號信道及其容量,一般DMC信道 1972年由R.Blahut和A.Arimoto分別獨(dú)立提出的
11、一種算法，現(xiàn)在稱為Blahut-Arimoto算法 I(ai;Y) = C 對于所有滿足p(ai ) 0條件的I I(ai;Y) C 對于所有滿足p(ai ) = 0條件的I當(dāng)信道平均互信息達(dá)到信道容量時(shí)，輸入符號概率集p(ai)中每一個(gè)符號ai對輸出端Y提供相同的互信息，只是概率為零的符號除外,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,30,3.3離散序列信道及其容量,離散序列信道,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,31,3.3離散序列信道及其容量,離散無記憶序列信道,1,1,1,1,1,進(jìn)一步信道是平穩(wěn)的,,,普通高等教育“十五”國家級規(guī)劃教
12、材信息論與編碼 曹雪虹等編著,32,3.3離散序列信道及其容量,離散無記憶序列信道,1,1,1,1,1,,,如果信道無記憶,如果輸入矢量X中的各個(gè)分量相互獨(dú)立,,,,當(dāng)信道平穩(wěn)時(shí)CL=LC1，一般情況下，I(X;Y) LC1,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,33,3.3離散序列信道及其容量,1,1,1,1,1,,,,,,BSC的二次擴(kuò)展信道,X00,01,10,11，Y00,01,10,11，二次擴(kuò)展無記憶信道的序列轉(zhuǎn)移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/
13、0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2,00,10,11,01,00,01,10,11,擴(kuò)展信道 如果對離散單符號信道進(jìn)行L次擴(kuò)展，就形成了L次離散無記憶序列信道,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,34,3.3離散序列信道及其容量,擴(kuò)展信道,1,1,1,1,,,,,,,,若p0.1，則C220.9381.062比特/序列,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,35,3.3離散序列信道及其容量,獨(dú)立并聯(lián)信道 序列的轉(zhuǎn)移概率p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL)
14、,1,1,1,1,,,,,,,,X1 p(Y1/X1) Y1 X2 p(Y2/X2) Y2 XL p(YL/XL) YL,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,36,3.4連續(xù)信道及其容量,連續(xù)單符號加性信道,,,,,,,,,x (xR) p(y/x) y (yR),連續(xù)單符號信道,n pn(n)N(0, 2),平均互信息為I(X;Y)HC(X)HC(X/Y) HC(Y)HC(Y/X) HC(X)HC(Y)HC(XY) 信道容量,,,噪聲是均值為零、方差為2的加性高斯噪聲,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,37,3.
15、4連續(xù)信道及其容量,連續(xù)單符號加性信道,,,,,,,pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，所以pX(x)N(0,S),,C1/2 log(1+SNR),信道輸入X是均值為零、方差為S的高斯分布隨機(jī)變量時(shí)，信息傳輸率達(dá)到最大值,若是加性的，可以求出信道容量的上下界,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,38,3.4連續(xù)信道及其容量,多維無記憶加性連續(xù)信道,,,,,,,,,信道輸入隨機(jī)序列XX1X2XL，輸出隨機(jī)序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值為零的高斯噪聲,,,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編
16、碼 曹雪虹等編著,39,3.4連續(xù)信道及其容量,連續(xù)單符多維無記憶高斯加性信道就可等價(jià)成L個(gè)獨(dú)立的并聯(lián)高斯加性信道號加性信道,,,,,,,,,,,比特/L維自由度,因此當(dāng)且僅當(dāng)輸入隨機(jī)矢量X中各分量統(tǒng)計(jì)獨(dú)立，且是均值為零、方差為Pl的高斯變量時(shí)，才能達(dá)到此信道容量,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,40,3.4連續(xù)信道及其容量,,,,,,,,,,討論,均值為零、方差相同,,均值為零、方差不同，總平均功率受限,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,41,3.4連續(xù)信道及其容量,,,,,,,,,,討論,,,,,,,,,,各個(gè)時(shí)刻的信道輸出功率
17、相等設(shè)為常數(shù),,,,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,42,3.4連續(xù)信道及其容量,,,,,,,,,,,,,,,,,,,eg有一并聯(lián)高斯加性信道，各子信道噪聲方差為 0.1， 0.2， 0.3， 0.4， 0.5， 0.6， 0.7， 0.8， 0.9， 1.0,,,,,,,,,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,43,3.4連續(xù)信道及其容量,限時(shí)限頻限功率加性高斯白噪聲信道,,,,,,,,波形信道的平均互信息為,,,,信道容量為,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,44,3.4連續(xù)信道及其容量,限時(shí)限
18、頻限功率加性高斯白噪聲信道,,,,,,,,限頻(W)高斯白噪聲過程可分解L2WtB維統(tǒng)計(jì)獨(dú)立的隨機(jī)序列,,,,其中：,,,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,45,3.4連續(xù)信道及其容量,限時(shí)限頻限功率加性高斯白噪聲信道,,,,,,,,,,,,,,,信道的容量,,單位時(shí)間的信道容量,香農(nóng)公式,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,46,3.4連續(xù)信道及其容量,,,,,,,,,,討論,帶寬W一定時(shí)，信噪比SNR與信道容量Ct成對數(shù)關(guān)系,,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,47,3.4連續(xù)信道及其容量,,,,,,,,,,討論,當(dāng)輸入信號功率PS一定，增加信道帶寬，可以增加容量,,,,,ln(1+x) x,PS/N0ln 2-1.6dB，即當(dāng)帶寬不受限制時(shí)，傳送1比特信息，信噪比最低只需-1.6dB （香農(nóng)限）,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,48,3.4連續(xù)信道及其容量,,,,,,,,,,討論,Ct一定時(shí)，帶寬W增大，信噪比SNR可降低，即兩者是可以互換的,,,,普通高等教育“十五”國家級規(guī)劃教材信息論與編碼 曹雪虹等編著,49,3.4連續(xù)信道及其容量,,,,,,,,,,Eg電話信道的帶寬為3.3kHz，若信噪功率比為20dB，即SNR100，求信道的容量,,,,
《信道與信道容量新》PPT課件.ppt
