《單符號(hào)離散信道的信道容量》由會(huì)員分享，可在線閱讀，更多相關(guān)《單符號(hào)離散信道的信道容量（23頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、2020/9/4,1,第3章 信道容量,2020/9/4,2,本章主要內(nèi)容,3.1信道的數(shù)學(xué)模型與分類 3.2單符號(hào)離散信道的信道容量 3.3 多符號(hào)離散信道的信道容量 3.4連續(xù)信道及其容量 3.6信道編碼定理,2020/9/4,3,3.2 單符號(hào)離散信道,單符號(hào)離散信道的信道模型 設(shè)輸入端信源符號(hào)集合為： 輸出端信宿符號(hào)集合為： 信道轉(zhuǎn)移概率為：令 信道模型如圖所示 Def：輸入輸出都取值于離散符號(hào)集合，且都用一個(gè)符號(hào)表示一條消息的信道。,,,,,,,單符號(hào)離散信道的數(shù)學(xué)模型,2020/9/4,4,單符號(hào)離散信道的信道統(tǒng)計(jì)特性用轉(zhuǎn)移概率矩陣表示： 信道容量：傳輸信息不失真的條件下的最大平均
2、信息量或最大信息速率Rmax 信道上傳輸?shù)淖畲笃骄畔⒘浚篊=I(X;Y)maxbit/符號(hào) 信道上傳輸?shù)淖畲笮畔⑺俾剩篟max,,信道統(tǒng)計(jì)特性,2020/9/4,5,,信道容量的計(jì)算,,其中：t:傳輸一個(gè)符號(hào)需要的時(shí)間,所以當(dāng)信道特性p(yj/xi)確定以后，信道的容量只和信源概率分布p(xi)有關(guān)。,bit/符號(hào),s/符號(hào),,2020/9/4,6,幾種特殊離散信道的容量,具有一一對(duì)應(yīng)關(guān)系的無噪信道： 輸出集合和輸入集合的每個(gè)符號(hào)一一對(duì)應(yīng)（n=m），見圖3.3(a)。 信道轉(zhuǎn)移概率矩陣為單位陣。 因?yàn)檩斎胼敵鲆灰粚?duì)應(yīng)：所以,此時(shí)信道容量：C=I(X;Y)max=H(X)max= H(Y)m
3、ax =log2n bit/符號(hào),2020/9/4,7,幾種特殊離散信道的容量,具有擴(kuò)展性能的無噪信道： 一對(duì)多（nm）見圖3.3(b),給定一個(gè)輸出，必能找到對(duì)應(yīng)的唯一輸入，即信道疑義度H(X/Y)=0。 信道轉(zhuǎn)移概率矩陣：每列有且只有一個(gè)非零元素。 C=I(X;Y)max =H(X)-H(X/Y) max由于H(X/Y)=0=H(X)max 所以=H(X)max =log2n bit/符號(hào)時(shí)間,n:行數(shù),2020/9/4,8,幾種特殊離散信道的容量,具有歸并性能的無噪信道： 多對(duì)一（nm），見圖3.3(c)，給定一個(gè)輸入，必能找到對(duì)應(yīng)的唯一輸出，即噪聲熵H(Y/X)=0。 信道轉(zhuǎn)移概率
4、矩陣：每行有且只有一個(gè)非零元素。 C=I(X;Y)max=H(Y)-H(Y/X) max由于H(Y/X)=0 所以=H(Y)max =log2m bit/符號(hào)時(shí)間,m:列數(shù),2020/9/4,9,對(duì)稱離散無記憶信道的信道容量,對(duì)稱離散無記憶信道DMC（Discrete Memoryless Channel）：矩陣的每一行都是同一集合Q =(q1,q2,,qm)中各元素的不同排列，每一列都是關(guān)于同一集合P =(p1,p2,,pn)中各元素的不同排列，則稱為對(duì)稱信道。,,,不是對(duì)稱信道,每行的元素都取自同一集合Q=1/6, 1/6,1/3 ,1/3,每列的元素也都取自同一集合P=1/6,1/3
5、,,,,,對(duì)稱信道,對(duì)稱信道,2020/9/4,10,,定理：對(duì)于對(duì)稱DMC，有H(Y|X)= Hmi 證明：,,信道轉(zhuǎn)移概率矩陣任意一行的熵,對(duì)稱：則 H（Y/X）=Hmi =H(1/2,1/3,1/6),2020/9/4,11,,對(duì)稱DMC信道的容量公式： C=I(X;Y)max =H(Y)-H(Y|X)max =H(Y)-Hmimax =H(Y)max-H(q1,q2,,qm) 設(shè)信源為單符號(hào)消息，符號(hào)數(shù)為n,等概分布，通過一個(gè)對(duì)稱的DMC信道，則信宿也等概分布（設(shè)符號(hào)數(shù)為m）, 此時(shí)信道容量為：,,,對(duì)稱DMC信道 的信道容量,,2020/9/4,12,,證明：若信源等概分布時(shí)，
6、若通過對(duì)稱信道，則得到的信宿也等概分布：,,,2020/9/4,13,,例：求P1的信道容量。 解：對(duì)稱DMC,所以,,2020/9/4,14,強(qiáng)對(duì)稱離散信道的信道容量,強(qiáng)對(duì)稱離散信道def:,,,易看出，該信道是一個(gè)特殊的對(duì)稱信道。 求該信道的信道容量。,易知轉(zhuǎn)移概率矩陣為：,,,,,,,,,,,2020/9/4,15,,解：因?yàn)槭菍?duì)稱DMC信道，所以,,2020/9/4,16,準(zhǔn)對(duì)稱DMC的信道容量,準(zhǔn)對(duì)稱DMC（關(guān)于行對(duì)稱或者關(guān)于列對(duì)稱） 二元對(duì)稱刪除信道,或,,,,,,,,,分析信道轉(zhuǎn)移矩陣p， 兩行三列，說明信道有兩個(gè)輸入消息(設(shè)為 )，三個(gè)輸出消息(設(shè)為 ),2020/
7、9/4,17,準(zhǔn)對(duì)稱DMC的信道容量,例：已知 ，求此二元對(duì)稱刪除 矩陣的信道容量C。,,,,,解,需求H(Y),Y的概率分布,2020/9/4,18,,,,,,說明準(zhǔn)對(duì)稱信道達(dá)到容量（極值）時(shí)，信源等概分布,2020/9/4,19,,令上題 ，則 ，叫做二元純刪 除信道，信道轉(zhuǎn)移分布圖為：,,,,說明：輸入符號(hào) 都以1的錯(cuò)誤概率傳至收端， 錯(cuò)判為符號(hào)E,2020/9/4,20,準(zhǔn)對(duì)稱DMC信道容量的求解步驟,歸納求解準(zhǔn)對(duì)稱DMC信道容量的步驟： 1、將轉(zhuǎn)移概率矩陣劃分成若干個(gè)互不相交的子集 2、令信源等概分布 3、 其中: n為信源符號(hào)個(gè)數(shù)，即信道轉(zhuǎn)移矩陣的行數(shù) Hmi：轉(zhuǎn)移概
8、率矩陣第i行的熵 Nk：第k個(gè)子矩陣行元素之和 Mk：第k個(gè)子矩陣列元素之和 注：若準(zhǔn)對(duì)稱信道是關(guān)于列對(duì)稱，可以先進(jìn)行轉(zhuǎn)置，使其變成關(guān)于行對(duì)稱,,2020/9/4,21,,例：求轉(zhuǎn)移概率為圖示P的信道容量。 解： 由于P是關(guān)于行對(duì)稱的準(zhǔn)對(duì)稱矩陣，將P分解： ，則 =log2-H(1/2,1/4,1/8,1/8) - (1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8) =0.061bit/符號(hào),,,矩陣的行數(shù),,矩陣任一行的元素熵,,,,,,,,2020/9/4,22,,例：求轉(zhuǎn)移概率為圖示P的信道容量。 解： 由于P是關(guān)于行對(duì)稱的準(zhǔn)對(duì)稱矩陣，將P分解： ，則 =log2-H(1/3,1/3,1/6,1/6) - (1/3+1/6)log(1/3+1/6)+1/3log(1/3+1/3)+1/6log(1/6+1/6) =0.041bit/符號(hào),,,,,,,,,,,,,2020/9/4,23,Thank You!,
單符號(hào)離散信道的信道容量
