《信道容量及其計(jì)算.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《信道容量及其計(jì)算.ppt（27頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、第四講,41 信道容量 42 信道容量的計(jì)算方法,信道容量及其計(jì)算,,1、常見的簡單DMC離散信道：,二元對(duì)稱信道 （DSC）：輸入符號(hào)X取值于0,1， 輸出符號(hào)取值于0,1，傳遞概率為,41 信道容量,,,二元?jiǎng)h除信道 （BEC）：輸入符號(hào)X取值于 0, 1， 輸出符號(hào)取值于 0, 2, 1，傳遞概率為,,,,,0,1,q,1-p,1-q,p,1,2,0,,刪除信道的必要性,2、 信道容量定義,信息傳輸率：信道中平均每個(gè)符號(hào)所能傳送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符號(hào)）,有時(shí)我們需要關(guān)心單位時(shí)間內(nèi)（一般為秒為單位）平均傳輸?shù)男畔⒘?，若平?/p>
2、傳輸一個(gè)符號(hào)需要 t 秒，則信道每秒平均傳輸?shù)男畔⒘繛椋ㄋ俾剩?I（X；Y）是輸入隨機(jī)變量的概率分布的上凸函數(shù)，所以對(duì)于固定的信道，總存在一種信源分布，使傳輸每個(gè)符號(hào)平均獲得的信息量最大，也就是說，每一個(gè)固定信道都有一個(gè)最大的信息傳輸率。 信道容量定義為信道中每個(gè)符號(hào)所能傳遞的最大信息量，也就是最大 I (X；Y)值。,此時(shí)輸入的概率分布稱為最佳輸入分布。,信道容量C與輸入信源的概率無關(guān)（C只對(duì)應(yīng)著一種信源概率分布，即最佳概率分布），它只是信道傳輸概率的函數(shù)（不同的轉(zhuǎn)移概率對(duì)應(yīng)不同的信道），只與信道的統(tǒng)計(jì)特性有關(guān)，所以信道容量是完全描述信道特性的參量。,信道容量表示了信道傳送信息的最大能力
3、，這個(gè)量在信息論研究中有重要意義。編碼定理將證明：傳送的信息量R必須小于信道容量C，否則傳送過程中將會(huì)造成信息損失；若R
4、,,,,,,,1/3,1/3,1/6,1/6,1/3,1/3,1/6,1/6,二元對(duì)稱信道的容量：,例：,,,,,0. 7,0. 1,0. 2,0. 2,0. 1,,,0. 7,對(duì)于對(duì)稱信道,由于信道是對(duì)稱的，上邊的條件熵與x無關(guān)，所以,對(duì)于對(duì)稱信道，輸入符號(hào)的概率分布為等概時(shí)，輸出符號(hào)也一定是等概的。,例：,( P 95例3. 5 ),輸出符號(hào)集個(gè)數(shù),,（2）、準(zhǔn)對(duì)稱信道的容量,準(zhǔn)對(duì)稱信道：信道矩陣（列）的子陣是對(duì)稱矩陣。,定理：達(dá)到準(zhǔn)對(duì)稱離散信道信道容量的輸入分布為 等概分布。,r是輸入個(gè)數(shù)，n是不相交子集數(shù)，Nk是行之和，Mk是列之和,解：達(dá)到信道容量的輸入分布為等概分布。,此時(shí)輸出分
5、布為：,例：求二元對(duì)稱刪除信道的C。（例3.8中特例 ）,,,1-q,q,q,,,1-q,0,1,2,（與公式計(jì)算的結(jié)果相同）,此時(shí)平均互信息就是信道容量,此例題可作為后面：一般信道容量充分必要條件定理 的例子。該定理說明：只要信源每個(gè)符號(hào)對(duì)于輸出端 Y提供相同的互信息（概率為零的除外），則此時(shí) 平均互信息就是信道容量。,定理：一般離散信道的平均互信息 I(X;Y) 達(dá)到極大 值的充要條件是：輸入概率矢量 滿足 其中 是信道輸入x=k時(shí)，關(guān)于信道輸 出一個(gè)字母的平均互信息，即,（3）、一般DMC容量的計(jì)算,一般信道容量的計(jì)算方法 （拉格朗日乘子法）,定理1：
6、如果信道的輸入隨機(jī)序列為 通過信道傳輸，接收到的隨機(jī)序列為 若信道是無記憶的，即滿足 則,,（4）、擴(kuò)展信道的信道容量,證明：設(shè)信道輸入輸出序列X和Y的一個(gè)取值為,因?yàn)樾诺朗菬o記憶的：,另一方面,這里用到（全概率公式）,定理2：如果信道的輸入隨機(jī)序列為 通過信道傳輸，接收到的隨機(jī)序列為 若信源是無記憶的，即滿足 則,所以，如果信道和信源都是無記憶的，則,,（5）、信道的組合,并聯(lián)信道：兩個(gè)或更多個(gè)信道并行，同時(shí)分別傳送；,信道1 p(j|k),,,信道2 p(j|k),,,定理：獨(dú)立并行信道的容量為各分信道容量之和。,級(jí)聯(lián)信道：信道1的輸出作為信道2的輸入。,和信道：隨機(jī)選取信道1或信道2傳送，（并信道）。,定理：和信道的容量滿足下式,第四講 信道容量及其計(jì)算 結(jié) 束,
信道容量及其計(jì)算.ppt
