離散信道及其信道容量.ppt

《離散信道及其信道容量.ppt》由會員分享，可在線閱讀，更多相關(guān)《離散信道及其信道容量.ppt（81頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1 第三章離散信道及其信道容量 第一節(jié)信道的數(shù)學(xué)模型及分類 第二節(jié)平均互信息 第三節(jié)平均互信息的特性 第四節(jié)信道容量及其一般計(jì)算方法 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 第七節(jié)信源與信道的匹配 信道的功能 以信號形式傳輸和存儲信息 信道傳輸信息的速率 與物理信道本身的特性 載荷信息的信號形式和信源輸出信號的統(tǒng)計(jì)特性有關(guān) 信道容量研究內(nèi)容 在什么條件下 通過信道的信息量最大 第六節(jié)級聯(lián)信道 2 信號在信道中傳輸會引入噪聲或干擾 它使信號通過信道后產(chǎn)生錯(cuò)誤和失真 信道的輸入和輸出之間一般不是確定的函數(shù)關(guān)系 而是統(tǒng)計(jì)依賴關(guān)系 知道了信道的輸入信號 輸出信號以及它們之間的依賴關(guān)系 信道的全部特性就確定了 一般來說 輸入和輸出信號都是廣義的時(shí)間連續(xù)的隨機(jī)信號 可用隨機(jī)過程來描述 第一節(jié)信道的數(shù)學(xué)模型及分類 3 規(guī)定一個(gè)離散信道應(yīng)有三個(gè)參數(shù) 輸入符號集 X x1 x2 輸出符號集 Y y1 y2 信道轉(zhuǎn)移概率 P Y X p y1 x1 p y2 x1 p x1 p y1 p 1 離散信道的基本數(shù)學(xué)模型 設(shè)離散信道的輸入為一個(gè)隨機(jī)變量X 相應(yīng)的輸出的隨機(jī)變量為Y 如圖所示 第一節(jié)信道的數(shù)學(xué)模型及分類 4 第一節(jié)信道的數(shù)學(xué)模型及分類 2 信道的分類 根據(jù)信道用戶的多少 根據(jù)輸入端和輸出端的關(guān)聯(lián) 根據(jù)輸入輸出隨機(jī)變量個(gè)數(shù)的多少 5 根據(jù)信道參數(shù)與時(shí)間的關(guān)系 根據(jù)信道輸入和輸出的關(guān)系 第一節(jié)信道的數(shù)學(xué)模型及分類 6 第一節(jié)信道的數(shù)學(xué)模型及分類 根據(jù)信道上有無干擾關(guān)系 根據(jù)信道上有無記憶關(guān)系 以下我們只研究無反饋 固定參數(shù)的單用戶離散信道 7 1 無干擾信道 輸入信號與輸出信號有一一對應(yīng)關(guān)系 2 有干擾無記憶信道 輸入與輸出無一一對應(yīng)關(guān)系 輸出只與當(dāng)前輸入有關(guān) 根據(jù)這一模型 可對信道分類如下 3 有干擾有記憶信道 這是最一般的信道 第一節(jié)信道的數(shù)學(xué)模型及分類 8 第一節(jié)信道的數(shù)學(xué)模型及分類 3 單符號離散信道的數(shù)學(xué)模型 設(shè)輸入X x1 x2 xi xn 輸出Y y1 y2 yj ym 信道轉(zhuǎn)移概率 信道傳遞概率 條件概率p yj xi 其信道模型如圖所示 9 條件概率p yj xi 表示成矩陣形式 第一節(jié)信道的數(shù)學(xué)模型及分類 10 單符號離散信道的輸入變量為X 取值于輸出變量為Y 取值于 并有條件概率條件概率被稱為信道的傳遞概率或轉(zhuǎn)移概率 第一節(jié)信道的數(shù)學(xué)模型及分類 11 例1 二元對稱信道 BSC X 0 1 Y 0 1 p 0 0 p 1 1 1 p p 0 1 p 1 0 p 第一節(jié)信道的數(shù)學(xué)模型及分類 12 例2 二元?jiǎng)h除信道 BEC X 0 1 Y 0 2 1 第一節(jié)信道的數(shù)學(xué)模型及分類 13 由此可見 一般單符號離散信道的傳遞概率可以用矩陣表示 第一節(jié)信道的數(shù)學(xué)模型及分類 14 1 聯(lián)合概率 2 輸出符號的概率 3 后驗(yàn)概率 表明輸出端收到任一符號 必定是輸入端某一符號輸入所致 第一節(jié)信道的數(shù)學(xué)模型及分類 15 第二節(jié)平均互信息 互信息 yj對xi的互信息量定義為后驗(yàn)概率與先驗(yàn)概率比值的對數(shù) 信源發(fā)出某符號xi 由于受噪聲的隨機(jī)干擾 在信道的輸出端輸出xi某種變型yj 這個(gè)過程中信道所傳送的信息量 即信宿收到y(tǒng)j后 從yj中獲取關(guān)于xi的信息量I xi yj 16 互信息的性質(zhì) 對稱性 I xi yj I yj xi 兩個(gè)隨機(jī)事件的可能結(jié)果 xi和yj之間的統(tǒng)計(jì)約束程度 從yj得到的關(guān)于xi的信息量I xi yj 與從xi得到的關(guān)于yj的信息量I yj xi 是一樣的 只是觀察的角度不同而已 當(dāng)統(tǒng)計(jì)獨(dú)立時(shí) 表明xi和yj之間不存在統(tǒng)計(jì)約束關(guān)系 從yj得不到關(guān)于的xi任何信息 反之亦然 互信息量可為正值或負(fù)值當(dāng)后驗(yàn)概率大于先驗(yàn)概率時(shí) 互信息量為正 當(dāng)后驗(yàn)概率小于先驗(yàn)概率時(shí) 互信息量為負(fù) 當(dāng)后驗(yàn)概率與先驗(yàn)概率相等時(shí) 互信息量為零 這就是兩個(gè)隨機(jī)事件相互獨(dú)立的情況 平均互信息量 如果將信道的發(fā)送和接收端分別看成是兩個(gè) 信源 則兩者之間的統(tǒng)計(jì)依賴關(guān)系 即信道輸入和輸出之間的統(tǒng)計(jì)依賴關(guān)系描述了信道的特性 互信息量I xi yj 是定量研究信息流通問題的重要基礎(chǔ) 它是一個(gè)隨機(jī)變量 不能從整體上作為信道中信息流通的測度 以下介紹平均互信息量的定義平均互信息量的物理含義平均互信息量的性質(zhì) 平均互信息量的定義 平均互信息量定義 互信息量I xi yj 在聯(lián)合概率空間P XY 中的統(tǒng)計(jì)平均值 稱I X Y 是Y對X的平均互信息量 簡稱平均互信息 平均交互信息量 交互熵 X對Y的平均互信息定義為 平均互信息量的物理含義 觀察者站在輸出端觀察者站在輸入端觀察者站在通信系統(tǒng)總體立場上 20 自信息量 對yj一無所知的情況下xi存在的不確定度 條件自信息量 已知yj的條件下xi仍然存在的不確定度 互信息量 兩個(gè)不確定度之差是不確定度被消除的部分 即等于自信息量減去條件自信息量 1 觀察者站在輸出端 H X Y 信道疑義度 損失熵 Y關(guān)于X的后驗(yàn)不確定度 表示收到變量Y后 對隨機(jī)變量X仍然存在的不確定度 代表了在信道中損失的信息 H X X的先驗(yàn)不確定度 無條件熵 I X Y 收到Y(jié)前 后關(guān)于X的不確定度減少的量 從Y獲得的關(guān)于X的平均信息量 2 觀察者站在輸入端 觀察者得知輸入端發(fā)出xi前 后對輸出端出現(xiàn)yj的不確定度的差 H Y X 噪聲熵 表示發(fā)出隨機(jī)變量X后 對隨機(jī)變量Y仍然存在的平均不確定度 如果信道中不存在任何噪聲 發(fā)送端和接收端必存在確定的對應(yīng)關(guān)系 發(fā)出X后必能確定對應(yīng)的Y 而現(xiàn)在不能完全確定對應(yīng)的Y 這顯然是由信道噪聲所引起的 I Y X 發(fā)出X前 后關(guān)于Y的先驗(yàn)不確定度減少的量 24 通信前 輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間沒有任何關(guān)聯(lián)關(guān)系 即X Y統(tǒng)計(jì)獨(dú)立 p xiyj p xi p yj 先驗(yàn)不確定度通信后 輸入隨機(jī)變量X和輸出隨機(jī)變量Y之間由信道的統(tǒng)計(jì)特性相聯(lián)系 其聯(lián)合概率密度 p xiyj p xi p yj xi p yj p xi yj 后驗(yàn)不確定度通信后的互信息量 等于前后不確定度的差這三種表達(dá)式實(shí)際上是等效的 在實(shí)際應(yīng)用中可根據(jù)具體情況選用一種較為方便的表達(dá)式 3 觀察者站在通信系統(tǒng)總體立場上 H XY 聯(lián)合熵 表示輸入隨機(jī)變量X 經(jīng)信道傳輸?shù)竭_(dá)信宿 輸出隨機(jī)變量Y 即收 發(fā)雙方通信后 整個(gè)系統(tǒng)仍然存在的不確定度 I X Y 通信前 后整個(gè)系統(tǒng)不確定度減少量 在通信前把X和Y看成兩個(gè)相互獨(dú)立的隨機(jī)變量 整個(gè)系統(tǒng)的先驗(yàn)不確定度為X和Y的聯(lián)合熵H X H Y 通信后把信道兩端出現(xiàn)X和Y看成是由信道的傳遞統(tǒng)計(jì)特性聯(lián)系起來的 具有一定統(tǒng)計(jì)關(guān)聯(lián)關(guān)系的兩個(gè)隨機(jī)變量 這時(shí)整個(gè)系統(tǒng)的后驗(yàn)不確定度由H XY 描述 結(jié)論 以上三種不同的角度說明 從一個(gè)事件獲得另一個(gè)事件的平均互信息需要消除不確定度 一旦消除了不確定度 就獲得了信息 小結(jié) 28 平均互信息是信道傳遞信息的度量 從總體上反映信道每傳遞一個(gè)符號 所傳遞的平均信息量 I X Y H X H X Y H X H Y H XY H Y H Y X 3 34 也可以得到 H XY H X H Y X H Y H X Y 29 信道疑義度 這是收到后關(guān)于X的后驗(yàn)熵 表示收到后關(guān)于輸入符號的信息測度 這是關(guān)于X的先驗(yàn)熵 表示收到輸出前關(guān)于X的不確定性度量 第二節(jié)平均互信息 30 這個(gè)條件熵稱為信道疑義度 表示輸出端在收到一個(gè)符號后 對輸入符號尚存的不確定性 這是由信道干擾造成的如果沒有干擾 H X Y 0 一般情況下H X Y 小于H X 說明經(jīng)過信道傳輸 總能消除一些信源的不確定性 從而獲得一些信息 第二節(jié)平均互信息 將后驗(yàn)熵對隨機(jī)變量Y求數(shù)學(xué)期望 31 平均互信息與各類熵之間的關(guān)系 第二節(jié)平均互信息 H X Y 即信道疑義度 也表示通過有噪信道造成的損失 故也稱為損失熵 因此信源的熵等于收到的信息量加上損失的熵 而H Y X 表示已知輸入的情況下 對輸出端還殘留的不確定性 這個(gè)不確定性是由噪聲引起的 故也稱之為噪聲熵 32 1 無噪一一對應(yīng)信道 此時(shí)可以計(jì)算得 H X Y H Y X 0在上圖中表示就是兩圓重合 2 輸入輸出完全統(tǒng)計(jì)獨(dú)立 此時(shí)I X Y 0H X Y H X H Y X H Y 下面討論兩種極端情況 第二節(jié)平均互信息 33 第三節(jié)平均互信息的特性 1 平均互信息的非負(fù)性 I X Y 0 一般來說 信道疑義度總是大于0 所以互信息總是小于信源的熵 只有當(dāng)信道是無損信道時(shí) 信道疑義度等于0 互信息等于信源的熵 該性質(zhì)表明 通過一個(gè)信道總能傳遞一些信息 最差的條件下 輸入輸出完全獨(dú)立 不傳遞任何信息 互信息等于0 但決不會失去已知的信息 2 平均互信息的極值性 I X Y H X I X Y H Y 34 I Y X 表示從X中提取關(guān)于的Y的信息量 實(shí)際上I X Y 和I Y X 只是觀察者的立足點(diǎn)不同 對信道的輸入X和輸出Y的總體測度的兩種表達(dá)形式 4 平均互信息的凸函數(shù)性 3 平均互信息量的交互性 第三節(jié)平均互信息的特性 I X Y I Y X 35 定理3 1平均互信息I X Y 是信源概率分布P X 的 型凸函數(shù) 定理意義 對于一定的信道轉(zhuǎn)移概率分布 總可以找到某一個(gè)先驗(yàn)概率分布的信源X 使平均互信息量達(dá)到相應(yīng)的最大值Imax 這時(shí)稱這個(gè)信源為該信道的匹配信源 可以說不同的信道轉(zhuǎn)移概率對應(yīng)不同的Imax 第三節(jié)平均互信息的特性 36 例 對于二元對稱信道 如果信源分布X w 1 w 則 第三節(jié)平均互信息的特性 37 而 所以 當(dāng)信道固定時(shí) 平均互信息時(shí)信源分布的 型凸函數(shù) 最大值為1 H P 第三節(jié)平均互信息的特性 38 定理3 2平均互信息I X Y 是信道傳遞概率P y x 的U型凸函數(shù) 定理意義 對于一個(gè)已知先驗(yàn)概率為P X 的離散信源 總可以找到某一個(gè)轉(zhuǎn)移概率分布的信道 使平均互信息量達(dá)到相應(yīng)的最小值Imin 不同的信源先驗(yàn)概率對應(yīng)不同的Imin 或者說Imin是P X 的函數(shù) 即平均互信息量的最小值體現(xiàn)了信源本身的特性 第三節(jié)平均互信息的特性 39 如果信源分布X w 1 w 則由此可得 例 對于二元對稱信道 第三節(jié)平均互信息的特性 40 信道容量C 在信道中最大的信息傳輸速率 單位是比特 信道符號 單位時(shí)間的信道容量Ct 若信道平均傳輸一個(gè)符號需要t秒鐘 則單位時(shí)間的信道容量為 Ct實(shí)際是信道的最大信息傳輸速率 信息傳輸率 R I X Y H X H X Y H Y H Y X bit 符號由定理3 1可知 對于每一個(gè)確定信道 都有一個(gè)信源分布 使得信息傳輸率達(dá)到最大值 我們把這個(gè)最大值稱為該信道的信道容量 第四節(jié)信道容量及其一般計(jì)算方法 41 第四節(jié)信道容量及其一般計(jì)算方法 C和Ct都是求平均互信息I X Y 的條件極大值問題 當(dāng)輸入信源概率分布p xi 調(diào)整好以后 C和Ct已與p xi 無關(guān) 而僅僅是信道轉(zhuǎn)移概率的函數(shù) 只與信道統(tǒng)計(jì)特性有關(guān) 它是信道的特征參數(shù) 反應(yīng)的是信道的最大的信息傳輸能力 信道容量是完全描述信道特性的參量 信道容量是信道能夠傳送的最大信息量 結(jié)論 對于二元對稱信道 由圖可以看出信道容量等于1 H P 42 1 具有一一對應(yīng)關(guān)系的無噪聲信道 因?yàn)樾诺谰仃囍兴性鼐?1 或 0 X和Y有確定的對應(yīng)關(guān)系 此時(shí)由于信道的損失熵和疑義度都等于0 所以I X Y H X H Y 當(dāng)信源呈等概率分布時(shí) 具有一一對應(yīng)確定關(guān)系的無噪信道達(dá)到信道容量 第四節(jié)信道容量及其一般計(jì)算方法1 離散無噪信道的信道容量 C max I X Y max H X max H Y logr 43 2 有噪無損信道 C max I X Y max H X H X Y max H X logr 可見 信道矩陣中每一列有且只有一個(gè)非零元素時(shí) 這個(gè)信道一定是有噪無損信道 此時(shí)信道疑義度為0 而信道噪聲熵不為0 從而 第四節(jié)信道容量及其一般計(jì)算方法1 離散無噪信道的信道容量 此時(shí)輸入端符號熵小于輸出端符號熵 H X H Y 44 3 無噪有損信道 信道矩陣中的元素非 0 即 1 每行僅有一個(gè)非零元素 但每列的非零元素個(gè)數(shù)大于1 此時(shí)信道疑義度不為0 而信道噪聲熵為0 從而 C max I X Y max H Y H Y X max H Y logs 第四節(jié)信道容量及其一般計(jì)算方法1 離散無噪信道的信道容量 信道輸入端符號熵大于輸出端符號熵 H X H Y 45 第四節(jié)信道容量及其一般計(jì)算方法1 離散無噪信道的信道容量 結(jié)論 無損信道的C決定于信道的輸入符號數(shù)r無噪信道的C只決定于信道的輸出符號數(shù)s 在求信道容量時(shí) 調(diào)整的始終是輸入端的概率分布p xi 盡管信道容量式子中平均互信息I X Y 等于輸出端符號熵H Y 但是在求極大值時(shí)調(diào)整的仍然是輸入端的概率分布p xi 而不能用輸出端的概率分布p yj 來代替 注意 46 如果一個(gè)離散信道的信道轉(zhuǎn)移矩陣中的每一行都是由同一組元素的不同組合構(gòu)成的 并且每一列也是由這一組元素組成的 則稱為對稱信道 第四節(jié)信道容量及其一般計(jì)算方法2 對稱離散信道的信道容量 輸入對稱 矩陣的每一行都是第一行的置換輸出對稱 矩陣的每一列都是第一列的置換 47 下面我們來計(jì)算對稱離散信道的信道容量 I X Y H Y H Y X H Y X x 是對矩陣的行求和 而由于對稱信道定義 我們知道 此值是一個(gè)與x無關(guān)的一個(gè)常數(shù) 即 因此 可以看出 當(dāng)輸出等概分布時(shí) 即H Y logs時(shí)信道容量達(dá)到最大 第四節(jié)信道容量及其一般計(jì)算方法2 對稱離散信道的信道容量 48 那么 在什么樣的信源輸出情況下 信道輸出能等概分布呢 可以證明 輸入等概分布時(shí) 輸出也等概分布 可以看出 信道的輸出也是等概分布的 第四節(jié)信道容量及其一般計(jì)算方法2 對稱離散信道的信道容量 49 例 二元對稱信道 第四節(jié)信道容量及其一般計(jì)算方法2 對稱離散信道的信道容量 50 如果離散信道的轉(zhuǎn)移矩陣如下 則稱此信道為強(qiáng)對稱信道或均勻信道 它是對稱離散信道的一種特例 第四節(jié)信道容量及其一般計(jì)算方法2 對稱離散信道的信道容量 信道中總的錯(cuò)誤概率是p 對稱平均地分配給 n 1 個(gè)輸出符號 信道矩陣中每行之和等于1 每列之和也等于1 r r階矩陣 51 根據(jù)對稱離散信道信道容量的計(jì)算方法 強(qiáng)對稱信道其信道容量為 第四節(jié)信道容量及其一般計(jì)算方法2 對稱離散信道的信道容量 結(jié)論 當(dāng)信道輸入呈等概率分布時(shí) 強(qiáng)對稱離散信道能夠傳輸最大的平均信息量 即達(dá)到信道容量 這個(gè)信道容量只與信道的輸出符號數(shù)n和相應(yīng)信道矩陣中的任一行矢量有關(guān) 52 若信道的列可以劃分成若干個(gè)互不相交的子集 每一個(gè)子集都是對稱信道 則稱該信道為準(zhǔn)對稱信道 如 第四節(jié)信道容量及其一般計(jì)算方法3 準(zhǔn)對稱離散信道的信道容量 53 可以證明達(dá)到信道容量的輸入分布是等概分布 也可計(jì)算準(zhǔn)對稱信道的信道容量為 其中r是輸入符號集的個(gè)數(shù) 為矩陣中的行元素 是第k各矩陣中的行元素只和 是第k個(gè)矩陣的列元素之和 第四節(jié)信道容量及其一般計(jì)算方法3 準(zhǔn)對稱離散信道的信道容量 54 例 可分成 第四節(jié)信道容量及其一般計(jì)算方法3 準(zhǔn)對稱離散信道的信道容量 行之和 N1 1 p q p 1 q N2 q 列之和 M1 1 q p p 1 q M2 2q 55 我們可以對輸入分布求極值 得到 而 第四節(jié)信道容量及其一般計(jì)算方法4 一般離散信道的信道容量 56 定理3 3一般離散信道達(dá)到信道容量的充要條件是輸入概率分布滿足 該定理說明 當(dāng)平均互信息達(dá)到信道容量時(shí) 信源每一個(gè)符號都對輸出端輸出相同的互信息 第四節(jié)信道容量及其一般計(jì)算方法4 一般離散信道的信道容量 57 可以利用該定理對一些特殊信道求得它的信道容量 例 輸入符號集為 0 1 2 第四節(jié)信道容量及其一般計(jì)算方法4 一般離散信道的信道容量 假設(shè)P 0 P 2 1 2 P 1 0 則 59 所以 第四節(jié)信道容量及其一般計(jì)算方法4 一般離散信道的信道容量 60 對于一般信道的求解方法 就是求解方程組 移項(xiàng)得 令 則 若r s 此方程有解 可以解出s各未知數(shù) 再根據(jù) 得 從而 第四節(jié)信道容量及其一般計(jì)算方法4 一般離散信道的信道容量 61 例 可列方程組 第四節(jié)信道容量及其一般計(jì)算方法4 一般離散信道的信道容量 62 解之得 第四節(jié)信道容量及其一般計(jì)算方法4 一般離散信道的信道容量 63 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 多符號離散信道定義定義 多符號離散信源X X1X2 XN在N個(gè)不同時(shí)刻分別通過單符號離散信道 XP Y X Y 則在輸出端出現(xiàn)相應(yīng)的隨機(jī)序列Y Y1Y2 YN 這樣形成一個(gè)新的信道稱為多符號離散信道 64 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 離散無記憶信道的N次擴(kuò)展信道的傳遞概率等于各單位時(shí)刻相應(yīng)的單符號離散無記憶信道的傳遞概率的連乘 65 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 離散無記憶信道為 則它的N次擴(kuò)展信道為 66 我們首先從一個(gè)例子開始例 二元無記憶對稱信道得二次擴(kuò)展信道二元記憶對稱信道為 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 67 可以將信道的擴(kuò)展和信源的擴(kuò)展聯(lián)系起來看 當(dāng)信源擴(kuò)展以后 信道也就稱為了擴(kuò)展信道 則它的二次擴(kuò)展信道為 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 68 根據(jù)平均互信息的定義 定理3 5如果信道是無記憶的 即 則 定理3 6如果信源是無記憶的 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 69 因此 如果信源 信道都是無記憶的 這就是離散無記憶擴(kuò)展信道得信道容量 該信道容量在信源是無記憶信源且每一個(gè)輸入變量Xi達(dá)到最佳分布時(shí)達(dá)到 第五節(jié)離散無記憶擴(kuò)展信道及其信道容量 第六節(jié)級聯(lián)信道 在通信系統(tǒng)中 信息的傳輸往往要依次通過若干個(gè)信道 這些信道通常采用級聯(lián)的形式 級聯(lián)的含義是被連接的信道輸入只依賴于前面相鄰信道的輸出而和前面的其它信道的輸出無直接關(guān)系 我們可以把通信系統(tǒng)模型看成各部分的級聯(lián) 如下圖所示 信源發(fā)出L長的序列UL 通過編碼后得到N長的碼序列XN 經(jīng)信道傳輸后 譯碼器收到N長序列為YN 譯碼后傳給信宿的消息序列為VN 通信系統(tǒng)模型各部分的級聯(lián) 隨機(jī)序列X Y Z 當(dāng)Y給定時(shí) Z不依賴于X 即 P z y P z xy 則X Y Z構(gòu)成馬氏鏈 則信道X Y與Y Z構(gòu)成的信道是級聯(lián)信道 滿足馬氏鏈 如圖所示 級聯(lián)信道 若 X Y Z 構(gòu)成馬氏鏈 則 定理3 7 定理3 8若X Y Z構(gòu)成一馬氏鏈 則證 即 同理可證明 數(shù)據(jù)處理定理 數(shù)據(jù)處理定理的推廣 經(jīng)過數(shù)據(jù)處理 信息量一般會有丟失 最多保持原有信息 絕對不會有信息增強(qiáng) 又稱信息不增性原理 該定理表明 信息處理 如 編譯碼器 信道的處理 只能丟失信息 不會增加或創(chuàng)造信息 而且處理的次數(shù)越多 減少得越多 實(shí)際上 數(shù)據(jù)處理是必要的 因?yàn)橹挥羞@樣才能保留對信宿有用的信息 去掉無用的信息或干擾 例如 為看清晰的圖像 要盡量去除雜波 為聽悅耳的聲音 要盡量濾掉噪聲 雖然信息的總量減少 但對信宿的有用信息突出了 例 兩個(gè)離散信道 將它們串行連接使用 如圖 判斷該串聯(lián)噪聲信道會不會使信道的信息損失增加 并計(jì)算總信道容量C 1 先計(jì)算總信道的信道轉(zhuǎn)移概率矩陣 因?yàn)閜 y x p z x 對所有的x y z 即 串聯(lián)信道的總信道矩陣P等于第一級信道的信道矩陣P1 故 I X Z I X Y 即該串聯(lián)噪聲信道不會使信道的信息損失增加 2 計(jì)算信道容量C 在該例中 第一個(gè)信道是輸入只有兩個(gè)消息的情況 設(shè)最佳分布為p x1 p x2 1 可算出 0 4 則信道容量C C1 0 32 比特 符號 80 第七節(jié)信源與信道的匹配 信道的信道容量是固定的 如果某一信源通過該信道傳輸是 信息傳輸率達(dá)到了信道容量 我們認(rèn)為信源與信道達(dá)到匹配 否則 我們認(rèn)為有剩余 定義 信道剩余度 C I X Y 信道的相對剩余度 對于無損信道 相對剩余度 81 如何才能做到匹配呢 一般通信系統(tǒng)中 把信源發(fā)出的符號變成能在信道中傳輸?shù)姆?在傳輸時(shí) 要能夠盡量用較少的符號表示相同的信息 這樣就可以提高信息的傳輸率 從而提高信道的利用率 這就是香農(nóng)無失真信源編碼理論 也就是無失真數(shù)據(jù)壓縮理論 無失真信源編碼就是將信源輸出的消息變換成適合信道傳輸?shù)男滦旁吹南韨鬏?而使新信源的符號接近等概率分布 新信源的熵接近最大熵 這樣 信源傳輸?shù)男畔⒘窟_(dá)到最大 信道剩余度接近于零 信源與信道達(dá)到匹配 這些是我們將在下一章討論這些問題 第七節(jié)信源與信道的匹配