《信道及信道容量》PPT課件.ppt

《《信道及信道容量》PPT課件.ppt》由會員分享，可在線閱讀，更多相關(guān)《《信道及信道容量》PPT課件.ppt（54頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第四章離散信道及其信道容量 信道 信息傳輸?shù)耐ǖ佬畔⒄撝信c信源并列的另一個主要研究對象 研究的主要內(nèi)容 信道的建模 信道容量 不同條件下充分利用信道容量的方法 一 數(shù)學(xué)模型 第一節(jié)信道模型及其分類 信道的數(shù)學(xué)模型 X p y x Y 1 按其輸入 輸出信號在幅度和時間上的取值是離散或連續(xù)來分 二 分類 2 按其輸入 輸出之間關(guān)系的記憶性劃分 3 按其輸入 輸出信號之間是否是確定關(guān)系來分 在某一時刻信道的輸出消息僅與當(dāng)前信道的輸入消息有關(guān) 而與之前時刻的信道輸入無關(guān) 在任一時刻信道的輸出不僅與當(dāng)前輸入有關(guān) 而且還與以前時刻輸入有關(guān) 存在噪聲 不存在確定關(guān)系 實用價值大 研究的理想對象 不存在噪聲 存在確定關(guān)系 實用價值小 4 按其輸入 輸出信號個數(shù)來分 兩端信道 兩用戶信道 只有一個輸入端和一個輸出端的單向通信的信道 又稱為單路信道 多端信道 多用戶信道 信道的輸入輸出至少有一個具有兩個或兩個以上的信號 5 按信道的統(tǒng)計特性分 恒參信道變參信道 一 定義1 定義 輸入 輸出在幅度和時間上都是離散的 并且在某一時刻信道的輸出消息只與當(dāng)前信道的輸入有關(guān) 而與之前時刻的信道輸入無關(guān) 2 數(shù)學(xué)模型 離散信道對任意N長的輸入 輸出序列有 第二節(jié)離散無記憶信道DMC 1 定義 2 傳輸概率 p y x 可描述信道中干擾影響的大小 干擾存在 傳輸時可能發(fā)生錯誤 二 單符號離散無記憶信道 完全反映信道的特性 3 信道矩陣P 4 信道輸出與輸入之間的關(guān)系 二元對稱信道 BSC 二進(jìn)制對稱信道 其中 p q表示正確傳輸?shù)母怕?二元刪除信道 二進(jìn)制刪除信道 1 信道疑義度 損失熵 表示 由于信道的干擾 導(dǎo)致信道輸出端收到Y(jié)后 對輸入X仍然存在的平均不確定度 也可表示 由于信道干擾導(dǎo)致信息量的損失 三 信道疑義度和平均互信息 表示 接收端收到Y(jié)后獲得的關(guān)于X的信息量 即接收到的信息量 I X Y H X H X Y 定理1 對于固定信道 I X Y 是信源概率分布p x 的上凸函數(shù) 2 平均互信息 定理2 對于固定的信源分布 I X Y 是信道傳遞概率P y x 的下凸函數(shù) 例4 2 考慮二元對稱信道 其信源概率空間為 求其平均互信息 解 應(yīng)用全概率公式 則有 則平均互信息 當(dāng)信道固定 即p為一個固定常數(shù)時 可得到I X Y 是信源輸出分布 的上凸函數(shù) 當(dāng)信源固定 即 是一個常數(shù)時 可得到I X Y 是信道傳遞概率p的下凸函數(shù) 當(dāng)p 0 5時 I X Y 0 在接收端未獲得信息量 當(dāng) 1 2時 即取極大值 例4 3 擲色子 如果結(jié)果是1 2 3 4 則拋一次硬幣 如果結(jié)果是5 6 則拋兩次硬幣 試計算從拋硬幣的結(jié)果可以得到多少擲色子的信息量 四 離散無記憶信道的N次擴展信道 例4 4 求二元無記憶對稱信道的二次擴展信道 定理1 若信道的輸入 輸出分別為N長序列X和Y 且信道是無記憶的 即 用兩個定理回答這個問題 定理2 若信道的輸入 輸出分別為N長序列X和Y 且信源是無記憶的 即 當(dāng)每個序列中的分量Xi取值于同一信源符號集 且具有同一種概率分布 則輸出Y的分量Yi也取值同一符號集 則各I Xi Yi 是相等的 即 對于N次擴展 則有 一 級聯(lián)信道 串聯(lián)信道 第三節(jié)信道組合 消息依次通過幾個信道串行傳輸 級聯(lián)信道的平均互信息存在兩個定理 定理1 級聯(lián)信道中的平均互信息滿足以下關(guān)系 Y確定后 Z不再與X有關(guān) 只取決于信道2的轉(zhuǎn)移概率矩陣 則I X Z Y 0 這意味著X Y Z構(gòu)成一個一階馬爾可夫鏈 定理2 若隨機變量X Y Z構(gòu)成一個馬爾可夫鏈 則有 可得 在任何信息傳輸系統(tǒng)中 最后獲得的信息至多是信源所提供的信息 如果一旦丟失信息 以后系統(tǒng)不管如何處理 如果不涉及到該信道過程的輸入端 都不能恢復(fù)已丟失的信息 信息不增性原理 當(dāng)信道不斷級聯(lián)時 信道的最終傳輸信息量趨于0串聯(lián)信道的總信道矩陣 定理2表明 通過串聯(lián)信道的傳輸只會丟失信息 至多保持原來的信息量 例4 5 下圖中的X Y Z滿足馬氏鏈 求該串聯(lián)信道的總信道矩陣 多個信道聯(lián)合起來使用 當(dāng)待發(fā)送的消息比較多時 可用多個信道并行傳送 香農(nóng)稱之為平行信道有各自的輸入和輸出 最后總和 二 并聯(lián)信道 一個輸入多個輸出 且為相同的輸入 缺點是信道的利用率低 但可提高信息傳輸?shù)目煽啃?傳輸信息時 每次只使用其中一個信道 它的信道矩陣 一 基本概念 1 信道容量C 信道能無錯誤地傳送的最大信息率 第四節(jié)信道容量 2 信道的信息傳輸率R 信道中平均每符號所能傳送的信息量 3 信道的信息傳輸速率 信道在單位時間內(nèi)平均傳輸信息量 信道在單位時間內(nèi)傳輸?shù)淖畲笮畔⒘繛?例4 6 考慮二元對稱信道 其信源概率空間為 求該信道的信道容量 1 無損信道 一個輸入對應(yīng)多個互不相交的輸出 二 幾種特殊信道的信道容量 H Y X 0 稱噪聲熵 則 信道容量 2 確定信道 一個輸出對應(yīng)多個不相交的輸入 信道疑義度H X Y 0 單位 比特 符號 3 無損確定信道 輸入與輸出一一對應(yīng) H Y X 0H X Y 0則I X Y H X H Y 信道中沒有損失 單位 比特 符號 可知 對于無噪信道求C的問題已從求I X Y 極值問題退化成求H X 或H Y 極值問題 如果信道矩陣的每一行 列 都是第一行 列 元素的不同排列 則稱該信道為行 列 對稱信道 如果信道矩陣的每一行都是第一行元素的不同排列 每一列并不都是第一列元素的不同排列 但是可以按照矩陣的列將信道矩陣劃分成或干對稱的子矩陣 則稱該信道為準(zhǔn)對稱信道 若信道矩陣中 每一行 或列 都是第一行 或第一列 的元素的不同排列 則稱為離散對稱信道 對稱信道 準(zhǔn)對稱信道 三 離散對稱信道 對稱信道 1 定義 則稱此信道為均勻信道 對稱信道的特例 注意 一般信道的信道矩陣的各行之和為1 各列之和不一定為1 但是均勻信道的各列之和為1 2 離散對稱信道的C 證明 則有 結(jié)論 求離散對稱信道的信道容量 實質(zhì)上是求一種輸入分布p x 使輸出熵H Y 達(dá)最大 例4 7 求具有以下信道矩陣的信道的信道容量 解 分析可知這是一個對稱信道 則信道容量為 結(jié)論 在該對稱信道中 只有當(dāng)信道輸入符號等概分布時 每個符號平均能傳送的信息為0 126bit 一般情況下每個符號平均傳輸?shù)男畔⒍际切∮? 126bit 對于二元對稱信道 r 2 則信道容量C 解 均勻信道是對稱信道的一種特例 則其信道容量用對稱信道的信道容量的求解公式 則 引理 對于一個離散對稱信道 只有當(dāng)信道輸入分布p x 為等概率分布時 輸出分布才能為等概率分布 證明 設(shè)該信道有r個輸入符號 當(dāng)輸入等概分布時 有 根據(jù)全概率公式 輸出為 由對稱信道可知 每列元素之和相等 設(shè)為 則該矩陣所有元素之和為 從矩陣的行可知所有元素之和為r 則 所以有 表明 對于一個離散對稱信道 當(dāng)信道輸入分布p x 為等概率分布時 輸出分布為等概率分布 3 準(zhǔn)對稱信道的C 例4 9 求二元對稱刪除信道的信道容量 為拉格朗日乘子 待定常數(shù) 根據(jù)高數(shù)知識 首先構(gòu)造函數(shù) 四 一般離散無記憶信道的C 對p ai 求偏導(dǎo) 并令偏導(dǎo)等于0 即 例4 10 設(shè)有擾離散信道的傳輸情況如圖所示 求C以及達(dá)到C時的輸入概率分布 利用對稱信道的信道容量公式求得 解 I X Y H Y H Y X 則有 達(dá)到C時的輸入分布 解 N個二元對稱信道級聯(lián)后的總信道矩陣為 五 組合信道的C 1 級聯(lián)信道 此時C 0 2 輸入并接信道 C大于任意一個組成信道的信道容量 上界為 3 并用信道 獨立并聯(lián)信道 4 和信道 即C為各組成信道的信道容量之和 六 N次擴展離散無記憶信道的信道容量 表示某時刻通過離散無記憶信道傳輸?shù)淖畲笮畔⒘?則 對于離散無記憶信道有 對于N次擴展信道 任何時刻是相同的 七 香農(nóng)信道容量公式 限帶 加性白色高斯噪聲的信道容量 著名的信道容量的香農(nóng)公式 在這種信道中 輸入輸出信號和噪聲都被限制在一定的頻帶中 一般設(shè)此頻帶為 B 信道傳輸?shù)馁M用就是信號的功率 又設(shè)信道的噪聲為加性的 高斯的且具有平坦的功率譜 均值為 例4 12 已知信道的帶寬B為3kHz 信號在信道傳輸中受到單邊功率譜密度為的加性白高斯噪聲的干擾 信號的平均功率S為9W 1 求信道的容量 2 若信道帶寬增加到原來的10倍 并保持信道容量不變 那么信號平均功率要改變多少dB 無損信道的剩余度 第五節(jié)信源與信道匹配 一 信道剩余度 C I X Y C R 二 相對剩余度 1 R C 對于無損信道 C logr 無損信道的相對剩余度 信源的剩余度 對于無損信道 可通過信源編碼 減小信源的剩余度 提高信道的信息傳輸率使之達(dá)到C 例4 13 有一個二元對稱信道 其信道矩陣如圖所示 設(shè)該信道以1500個二元符號 秒的速度傳輸輸入符號 現(xiàn)有一消息序列共有14000個二元符號 并設(shè)在這消息中p 1 p 0 1 2 問從信息傳輸?shù)慕嵌葋砜紤] 10秒內(nèi)能否將這消息序列無失真?zhèn)魉屯?解 分析得消息信源的熵為H X 1比特則這個消息序列含有信息量14000 1 14000比特 由圖可知 信道矩陣為 由信道矩陣可知 此信道為二元對稱信道 所以其信道容量 最大信息傳輸率 為 信道的最大信息傳輸速率 信道在10秒鐘內(nèi)能無失真?zhèn)鬏數(shù)淖畲笮畔⒘?12879比特14000 12879則從信息傳輸?shù)慕嵌瓤紤] 不可能在10秒內(nèi)將這消息無失真?zhèn)鬏斖?例4 15 一個快餐店只提供漢堡包和牛排 當(dāng)顧客進(jìn)店以后只需向廚房喊一聲 B 或 Z 就表示他點的是漢堡包或牛排 不過通常8 的概率廚師可能會聽錯 據(jù)統(tǒng)計進(jìn)店的顧客90 會點漢堡包 10 會點牛排 求 1 該信道的信道容量 2 每次顧客點菜時提供的信息 3 該信道能否正確傳遞顧客點菜的信息