離散信道及其信道容量.ppt

《離散信道及其信道容量.ppt》由會員分享，可在線閱讀，更多相關《離散信道及其信道容量.ppt（81頁珍藏版）》請在裝配圖網上搜索。

1 第三章離散信道及其信道容量 第一節(jié)信道的數學模型及分類 第二節(jié)平均互信息 第三節(jié)平均互信息的特性 第四節(jié)信道容量及其一般計算方法 第五節(jié)離散無記憶擴展信道及其信道容量 第七節(jié)信源與信道的匹配 信道的功能 以信號形式傳輸和存儲信息 信道傳輸信息的速率 與物理信道本身的特性 載荷信息的信號形式和信源輸出信號的統(tǒng)計特性有關 信道容量研究內容 在什么條件下 通過信道的信息量最大 第六節(jié)級聯信道 2 信號在信道中傳輸會引入噪聲或干擾 它使信號通過信道后產生錯誤和失真 信道的輸入和輸出之間一般不是確定的函數關系 而是統(tǒng)計依賴關系 知道了信道的輸入信號 輸出信號以及它們之間的依賴關系 信道的全部特性就確定了 一般來說 輸入和輸出信號都是廣義的時間連續(xù)的隨機信號 可用隨機過程來描述 第一節(jié)信道的數學模型及分類 3 規(guī)定一個離散信道應有三個參數 輸入符號集 X x1 x2 輸出符號集 Y y1 y2 信道轉移概率 P Y X p y1 x1 p y2 x1 p x1 p y1 p 1 離散信道的基本數學模型 設離散信道的輸入為一個隨機變量X 相應的輸出的隨機變量為Y 如圖所示 第一節(jié)信道的數學模型及分類 4 第一節(jié)信道的數學模型及分類 2 信道的分類 根據信道用戶的多少 根據輸入端和輸出端的關聯 根據輸入輸出隨機變量個數的多少 5 根據信道參數與時間的關系 根據信道輸入和輸出的關系 第一節(jié)信道的數學模型及分類 6 第一節(jié)信道的數學模型及分類 根據信道上有無干擾關系 根據信道上有無記憶關系 以下我們只研究無反饋 固定參數的單用戶離散信道 7 1 無干擾信道 輸入信號與輸出信號有一一對應關系 2 有干擾無記憶信道 輸入與輸出無一一對應關系 輸出只與當前輸入有關 根據這一模型 可對信道分類如下 3 有干擾有記憶信道 這是最一般的信道 第一節(jié)信道的數學模型及分類 8 第一節(jié)信道的數學模型及分類 3 單符號離散信道的數學模型 設輸入X x1 x2 xi xn 輸出Y y1 y2 yj ym 信道轉移概率 信道傳遞概率 條件概率p yj xi 其信道模型如圖所示 9 條件概率p yj xi 表示成矩陣形式 第一節(jié)信道的數學模型及分類 10 單符號離散信道的輸入變量為X 取值于輸出變量為Y 取值于 并有條件概率條件概率被稱為信道的傳遞概率或轉移概率 第一節(jié)信道的數學模型及分類 11 例1 二元對稱信道 BSC X 0 1 Y 0 1 p 0 0 p 1 1 1 p p 0 1 p 1 0 p 第一節(jié)信道的數學模型及分類 12 例2 二元刪除信道 BEC X 0 1 Y 0 2 1 第一節(jié)信道的數學模型及分類 13 由此可見 一般單符號離散信道的傳遞概率可以用矩陣表示 第一節(jié)信道的數學模型及分類 14 1 聯合概率 2 輸出符號的概率 3 后驗概率 表明輸出端收到任一符號 必定是輸入端某一符號輸入所致 第一節(jié)信道的數學模型及分類 15 第二節(jié)平均互信息 互信息 yj對xi的互信息量定義為后驗概率與先驗概率比值的對數 信源發(fā)出某符號xi 由于受噪聲的隨機干擾 在信道的輸出端輸出xi某種變型yj 這個過程中信道所傳送的信息量 即信宿收到y(tǒng)j后 從yj中獲取關于xi的信息量I xi yj 16 互信息的性質 對稱性 I xi yj I yj xi 兩個隨機事件的可能結果 xi和yj之間的統(tǒng)計約束程度 從yj得到的關于xi的信息量I xi yj 與從xi得到的關于yj的信息量I yj xi 是一樣的 只是觀察的角度不同而已 當統(tǒng)計獨立時 表明xi和yj之間不存在統(tǒng)計約束關系 從yj得不到關于的xi任何信息 反之亦然 互信息量可為正值或負值當后驗概率大于先驗概率時 互信息量為正 當后驗概率小于先驗概率時 互信息量為負 當后驗概率與先驗概率相等時 互信息量為零 這就是兩個隨機事件相互獨立的情況 平均互信息量 如果將信道的發(fā)送和接收端分別看成是兩個 信源 則兩者之間的統(tǒng)計依賴關系 即信道輸入和輸出之間的統(tǒng)計依賴關系描述了信道的特性 互信息量I xi yj 是定量研究信息流通問題的重要基礎 它是一個隨機變量 不能從整體上作為信道中信息流通的測度 以下介紹平均互信息量的定義平均互信息量的物理含義平均互信息量的性質 平均互信息量的定義 平均互信息量定義 互信息量I xi yj 在聯合概率空間P XY 中的統(tǒng)計平均值 稱I X Y 是Y對X的平均互信息量 簡稱平均互信息 平均交互信息量 交互熵 X對Y的平均互信息定義為 平均互信息量的物理含義 觀察者站在輸出端觀察者站在輸入端觀察者站在通信系統(tǒng)總體立場上 20 自信息量 對yj一無所知的情況下xi存在的不確定度 條件自信息量 已知yj的條件下xi仍然存在的不確定度 互信息量 兩個不確定度之差是不確定度被消除的部分 即等于自信息量減去條件自信息量 1 觀察者站在輸出端 H X Y 信道疑義度 損失熵 Y關于X的后驗不確定度 表示收到變量Y后 對隨機變量X仍然存在的不確定度 代表了在信道中損失的信息 H X X的先驗不確定度 無條件熵 I X Y 收到Y前 后關于X的不確定度減少的量 從Y獲得的關于X的平均信息量 2 觀察者站在輸入端 觀察者得知輸入端發(fā)出xi前 后對輸出端出現yj的不確定度的差 H Y X 噪聲熵 表示發(fā)出隨機變量X后 對隨機變量Y仍然存在的平均不確定度 如果信道中不存在任何噪聲 發(fā)送端和接收端必存在確定的對應關系 發(fā)出X后必能確定對應的Y 而現在不能完全確定對應的Y 這顯然是由信道噪聲所引起的 I Y X 發(fā)出X前 后關于Y的先驗不確定度減少的量 24 通信前 輸入隨機變量X和輸出隨機變量Y之間沒有任何關聯關系 即X Y統(tǒng)計獨立 p xiyj p xi p yj 先驗不確定度通信后 輸入隨機變量X和輸出隨機變量Y之間由信道的統(tǒng)計特性相聯系 其聯合概率密度 p xiyj p xi p yj xi p yj p xi yj 后驗不確定度通信后的互信息量 等于前后不確定度的差這三種表達式實際上是等效的 在實際應用中可根據具體情況選用一種較為方便的表達式 3 觀察者站在通信系統(tǒng)總體立場上 H XY 聯合熵 表示輸入隨機變量X 經信道傳輸到達信宿 輸出隨機變量Y 即收 發(fā)雙方通信后 整個系統(tǒng)仍然存在的不確定度 I X Y 通信前 后整個系統(tǒng)不確定度減少量 在通信前把X和Y看成兩個相互獨立的隨機變量 整個系統(tǒng)的先驗不確定度為X和Y的聯合熵H X H Y 通信后把信道兩端出現X和Y看成是由信道的傳遞統(tǒng)計特性聯系起來的 具有一定統(tǒng)計關聯關系的兩個隨機變量 這時整個系統(tǒng)的后驗不確定度由H XY 描述 結論 以上三種不同的角度說明 從一個事件獲得另一個事件的平均互信息需要消除不確定度 一旦消除了不確定度 就獲得了信息 小結 28 平均互信息是信道傳遞信息的度量 從總體上反映信道每傳遞一個符號 所傳遞的平均信息量 I X Y H X H X Y H X H Y H XY H Y H Y X 3 34 也可以得到 H XY H X H Y X H Y H X Y 29 信道疑義度 這是收到后關于X的后驗熵 表示收到后關于輸入符號的信息測度 這是關于X的先驗熵 表示收到輸出前關于X的不確定性度量 第二節(jié)平均互信息 30 這個條件熵稱為信道疑義度 表示輸出端在收到一個符號后 對輸入符號尚存的不確定性 這是由信道干擾造成的如果沒有干擾 H X Y 0 一般情況下H X Y 小于H X 說明經過信道傳輸 總能消除一些信源的不確定性 從而獲得一些信息 第二節(jié)平均互信息 將后驗熵對隨機變量Y求數學期望 31 平均互信息與各類熵之間的關系 第二節(jié)平均互信息 H X Y 即信道疑義度 也表示通過有噪信道造成的損失 故也稱為損失熵 因此信源的熵等于收到的信息量加上損失的熵 而H Y X 表示已知輸入的情況下 對輸出端還殘留的不確定性 這個不確定性是由噪聲引起的 故也稱之為噪聲熵 32 1 無噪一一對應信道 此時可以計算得 H X Y H Y X 0在上圖中表示就是兩圓重合 2 輸入輸出完全統(tǒng)計獨立 此時I X Y 0H X Y H X H Y X H Y 下面討論兩種極端情況 第二節(jié)平均互信息 33 第三節(jié)平均互信息的特性 1 平均互信息的非負性 I X Y 0 一般來說 信道疑義度總是大于0 所以互信息總是小于信源的熵 只有當信道是無損信道時 信道疑義度等于0 互信息等于信源的熵 該性質表明 通過一個信道總能傳遞一些信息 最差的條件下 輸入輸出完全獨立 不傳遞任何信息 互信息等于0 但決不會失去已知的信息 2 平均互信息的極值性 I X Y H X I X Y H Y 34 I Y X 表示從X中提取關于的Y的信息量 實際上I X Y 和I Y X 只是觀察者的立足點不同 對信道的輸入X和輸出Y的總體測度的兩種表達形式 4 平均互信息的凸函數性 3 平均互信息量的交互性 第三節(jié)平均互信息的特性 I X Y I Y X 35 定理3 1平均互信息I X Y 是信源概率分布P X 的 型凸函數 定理意義 對于一定的信道轉移概率分布 總可以找到某一個先驗概率分布的信源X 使平均互信息量達到相應的最大值Imax 這時稱這個信源為該信道的匹配信源 可以說不同的信道轉移概率對應不同的Imax 第三節(jié)平均互信息的特性 36 例 對于二元對稱信道 如果信源分布X w 1 w 則 第三節(jié)平均互信息的特性 37 而 所以 當信道固定時 平均互信息時信源分布的 型凸函數 最大值為1 H P 第三節(jié)平均互信息的特性 38 定理3 2平均互信息I X Y 是信道傳遞概率P y x 的U型凸函數 定理意義 對于一個已知先驗概率為P X 的離散信源 總可以找到某一個轉移概率分布的信道 使平均互信息量達到相應的最小值Imin 不同的信源先驗概率對應不同的Imin 或者說Imin是P X 的函數 即平均互信息量的最小值體現了信源本身的特性 第三節(jié)平均互信息的特性 39 如果信源分布X w 1 w 則由此可得 例 對于二元對稱信道 第三節(jié)平均互信息的特性 40 信道容量C 在信道中最大的信息傳輸速率 單位是比特 信道符號 單位時間的信道容量Ct 若信道平均傳輸一個符號需要t秒鐘 則單位時間的信道容量為 Ct實際是信道的最大信息傳輸速率 信息傳輸率 R I X Y H X H X Y H Y H Y X bit 符號由定理3 1可知 對于每一個確定信道 都有一個信源分布 使得信息傳輸率達到最大值 我們把這個最大值稱為該信道的信道容量 第四節(jié)信道容量及其一般計算方法 41 第四節(jié)信道容量及其一般計算方法 C和Ct都是求平均互信息I X Y 的條件極大值問題 當輸入信源概率分布p xi 調整好以后 C和Ct已與p xi 無關 而僅僅是信道轉移概率的函數 只與信道統(tǒng)計特性有關 它是信道的特征參數 反應的是信道的最大的信息傳輸能力 信道容量是完全描述信道特性的參量 信道容量是信道能夠傳送的最大信息量 結論 對于二元對稱信道 由圖可以看出信道容量等于1 H P 42 1 具有一一對應關系的無噪聲信道 因為信道矩陣中所有元素均是 1 或 0 X和Y有確定的對應關系 此時由于信道的損失熵和疑義度都等于0 所以I X Y H X H Y 當信源呈等概率分布時 具有一一對應確定關系的無噪信道達到信道容量 第四節(jié)信道容量及其一般計算方法1 離散無噪信道的信道容量 C max I X Y max H X max H Y logr 43 2 有噪無損信道 C max I X Y max H X H X Y max H X logr 可見 信道矩陣中每一列有且只有一個非零元素時 這個信道一定是有噪無損信道 此時信道疑義度為0 而信道噪聲熵不為0 從而 第四節(jié)信道容量及其一般計算方法1 離散無噪信道的信道容量 此時輸入端符號熵小于輸出端符號熵 H X H Y 44 3 無噪有損信道 信道矩陣中的元素非 0 即 1 每行僅有一個非零元素 但每列的非零元素個數大于1 此時信道疑義度不為0 而信道噪聲熵為0 從而 C max I X Y max H Y H Y X max H Y logs 第四節(jié)信道容量及其一般計算方法1 離散無噪信道的信道容量 信道輸入端符號熵大于輸出端符號熵 H X H Y 45 第四節(jié)信道容量及其一般計算方法1 離散無噪信道的信道容量 結論 無損信道的C決定于信道的輸入符號數r無噪信道的C只決定于信道的輸出符號數s 在求信道容量時 調整的始終是輸入端的概率分布p xi 盡管信道容量式子中平均互信息I X Y 等于輸出端符號熵H Y 但是在求極大值時調整的仍然是輸入端的概率分布p xi 而不能用輸出端的概率分布p yj 來代替 注意 46 如果一個離散信道的信道轉移矩陣中的每一行都是由同一組元素的不同組合構成的 并且每一列也是由這一組元素組成的 則稱為對稱信道 第四節(jié)信道容量及其一般計算方法2 對稱離散信道的信道容量 輸入對稱 矩陣的每一行都是第一行的置換輸出對稱 矩陣的每一列都是第一列的置換 47 下面我們來計算對稱離散信道的信道容量 I X Y H Y H Y X H Y X x 是對矩陣的行求和 而由于對稱信道定義 我們知道 此值是一個與x無關的一個常數 即 因此 可以看出 當輸出等概分布時 即H Y logs時信道容量達到最大 第四節(jié)信道容量及其一般計算方法2 對稱離散信道的信道容量 48 那么 在什么樣的信源輸出情況下 信道輸出能等概分布呢 可以證明 輸入等概分布時 輸出也等概分布 可以看出 信道的輸出也是等概分布的 第四節(jié)信道容量及其一般計算方法2 對稱離散信道的信道容量 49 例 二元對稱信道 第四節(jié)信道容量及其一般計算方法2 對稱離散信道的信道容量 50 如果離散信道的轉移矩陣如下 則稱此信道為強對稱信道或均勻信道 它是對稱離散信道的一種特例 第四節(jié)信道容量及其一般計算方法2 對稱離散信道的信道容量 信道中總的錯誤概率是p 對稱平均地分配給 n 1 個輸出符號 信道矩陣中每行之和等于1 每列之和也等于1 r r階矩陣 51 根據對稱離散信道信道容量的計算方法 強對稱信道其信道容量為 第四節(jié)信道容量及其一般計算方法2 對稱離散信道的信道容量 結論 當信道輸入呈等概率分布時 強對稱離散信道能夠傳輸最大的平均信息量 即達到信道容量 這個信道容量只與信道的輸出符號數n和相應信道矩陣中的任一行矢量有關 52 若信道的列可以劃分成若干個互不相交的子集 每一個子集都是對稱信道 則稱該信道為準對稱信道 如 第四節(jié)信道容量及其一般計算方法3 準對稱離散信道的信道容量 53 可以證明達到信道容量的輸入分布是等概分布 也可計算準對稱信道的信道容量為 其中r是輸入符號集的個數 為矩陣中的行元素 是第k各矩陣中的行元素只和 是第k個矩陣的列元素之和 第四節(jié)信道容量及其一般計算方法3 準對稱離散信道的信道容量 54 例 可分成 第四節(jié)信道容量及其一般計算方法3 準對稱離散信道的信道容量 行之和 N1 1 p q p 1 q N2 q 列之和 M1 1 q p p 1 q M2 2q 55 我們可以對輸入分布求極值 得到 而 第四節(jié)信道容量及其一般計算方法4 一般離散信道的信道容量 56 定理3 3一般離散信道達到信道容量的充要條件是輸入概率分布滿足 該定理說明 當平均互信息達到信道容量時 信源每一個符號都對輸出端輸出相同的互信息 第四節(jié)信道容量及其一般計算方法4 一般離散信道的信道容量 57 可以利用該定理對一些特殊信道求得它的信道容量 例 輸入符號集為 0 1 2 第四節(jié)信道容量及其一般計算方法4 一般離散信道的信道容量 假設P 0 P 2 1 2 P 1 0 則 59 所以 第四節(jié)信道容量及其一般計算方法4 一般離散信道的信道容量 60 對于一般信道的求解方法 就是求解方程組 移項得 令 則 若r s 此方程有解 可以解出s各未知數 再根據 得 從而 第四節(jié)信道容量及其一般計算方法4 一般離散信道的信道容量 61 例 可列方程組 第四節(jié)信道容量及其一般計算方法4 一般離散信道的信道容量 62 解之得 第四節(jié)信道容量及其一般計算方法4 一般離散信道的信道容量 63 第五節(jié)離散無記憶擴展信道及其信道容量 多符號離散信道定義定義 多符號離散信源X X1X2 XN在N個不同時刻分別通過單符號離散信道 XP Y X Y 則在輸出端出現相應的隨機序列Y Y1Y2 YN 這樣形成一個新的信道稱為多符號離散信道 64 第五節(jié)離散無記憶擴展信道及其信道容量 離散無記憶信道的N次擴展信道的傳遞概率等于各單位時刻相應的單符號離散無記憶信道的傳遞概率的連乘 65 第五節(jié)離散無記憶擴展信道及其信道容量 離散無記憶信道為 則它的N次擴展信道為 66 我們首先從一個例子開始例 二元無記憶對稱信道得二次擴展信道二元記憶對稱信道為 第五節(jié)離散無記憶擴展信道及其信道容量 67 可以將信道的擴展和信源的擴展聯系起來看 當信源擴展以后 信道也就稱為了擴展信道 則它的二次擴展信道為 第五節(jié)離散無記憶擴展信道及其信道容量 68 根據平均互信息的定義 定理3 5如果信道是無記憶的 即 則 定理3 6如果信源是無記憶的 第五節(jié)離散無記憶擴展信道及其信道容量 69 因此 如果信源 信道都是無記憶的 這就是離散無記憶擴展信道得信道容量 該信道容量在信源是無記憶信源且每一個輸入變量Xi達到最佳分布時達到 第五節(jié)離散無記憶擴展信道及其信道容量 第六節(jié)級聯信道 在通信系統(tǒng)中 信息的傳輸往往要依次通過若干個信道 這些信道通常采用級聯的形式 級聯的含義是被連接的信道輸入只依賴于前面相鄰信道的輸出而和前面的其它信道的輸出無直接關系 我們可以把通信系統(tǒng)模型看成各部分的級聯 如下圖所示 信源發(fā)出L長的序列UL 通過編碼后得到N長的碼序列XN 經信道傳輸后 譯碼器收到N長序列為YN 譯碼后傳給信宿的消息序列為VN 通信系統(tǒng)模型各部分的級聯 隨機序列X Y Z 當Y給定時 Z不依賴于X 即 P z y P z xy 則X Y Z構成馬氏鏈 則信道X Y與Y Z構成的信道是級聯信道 滿足馬氏鏈 如圖所示 級聯信道 若 X Y Z 構成馬氏鏈 則 定理3 7 定理3 8若X Y Z構成一馬氏鏈 則證 即 同理可證明 數據處理定理 數據處理定理的推廣 經過數據處理 信息量一般會有丟失 最多保持原有信息 絕對不會有信息增強 又稱信息不增性原理 該定理表明 信息處理 如 編譯碼器 信道的處理 只能丟失信息 不會增加或創(chuàng)造信息 而且處理的次數越多 減少得越多 實際上 數據處理是必要的 因為只有這樣才能保留對信宿有用的信息 去掉無用的信息或干擾 例如 為看清晰的圖像 要盡量去除雜波 為聽悅耳的聲音 要盡量濾掉噪聲 雖然信息的總量減少 但對信宿的有用信息突出了 例 兩個離散信道 將它們串行連接使用 如圖 判斷該串聯噪聲信道會不會使信道的信息損失增加 并計算總信道容量C 1 先計算總信道的信道轉移概率矩陣 因為p y x p z x 對所有的x y z 即 串聯信道的總信道矩陣P等于第一級信道的信道矩陣P1 故 I X Z I X Y 即該串聯噪聲信道不會使信道的信息損失增加 2 計算信道容量C 在該例中 第一個信道是輸入只有兩個消息的情況 設最佳分布為p x1 p x2 1 可算出 0 4 則信道容量C C1 0 32 比特 符號 80 第七節(jié)信源與信道的匹配 信道的信道容量是固定的 如果某一信源通過該信道傳輸是 信息傳輸率達到了信道容量 我們認為信源與信道達到匹配 否則 我們認為有剩余 定義 信道剩余度 C I X Y 信道的相對剩余度 對于無損信道 相對剩余度 81 如何才能做到匹配呢 一般通信系統(tǒng)中 把信源發(fā)出的符號變成能在信道中傳輸的符號 在傳輸時 要能夠盡量用較少的符號表示相同的信息 這樣就可以提高信息的傳輸率 從而提高信道的利用率 這就是香農無失真信源編碼理論 也就是無失真數據壓縮理論 無失真信源編碼就是將信源輸出的消息變換成適合信道傳輸的新信源的消息來傳輸 而使新信源的符號接近等概率分布 新信源的熵接近最大熵 這樣 信源傳輸的信息量達到最大 信道剩余度接近于零 信源與信道達到匹配 這些是我們將在下一章討論這些問題 第七節(jié)信源與信道的匹配