信息傳輸與信道容量.ppt

《信息傳輸與信道容量.ppt》由會員分享，可在線閱讀，更多相關《信息傳輸與信道容量.ppt（22頁珍藏版）》請在裝配圖網上搜索。

第三部分信息論,,下午11時37分,2,第三部分信息論,信息論的三個基本內容：信息的度量；信息的信道容量；為利用信道容量傳輸信息所需要的編碼。相應的基本結論為：如果一個信息源所發(fā)出的信息速率不超過信道容量，則盡管有噪聲存在，我們總可以找到一種編碼方法，使全部信息以任意小的差錯頻度傳過信道。編碼過程有兩類：信源編碼和信道編碼。信源編碼——降低信息速率；信道編碼——等效無噪信道。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,3,第十章信息傳輸與信道容量,10.1離散信道的信息傳輸1.互信息與條件熵設有兩個符號組：已知聯(lián)合概率和條件概率：定義互信息：則平均互信息為：,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,4,第十四章信息傳輸與信道容量,即定義條件熵則有,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,5,第十四章信息傳輸與信道容量,容易證明：1）2）證明：2）因為，所以因此即,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,6,第十四章信息傳輸與信道容量,在信號傳輸中，需要傳輸的信號為接收到的信號為通信中的最主要的問題就是利用接收到的信號來判斷傳輸的信號是什么。信息熵表明傳輸信號所具有的平均信息量；條件熵表明X相對于Y的平均信息量(或丟失的信息)；因此互信息量表明每個接受到的符號所獲得的平均信息量.,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,7,第十四章信息傳輸與信道容量,信息熵表明接收信號所具有的平均信息量；條件熵表明Y相對于X的平均信息量(或噪聲帶來的噪聲熵)；互信息量表明每個接受到的符號所獲得的平均信息量例二元對稱信道(BSC),,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,8,第十四章信息傳輸與信道容量,已知傳輸信號有傳輸過程中的錯誤概率為,下面來計算互信息量.首先定義函數由題意知則有,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,9,第十四章信息傳輸與信道容量,所以互信息量為,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,10,第十四章信息傳輸與信道容量,2.離散信道容量——表明每個接受到的符號所獲得的平均信息量若信源給定，源點、宿點字符組以及前向轉移概率都固定，則只與有關。為實現最大信息傳輸，信源必須滿足一定條件，可以通過信源編碼實現，令即每個符號所傳輸的最大信息量，稱之為信道容量。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,11,第十四章信息傳輸與信道容量,若為信道允許的最大符號速率，則代表信道傳輸的最大速率，它也可以用來描繪信道容量。山儂有噪聲信道基本定理如一信道有容量，信源信息速率，則總可以找到一種編碼系統(tǒng)（信道編碼與信源編碼），使信源輸出以任意小的差錯頻度傳過信道；反之，如果，則無差錯地傳輸信息是不可能的。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,12,第十四章信息傳輸與信道容量,14.2連續(xù)信道1.連續(xù)信息連續(xù)信號（隨機信號），各態(tài)歷經，帶寬有限。可以得到連續(xù)隨機變量其概率密度函數為。定義離散隨機變量則當時，。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,13,第十四章信息傳輸與信道容量,利用離散情況信息熵的定義，可以得到的絕對信息熵：其中。稱為相對信息熵（信息熵），與離散情況不同的是，可以取正、負或零。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,14,第十四章信息傳輸與信道容量,問題：對于給定信源，如何選擇，可以使得達到最大？更一般地，此問題可以描繪成一個泛函問題：尋找，使得積分達到最大，其中受個約束條件限制：,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,15,第十四章信息傳輸與信道容量,根據變分學中的定理，當滿足時，為最大（或最?。?。至少有一個約束條件：例1（具有固定平均功率的信源熵）已知某信源有概率密度函數，且滿足其中為固定值。試給出到達最大熵的。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,16,第十四章信息傳輸與信道容量,解：此時有按照前面的結論，有所以帶入約束條件有,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,17,第十四章信息傳輸與信道容量,解得所以達到最大熵時，有此時最大熵為,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,18,第十四章信息傳輸與信道容量,2.連續(xù)信道容量傳輸信號，接收信號為則可以定義平均互信息量容易證明類似地，有通常，已知前向轉移概率密度函數，則所傳遞的最大信息為,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,19,第十四章信息傳輸與信道容量,若信道具有固定帶寬，則是帶寬為的帶限信號；因此可以由滿足奈奎斯特抽樣率的抽樣值完全確定，所以最大信息傳輸速率為如果給定一個連續(xù)傳輸信道為加性高斯白噪聲信道(AWGN)，滿足如下條件：1）信道可在帶寬范圍內實現無畸變傳輸，任何傳輸損耗都將得到補償；2）信道把來自信源的輸入限制為具有固定平均功率的帶限信號；,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,20,第十四章信息傳輸與信道容量,3）宿點所收到的信號被均值為零，平均功率為的帶限加性高斯白噪聲所污染；4）信號與噪聲相互獨立，因而，以及對于此特殊信道，可以計算信道容量。1）計算噪聲熵：,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,21,第十四章信息傳輸與信道容量,所以有2）計算信道容量：又所以,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,下午11時37分,22,第十四章信息傳輸與信道容量,所以因此最大傳輸速率為這就是在哈特萊－山儂定理中給出的可靠信息傳輸的上限，即在滿足信息速率的條件下，無錯誤的傳輸在理論上講是可能的。,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,